본문 바로가기

nlp40

RAGAS (2023) 논문 리뷰 RAGAS는 RAGAS: Automated Evaluation of Retrieval Augmented Generation에서 제시된 RAG의 평가 방법이다. (링크) 저자는 Shahul Es, Jithin James, Luis Espinosa-Anke, Steven Schockaert다. LLM as a Judge의 개념으로 RAG 결과를 평가한다. AbstractRAGAS (Retrieval Augmented Generation Assessment)는 레퍼런스가 없이도 RAG를 평가 가능한 파이프라인이다.RAG는 retrieval 검색기와 LLM 기반의 생성 모듈로 나뉘는데, 검색기는 LLM에 reference 텍스트 데이터베이스로부터 정보를 주어서 hallucination 환각의 위험성을 줄이는 .. 2025. 4. 17.
LLM as a Judge (2023) 논문 리뷰 LLM as a Judge는 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena 논문에서 소개된 방법이다. (링크) 저자는 Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica다. LLM as a Judge의 핵심 개념은 간단하다. LLM으로 다른 LLM을 평가한다. 논 논문에서는 MT-bench와 Chatbot Arena (HF Chatbot Arena Leaderboard 링크) 으로 평가를 수행.. 2025. 4. 17.
LLaMA (2023) 논문 리뷰 LLaMA의 논문 이름은 LLaMA: Open and Efficient Foundation Language Models다. (링크) 저자는 Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample다. LLaMA 패밀리의 첫 모델이다. Abstract7B 부터 65B의 사이즈를 가진 LLM이다. 조단위의 토큰에 대해서 학습했다. LLaMA-13B는 GPT-.. 2025. 4. 16.
CoT Chain-of-Thought (2022) 논문 리뷰 CoT는 Chain of Thought의 약자로 논문의 이름은 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models다. (링크) 저자는 Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou다. LLM reasoning의 목적으로 prompting 혹은 prompt engineering으로 달성한 논문이다.구글의 PaLM 부터 LLaMa 2, GPT-4 등등 수많은 LLM에서 사용한 프롬프팅 기법이다. AbstractCoT Chain of thought는 단계적으로 reasoning 추론을.. 2025. 4. 16.
Tokenizer 간단하게 정리 Tokenizer 토크나이저는 텍스트를 word 단어나 subword 서브워드로 나눠줄 때 사용한다. 뒤에 보면 알겠지만 토크나이저도 막대한 양의 텍스트를 통해서 학습한 결과기 때문에 업데이트하거나 특정 언어에 맞게 추가 학습을 해야할 경우도 있다. 여기서는 가장 간단한 공백 구분과 자주 쓰이는 BPE, WordPiece, SentencePiece를 살펴본다. Whitespace 공백 1. Whitespace 공백을 기반으로 하여 아래의 문장을 나눈다면 다음와 같다. 문장 = "Don't you love 🤗 Transformers? We sure do." ["Don't", "you", "love", "🤗", "Transformers?", "We", "sure", "do."]\ 2. BPE .. 2025. 4. 15.
InstructGPT (2022) 논문 리뷰 InstructGPT의 논문 이름은 Training language models to follow instructions with human feedback다. (링크) 저자는 Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe다. RLHF (Reinf.. 2025. 4. 15.

티스토리툴바