분류 전체보기192 Self-Instruct (2022) 논문 리뷰 Self-Instruct의 논문 이름은 Self-Instruct: Aligning Language Models with Self-Generated Instructions다. (링크) 저자는 Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi다. Github: 링크 사람이 생성한 레퍼런스 instructions을 기반으로 LLM을 통해서 instructions를 생성하고 파인 튜닝에 사용한 논문이다. AbstractInstruction-tuned LLM은 새로운 태스크에 대한 zero-shot 성능에서 놀라운 성능을 보였다. 하지만 이는 사람이 작성한 instr.. 2025. 4. 17. LLaMA 2 (2023) 논문 리뷰 LLaMA 2의 논문 이름은 Llama 2: Open Foundation and Fine-Tuned Chat Models다. (링크) 저자는 Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedan.. 2025. 4. 17. Bayesian Approach 베이즈 통계학은 통계학 뿐만 아니라 경제학, 머신러닝, 딥러닝 분야에서도 많이 쓰이는 통계학이다. 베이즈 통계학에서는 분포의 모수 parameters도 업데이트가 가능한 random variable로 보고 이를 갱신한다. 따라서 분포가 데이터에 따라서 변화한다. 하지만 기존의 빈도주의 frequentist들은 모수는 고정된 알 수 없는 constant 상수로 간주한다. 여기서는 간단하게 베이즈 정리, 사전분포, 사후분포, conjugate pairs를 살펴 보고 넘어간다. 베이즈 정리 베이즈 정리는 영어로 Bayes' Theorem, Bayes' Rule, Bayes' Law 등 다양하게 불린다. 베이즈 정리 자체의 식은 굉장히 간단하다. 조건부 확률과 Law of total probability를.. 2025. 4. 17. Self-RAG (2023) 논문 리뷰 Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection 논문이다. (링크) 저자는 Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, Hannaneh Hajishirzi다. 스스로를 평가하면서 RAG를 수행하는 방법론이다. 전에 블로그에 쓴 글 (링크)에서 공부하면서 Self-RAG를 살짝 살펴보았지만 논문을 제대로 본적은 없어서 정리할 겸 리뷰한다. AbstractRAG는 factuality 사실성의 측면에서 도움이 되었지만 indiscriminately 무차별적인 retrieving 검색과 고정된 수의 검색된 passages 구절의 수, 검색된 구절의 연관성 등이 LM's v.. 2025. 4. 17. RAGAS (2023) 논문 리뷰 RAGAS는 RAGAS: Automated Evaluation of Retrieval Augmented Generation에서 제시된 RAG의 평가 방법이다. (링크) 저자는 Shahul Es, Jithin James, Luis Espinosa-Anke, Steven Schockaert다. Github: 링크Documentation: 링크 LLM as a Judge의 개념으로 RAG 결과를 평가한다. AbstractRAGAS (Retrieval Augmented Generation Assessment)는 레퍼런스가 없이도 RAG를 평가 가능한 파이프라인이다.RAG는 retrieval 검색기와 LLM 기반의 생성 모듈로 나뉘는데, 검색기는 LLM에 reference 텍스트 데이터베이스로부터 정보를 주어.. 2025. 4. 17. LLM as a Judge (2023) 논문 리뷰 LLM as a Judge는 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena 논문에서 소개된 방법이다. (링크) 저자는 Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica다. LLM as a Judge의 핵심 개념은 간단하다. LLM으로 다른 LLM을 평가한다. 논 논문에서는 MT-bench와 Chatbot Arena (HF Chatbot Arena Leaderboard 링크) 으로 평가를 수행.. 2025. 4. 17. 이전 1 ··· 8 9 10 11 12 13 14 ··· 32 다음
