LLaMA 2 (2023) 논문 리뷰
LLaMA 2의 논문 이름은 Llama 2: Open Foundation and Fine-Tuned Chat Models다. (링크) 저자는 Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedan..
2025. 4. 17.
Emergent Abilities of Large Language Models (2022) 논문 리뷰
Emergent Abilities of Large Language Models는 LLM의 성능이 급격하게 오르는 파라미터 수를 연구한 논문이다. (링크) 저자는 Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, William Fedus다. Emergent abilities, 예기치 않게 생겨난 능력이 LM 모델의 스케일을 키울 때 등장한다는 내용을 다룬 논문이다. 전반적으..
2025. 4. 17.
LLaMA (2023) 논문 리뷰
LLaMA의 논문 이름은 LLaMA: Open and Efficient Foundation Language Models다. (링크) 저자는 Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample다. LLaMA 패밀리의 첫 모델이다. Abstract7B 부터 65B의 사이즈를 가진 LLM이다. 조단위의 토큰에 대해서 학습했다. LLaMA-13B는 GPT-..
2025. 4. 16.
InstructGPT (2022) 논문 리뷰
InstructGPT의 논문 이름은 Training language models to follow instructions with human feedback다. (링크) 저자는 Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe다. RLHF (Reinf..
2025. 4. 15.
