본문 바로가기

NLP/LLM20

Mixtral (2024) 논문 리뷰 Mixtral이 제시된 논문 제목은 Mixtral of Experts다. (링크) 저자들은 Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Lélio Renard Lavaud, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Sandeep Subramanian, Sophia Yang, Szymon Anton.. 2025. 6. 24.
Codex (2021) 논문 리뷰 Codex 논문의 이름은 Evaluating Large Language Models Trained on Code다. (링크) 저자들은 Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power.. 2025. 6. 24.
LLM에서의 temperature, Top-k, Top-p, Penalties 우선 LLM의 생성 과정을 알아야 하니 간단하게 짚고 넘어간다. 입력 쿼리 → LLM → logits 계산 → logits에 softmax를 취해서 token에 대한 확률 계산 → 답변 생성 이때 token의 숫자는 tokenzier에서 설정한 Vocab size와 같다. Vocab size가 32000이라면, 입력된 쿼리를 바탕으로 32,000개의 token들을 각각이 가진 softmax에 의한 확률을 가지고 multinomial 방법으로 샘플링을 하여 답변을 생성하게 된다. 이때 가장 큰 값만을 사용하면 매번 확정적으로 고정된 token을 생성하겠지만 샘플링 방법을 사용함으로써 답변의 다양성을 확보할 수 있다. 이때 답변의 다양성을 조절할 수 있는 방법들이 몇가지 존재하게 된다. temperat.. 2025. 5. 11.
LLM 서빙 관련 글 모음 GPU RAM 필요량 계산 우선 LLM을 API로 가져와서 쓰는게 아니라면 GPU의 RAM 계산이 필수적이다. 이에 관련된 내용들을 레퍼런스들에서 참고해서 적어본다. 학습이 아니라 추론만을 위한 계산은 다음과 같다. M = $\frac{P \times 4B}{\frac{32}{Q}} \times 1.2$M is the GPU memory in Gigabytes.P is the number of parameters in the model.4B represents the 4 bytes used per parameter.Q is the number of bits for loading the model (e.g., 16-bit or 32-bit).1.2 accounts for a 20% overhead. L.. 2025. 4. 27.
Mistral 7B (2023) 논문 리뷰 Mistral 7B의 논문 이름은 Mistral 7B다. (링크) 저자는 Albert Q. Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, Lélio Renard Lavaud, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed다. Github: Mistral common (링크)Mistral C.. 2025. 4. 27.
GPT 4 (2023) 리뷰 GPT4 부터는 아예 논문이 아니라 Technical Report라고 나온다. (링크) OpenAI가 아니라 ClosedAI라고 해야하는게 아닌가 싶긴 하지만 내용을 간략하게 살펴본다. 다들 알다시피 첫 보고서는 2023년에 나왔지만 지금은 6번째로 리비전이 되어서 v6다. 아래의 Table 1과 Figure 4에서 GPT-3.5와 비교하면서 시작한다. Academic and professional exams에서 GPT 3.5에 비해서 GPT-4는 월등하게 좋은 성능을 보여준다. 사실 ChatGPT가 아주 처음에 나왔을 때 GPT-3.5를 무료로 써봤을 때 생각보다 별로여서 실망했던 기억이 난다. GPT-4 이후에 점차 쓸만해졌다고 느꼈던 기억이 난다. GPT-4는 Table 3에 나와있듯.. 2025. 4. 26.

티스토리툴바