LLM10 LLM에서의 temperature, Top-k, Top-p, Penalties 우선 LLM의 생성 과정을 알아야 하니 간단하게 짚고 넘어간다. 입력 쿼리 → LLM → logits 계산 → logits에 softmax를 취해서 token에 대한 확률 계산 → 답변 생성 이때 token의 숫자는 tokenzier에서 설정한 Vocab size와 같다. Vocab size가 32000이라면, 입력된 쿼리를 바탕으로 32,000개의 token들을 각각이 가진 softmax에 의한 확률을 가지고 multinomial 방법으로 샘플링을 하여 답변을 생성하게 된다. 이때 가장 큰 값만을 사용하면 매번 확정적으로 고정된 token을 생성하겠지만 샘플링 방법을 사용함으로써 답변의 다양성을 확보할 수 있다. 이때 답변의 다양성을 조절할 수 있는 방법들이 몇가지 존재하게 된다. temperat.. 2025. 5. 11. 금융 PDF에서 Figure와 Table 추출하기 RAG를 수행할 때 PDF, docx, hwp 등 다양한 데이터를 읽어와야할 수 있다. ChatInstruct 논문을 리뷰 (링크)하면서 보니 Figure 자체를 이미지화해서 학습하는걸 알 수 있다. 이런 개념이면 LLaVA와 같은 로컬 VLLM을 사용하거나 multimodal LLM을 사용해서 이미지를 처리하는걸 생각할 수 있다. 이에 대해서 찾다보니 역시 다른 사람들이 해놓은게 있어서 참조하고자 한다. 특히 금융 분야에서 Figure와 Table을 모두 쓰고 있고 관련된 pdf 자료도 구하기 쉽기 때문에 이를 선택했다. QQQ와 SPYETF 들에 대한 pdf 문서들로 부터 그림과 표를 제대로 추출할 수 있는지 실습하고자 한다. QQQ는 나스닥을, SPY는 S&P500을추종하는 ETF들이다. 사용 .. 2025. 5. 2. Self-RAG, RAGAS 그리고 RAG Evaluation by LLM Self-RAG의 github 그리고 논문 링크 그리고 RAGAS의 github (링크), 도큐먼트 (링크), 논문 (링크), 그리고 테디 노트의 Self-RAG과 RAGAS, 그리고 기본 LangGraph 생성을 보다가 궁금해져서 프롬프트를 정리해보았다. Self-RAG과 RAGAS 모두 RAG를 평가함에 있어서 LLM as a Judge 논문에 상당 부분 근거하고 있기 때문에 LLM이 평가하는 근거가 되는 프롬프트가 중요하기 때문이다.Huggingface에서도 LLM as a Judge에 대한 방법을 링크에서 소개하고 있다. RAG Evaluation에서 사용하는 프롬프트는 이 링크에 나와있다. yes, no 형식의 간단한 방식과 구체적인 score를 내는 방식의 장단점도 생각해보았다. 평가 지표별.. 2025. 4. 2. A Survey of Large Language Model - Wayne Xin Zhao et al (2024) A Survey of Large Language Model - Wayne Xin Zhao et al (2024) LLM에 대해서 공부할 때 전체적인 흐름을 파악하기 위해서 본 서베이 페이퍼다. 구글 스칼라에서 인용수가 2025년 3월 18일 기준 4000이 넘으며 2023년 이후 지속적으로 업데이트 되고 있는 논문이다. 특정 분야에 대해서 처음 접하거나 이미 공부한 다음 큰 틀에서 흐름을 정리하고자 할 때 유용한 것이 서베이 논문이라고 생각한다. 상기한 이유와 레퍼런스를 제외하고도 90페이지가 넘는 분량이기도 해서 전체적인 개요와 키워드, 그림 및 표 몇가지만 정리하고자 한다. 자세한 내용은 서베이 논문과 레퍼런스를 참고하면 좋겠다. 논문 목차 정리1. Introduction: Statistical .. 2025. 3. 17. LLM 개인용 유료 구독 가격 비용 정리 2024년 8월 2일 기준이다.2025년 2월 5일 기준으로 수정.2025년 4월 14일 기준으로 수정.2025년 4월 30일 기준으로 수정. 여러 업체의 LLM이 있지만 몇가지만 살펴본다. OpenAI, Google, MS, Anthropic, Mistral의 챗봇형 LLM들이다. ChatBot 형 구독 비용회사이름유료 이름가격 (월 구독비)OpenAIChatGPTPlus$ 20OpenAIChatGPTPro$ 200GoogleGeminiAdvanced29,000원MicrosoftCopilotPro29,000원AnthropicClaudePro$ 17AnthropicClaudeMaxFrom $ 100MistralLe ChatPro$ 14.99 or 14.99 € 엔터프라이즈용은 아니며 모두 개인용 .. 2024. 8. 2. IR RAG 경진대회 후기 - 패스트캠퍼스&업스테이지 AI Lab 1기 1. AbstractGoal of the Competition과학 지식 질의 응답 시스템 구축. LLM의 문제 해결을 위해서 IR을 활용한 RAG로 수행.TimelineApril 08, 2024 - Start DateApril 11, 2024 - First Mentoring (Before Competition)April 15, 2024 - Staring Project DateApril 18, 2024 - Second MentoringApril 23, 2024 - Third MentoringApril 29, 2024 - Final MentoringMay 02, 2024 - Final submission deadlineDescription of the Data과학 상식 문서 4272개 ko_ai2_arc_.. 2024. 5. 7. 이전 1 2 다음
