NLP/Prompt & Problem Solving10 Context Learning 리서치 최근 컨텍스트 러닝이라는 용어가 떠오르고 있다. 서베이 논문A Survey of Context Engineering for Large Language Models (링크) 이 제법 핫 한것 같다. 약 60페이지 가량의 내용이 담겨있으며 1400개의 레퍼런스를 담고 있어서 레퍼런스 페이지가 100장에 가까운 서베이 논문이다. 컨텍스트 러닝Geek News의 AI의 새로운 핵심 역량은 프롬프트가 아닌 "컨텍스트 엔지니어링" (링크)를 보면 컨텍스트 러닝을 다음과 같이 정의한다. 컨텍스트의 구성 요소 시스템 프롬프트/지침: 모델의 행동을 정의하는 기본 지침과 예시, 규칙 등유저 프롬프트: 사용자의 즉각적인 요청이나 질문상태/대화 히스토리: 현재까지의 대화 흐름 및 맥락 정보장기 기억: 여러 단계를 거친 이전.. 2025. 7. 22. A Survey of Prompt Engineering Methods in LLMs for Differenct NLP Tasks (2024) 논문 리뷰 A Survey of Prompt Engineering Methods in LLMs for Differenct NLP Tasks 논문 (링크) 저자는 Shubham Vatsal와 Harsh Dubey 두 사람이다. 서베이 논문인데 여러가지 prompting 방법들의 목록을 간단하게 정리하고 표를 올리고자 한다. Prompt Engineering Techniques Basic / Standard / Vanilla PromptingChain-of-Thoguht (CoT)Self-ConsistencyEnsemble Refinement (ER)Automatic Chain-of-Thoguht (Auto CoT)Complex CoTProgram-of-Thoughts (PoT)Least-to-MostChain-o.. 2025. 5. 6. ReAct (2022) 논문 리뷰 ReAct는 Reasoning and Act의 약자로 논문 이름은 ReAct: Synergizing Reasoning and Acting in Language Models다. (링크) 저자는 Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao다. ReAct는 논문 제목에서도 알 수 있듯이 Reason과 Act를 한번에 한다. 즉 CoT 같은 추론과 search 같은 액션을 같이 수행한다. 아래 Figure 1을 보면 알 수 있다. 2. ReAct: Synergizing Reasoning + ActingTime step $t$에서 agent 는 observation $o_t \in O$를 env.. 2025. 5. 2. Prompt 관련 자료 모음 빅테크에서 제공하는 프롬프트 엔지니어링 페이지와 강의 링크를 정리해보았다. 추가적으로 프롬프트 관련된 깃허브 링크들도 첨부한다. 빅테크 구글 Google Prompt Engineering Whitepaper: 링크Vertex AI Prompt Samples: 링크 Prompting Essentials Youtube Playlist: 링크 OpenAI Prompting Guide: 링크Best practices for prompt engineering with the OpenAI API: 링크 앤트로픽 Anthrophic Prompt engineering: 링크Prompt Library: 링크 프롬프트 관련 모음 사이트 Prompt Engineering Guide 사이트: 링크, Github: 링.. 2025. 4. 28. ChartInstruct (2024) 논문 리뷰 ChartInstruct의 논문 제목은 ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning이다. (링크) 저자는 Ahmed Masry, Mehrad Shahmohammadi, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty다. Github: 링크 논문 제목에서 알 수 있듯이 차트 데이터에 대한 instruction tuning을 다룬 논문이다. 본 논문에서는 Llama2와 Flan-T5를 사용했지만 Gemma를 사용한 ChartGemma라는 별도의 논문 (링크)도 존재한다. AbstractCharts 차트는 데이터에 대한 시각적 표현으로 매우 중요하다. 비전에 대해서 fine-tune을 해왔지만.. 2025. 4. 27. Tree-of-Thought ToT (2023) 논문 리뷰 Tree-of-Thought (ToT) 의 논문 제목은 Tree of Thoughts: Deliberate Problem Solving with Large Language Models이다. (링크) 저자는 Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan다. Github: 링크 Chain of Thought를 대신할 problem solving 구조를 제시한 논문이다. Abstract언어 모델은 광범위한 범위에 대해서 general problem solving 일반적인 문제 해결에 쓰이고 있지만 여전히 추론 과정에서 token-level과 left-to-right 의사 결.. 2025. 4. 27. 이전 1 2 다음
