Context Learning 리서치

최근 컨텍스트 러닝이라는 용어가 떠오르고 있다.

 

서베이 논문

A Survey of Context Engineering for Large Language Models (링크) 이 제법 핫 한것 같다.

 

약 60페이지 가량의 내용이 담겨있으며 1400개의 레퍼런스를 담고 있어서 레퍼런스 페이지가 100장에 가까운 서베이 논문이다.

 

컨텍스트 러닝

Geek News의 AI의 새로운 핵심 역량은 프롬프트가 아닌 "컨텍스트 엔지니어링" (링크)를 보면 컨텍스트 러닝을 다음과 같이 정의한다.

 

 

컨텍스트의 구성 요소

 

• 시스템 프롬프트/지침: 모델의 행동을 정의하는 기본 지침과 예시, 규칙 등
• 유저 프롬프트: 사용자의 즉각적인 요청이나 질문
• 상태/대화 히스토리: 현재까지의 대화 흐름 및 맥락 정보
• 장기 기억: 여러 단계를 거친 이전 대화, 사용자 선호도, 과거 프로젝트 요약, 모델이 장기적으로 기억하도록 학습된 정보 모음
• RAG(검색 기반 증강): 외부 문서, 데이터베이스, API 등에서 가져온 최신의 관련성 높은 정보
• 사용 가능한 도구: 모델이 호출할 수 있는 함수, 내장 툴들의 정의 (예: check_inventory, send_email 등)
• 구조화된 출력: 모델이 따라야 할 응답 형식 정의 (예: JSON)

 

Andej Karpathy는 다음처럼 이야기한다.

 

 

 

사실 LangChain이나 LangGraph 등으로 다 하고 있는 일인데 용어만 바뀐게 아닌가 싶다.

 

시스템 프롬프트, 유저와의 채팅 히스토리 관리, function calling, tool calling, agent 사용, StrOutputParser 등등 LangChain 관련해서 조금 만져본 사람들이라면 들어봤거나 구현해봤을 내용들이다.

 

 

 

물론 이렇게 포괄적이고 잘 정의된, 통일된 용어가 있으면 의사소통에 있어서 편리하지만 마케팅 용어일뿐이 아닌가도 의심해야 하겠다.

 

물론 그걸 잘 포장해서 마케팅을 잘 하는 일도 굉장히 중요한 일이다. 

 

 

 

컨텍스트 엔지니어링 깃허브 (링크)

 

 

 

 

 

 

References:

https://x.com/karpathy/status/1937902205765607626

https://www.linkedin.com/posts/jaeyunhenrylee_%EA%B0%84%EB%8B%A8%ED%95%9C-%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8%EB%A7%8C%EC%9D%98-%EC%8B%9C%EB%8C%80%EB%8A%94-%EC%A0%80%EB%AC%BC%EA%B3%A0-%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4-%EC%9D%B4%EC%A0%9C%EB%8A%94-%EB%8D%94%EC%9A%B1-%EC%A4%91%EC%9A%94%ED%95%9C-%EC%BB%A8%ED%85%8D%EC%8A%A4%ED%8A%B8%EB%A5%BC-activity-7343801990730104832-ujLA/

https://www.linkedin.com/posts/jihoo-kim_ai-llm-contextengineering-ugcPost-7346557865609805825-vewG

https://www.linkedin.com/posts/jaeyunhenrylee_%EC%99%80%EC%9A%B0-%EB%8C%80%EB%B0%95-%EA%B6%81%EA%B8%88%ED%96%88%EB%8D%98-%EB%82%B4%EC%9A%A9%EC%9D%84-%ED%95%9C%EB%B2%88%EC%97%90-%EB%8B%A4-%EC%A0%95%EB%A6%AC%ED%95%B4%EC%A4%8D%EB%8B%88%EB%8B%A4-%ED%98%84%EC%9E%AC-%EB%A7%8E%EC%9D%80-%EB%B6%84%EB%93%A4%EC%9D%B4-activity-7352114484351561730-e3Yi

https://news.hada.io/topic?id=21752

https://github.com/jihoo-kim/awesome-context-engineering