AI Codes/LangChain & MCP & Agent11 Agent의 평가와 function calling 관련 글 모음 요즘 개인용 음악 추천 챗봇을 계속 디벨롭하는 중인데 agent를 넣으려고 하고 있다. 그러다가 문득, RAG처럼 tool을 제대로 쓰고 있는지 특히 검색이면 쿼리랑 잘 맞게 가져오는지 평가해야 하지 않아 싶어서 에이전트의 성능 평가에 대해서 찾아서 정리해 보았다. Agent Evaluations AgentOps 한국 파이토치: 링크 IBM Watson 에이전트 AI 평가: 링크 Agents Companion (2): 에이전트를 평가하기, Agent Evaluation 블로그: 링크Agent Benchmark의 비용을 다룬 AI 타임즈 기사: 링크 LLM의 function calling LLM의 function calling은 곧 tool의 사용이며 이는 곧 에이전트와 관련된 내용으로 이어.. 2025. 5. 28. Multi Agent와 ReAct 관련 글 모음 다중 에이전트, 여러개의 에이전트를 활용하는 방법론이다. 여러개의 에이전트를 사용하면 이를 관리하는 관리자 supervisor를 사용하는 경우도 많아서 관련된 글도 찾았다. 그리고 에이전트의 핵심은 LLM이 알아서 도구를 사용하는 점에 있기에 이에 대해서도 간략하게 찾아보았다. 보통 langchain이나 langgraph의 creat_react_agent를 많이 사용하게 되어서 이와 관련된 글들도 모았다. Multi-Agent and Supervisor LangChain Multi-Agent Tutorial: 링크 LangChain Multi-Agent Supervisor: 링크 LangGraph Supervisor Github: 링크 '멀티 에이전트 시스템'에 대하.. 2025. 5. 28. Streamlit으로 음악 추천을 위한 챗봇 구현 Streamlit + LangChain + LangGrpah로 구현했다. 랭체인 한국어 튜토리얼 (링크)의 도움을 많이 받았다. Chainlit에서 Streamlit으로 갈아탄 이유는 예시나 도큐먼트 자료를 찾기 힘들기 때문이다. 그리고 로그인부터 시작해서 여러가지를 건들게 되는데, 이렇게 복잡하게 할 바에는 차라리 Open Web UI에 백엔드로 구현해서 연결하는게 낫지 않나 싶은 생각이 들었다. 그러려면 차라리 복잡한건 Open Web UI로, 간편하게 구현하고 사용할 개인 용도는 Streamlit으로 하는게 낫다는 생각이 들었다. 비슷한 프로젝트를 진행하는 사람들을 위해서 도움이 될것 같아서 전반적인 프로젝트의 개요와 이를 어떻게 해결했는지 적어본다. 개인 음악 추천 챗봇 구현1. 배경: 알고리.. 2025. 5. 16. Chainlit 리서치 및 튜토리얼 적용 결과 Chainlit을 알게 된 경위는 이렇다. 멀티턴 대화랑 Tavily를 비롯한 LangChain tools를 결합해서 내 음악 디깅 전용 챗봇을 만들어보자는 취지였다. Ollama를 비롯해서 많이 쓰던 Open Web UI를 사용해볼까 했는데 백엔드와 프론트엔드까지 생각 하려니 예상보다 복잡한 것 같았다. 때문에 더 쉬운 툴이 없을까 하다가 찾은게 Chainlit이다. Docs: 링크Github: 링크Cookbook: 링크 튜토리얼의 코드를 살짝만 손보아서 채팅 목록을 저장해보았는데 잘 작동하는걸 확인했다. import jsonfrom datetime import datetimefrom pathlib import Pathfrom langchain_openai import ChatOpenAIfrom l.. 2025. 5. 14. LLM으로 테이블과 차트 생성 ChartLLama (논문 링크)와 LIDA (논문 링크)를 보면 파이썬 코드로 matplotlib를 통해서 생성하는 것을 확인할 수 있다. 올해 나온 ChartCoder라는 모델 (논문 링크)도 마찬가지로 테이블과 그림을 코드를 이용해서 그린다. ChartLLama논문: 링크Github: 링크 LIDA논문: 링크Github: 링크홈페이지: 링크 ChartCoder논문: 링크Github: 링크 실습한 코드는 본인의 Github (링크)에 업로드 했다. Table 생성 프롬프트 from langchain_openai import ChatOpenAIfrom langchain.prompts import PromptTemplate, ChatPromptTemplate # OpenAI LLM Wrappers .. 2025. 5. 8. 금융 PDF에서 Figure와 Table 추출하기 RAG를 수행할 때 PDF, docx, hwp 등 다양한 데이터를 읽어와야할 수 있다. ChatInstruct 논문을 리뷰 (링크)하면서 보니 Figure 자체를 이미지화해서 학습하는걸 알 수 있다. 이런 개념이면 LLaVA와 같은 로컬 VLLM을 사용하거나 multimodal LLM을 사용해서 이미지를 처리하는걸 생각할 수 있다. 이에 대해서 찾다보니 역시 다른 사람들이 해놓은게 있어서 참조하고자 한다. 특히 금융 분야에서 Figure와 Table을 모두 쓰고 있고 관련된 pdf 자료도 구하기 쉽기 때문에 이를 선택했다. QQQ와 SPYETF 들에 대한 pdf 문서들로 부터 그림과 표를 제대로 추출할 수 있는지 실습하고자 한다. QQQ는 나스닥을, SPY는 S&P500을추종하는 ETF들이다. 사용 .. 2025. 5. 2. 이전 1 2 다음
