본문 바로가기

분류 전체보기258

Towards Next-Generation LLM-based Recommender Systems (2024) 논문 리뷰 Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond (링크) 저자는 Qi Wang, Jindong Li, Shiqi Wang, Qianli Xing, Runliang Niu, He Kong, Rui Li, Guodong Long, Yi Chang, Chengqi Zhang다. Github: 링크 LLM기반 추천 시스템 서베이 논문을 찾다가 그림이 잘 나와있길래 간단하게 리뷰한다. 우선 아래 Table 1은 기존의 서베이 논문들과 저자들의 서베이 논문을 비교하는 표다. 이제 본격적으로 논문에 대해서 살펴본다. Overview 우선 저자들은 아래 Figure 1처럼 Representing and Understanding.. 2025. 5. 16.
KAN (2024) 논문 리뷰 Kolmogorov-Arnold Networks는 원래의 초기 논문과 2.0의 2가지 논문이 있다. 여기서는 첫 번째 논문인 KAN: Kolmogorov-Arnold Networks (링크)을 중심으로 하고, 2.0은 간략하게만 다룬다. KAN 오리지널 논문의 저자는 Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark다. KAN 2.0의 논문 제목은 KAN 2.0: Kolmogorov-Arnold Networks Meet Science (링크)이고, 저자는 Ziming Liu, Pingchuan Ma, Yixuan Wang, Wojciech Matus.. 2025. 5. 15.
Chainlit 리서치 및 튜토리얼 적용 결과 Chainlit을 알게 된 경위는 이렇다. 멀티턴 대화랑 Tavily를 비롯한 LangChain tools를 결합해서 내 음악 디깅 전용 챗봇을 만들어보자는 취지였다. Ollama를 비롯해서 많이 쓰던 Open Web UI를 사용해볼까 했는데 백엔드와 프론트엔드까지 생각 하려니 예상보다 복잡한 것 같았다. 때문에 더 쉬운 툴이 없을까 하다가 찾은게 Chainlit이다. Docs: 링크Github: 링크Cookbook: 링크 튜토리얼의 코드를 살짝만 손보아서 채팅 목록을 저장해보았는데 잘 작동하는걸 확인했다. import jsonfrom datetime import datetimefrom pathlib import Pathfrom langchain_openai import ChatOpenAIfrom l.. 2025. 5. 14.
LLM에서의 temperature, Top-k, Top-p, Penalties 우선 LLM의 생성 과정을 알아야 하니 간단하게 짚고 넘어간다. 입력 쿼리 → LLM → logits 계산 → logits에 softmax를 취해서 token에 대한 확률 계산 → 답변 생성 이때 token의 숫자는 tokenzier에서 설정한 Vocab size와 같다. Vocab size가 32000이라면, 입력된 쿼리를 바탕으로 32,000개의 token들을 각각이 가진 softmax에 의한 확률을 가지고 multinomial 방법으로 샘플링을 하여 답변을 생성하게 된다. 이때 가장 큰 값만을 사용하면 매번 확정적으로 고정된 token을 생성하겠지만 샘플링 방법을 사용함으로써 답변의 다양성을 확보할 수 있다. 이때 답변의 다양성을 조절할 수 있는 방법들이 몇가지 존재하게 된다. temperat.. 2025. 5. 11.
MFFMs (2024) 논문 리뷰 MFFMs라고 본인이 임의로 부르는 논문의 원래 제목은 Multimodal Financial Foundation Models (MFFMs)-Progress, Prospects, and Challenges다. (링크) 저자는 Xiao-Yang Liu Yanglet, Li Deng다. 텍스트, 차트, 테이블, 오디오 등의 다양한 소스에서 오는 멀티모달 데이터를 어떻게 금융 분야에서 응용할 수 있을지를 다룬, 어떻게 보면 서베이 논문에 가까운 논문이다. AbstractBloombergGPT 및 FinGPT와 같은 금융 LLM은 금융 서비스의 특정 영역에서 그 잠재력을 입증했다. 이러한 초기 언어 중심적 접근 방식을 넘어, Multimodal Financial Foundation Models 멀티모달 금융 .. 2025. 5. 10.
BLIP-2 (2023) 논문 리뷰 BLIP-2의 논문 제목은 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models다. (링크) 저자는 Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi다. 기존의 BLIP은 ViT와 BERT, 이미지와 텍스트 모델을 둘 다 학습시켰다면 BLIP-2에서는 이미지와 텍스트를 연결하는 Q-Former만을 학습한다는 점에서 차이점이 있다. Abstract본 논문에서는 pre-trained frozen 이미지 인코더와 frozen LLM을 사용하여 vision-language 시각-언어 사전 학습을 부트스트랩하는 일반적이고 효율적인 사전 학습 .. 2025. 5. 10.

티스토리툴바