본문 바로가기

분류 전체보기215

Quantization 정리 Quantization 양자화는 모델 경량화 방법 중 하나다. FP32 형식의 데이터를 INT 8처럼 더 작은 비트수의 정수 데이터 형식으로 근사하여 모델의 크기를 줄이면서도 정확도를 최대한 유지한다. 이를 통해 더 작은 모델로 더 작은 리소스를 사용해서 비슷한 결과를 달성할 수 있게 된다. Quantization 예시. From FP32 To INT 8 Nvidia의 블로그 (링크)를 보면 32 bit FP를 8 bit INT로 근사하는 과정을 보여준다. 아래 Figure 1이 그 과정을 보여준다. 우선 FP32는 [ $-3.4e38, 3.40e38$ ]의 범위를 가진다. 반면에 INT8은 [ $-128, 127$ ]의 범위를 가진다. 이때 표현 가능한 숫자의 구간을 동적 범위 dynamic-rang.. 2025. 5. 20.
ARIMA 계열 모델들 - 작성중 ARIMA는 autoregressive integrated moving average의 줄임말로 자기상관성 (autocorrelation)과 이동평균 (moving average)와 차분 (differencing)를 이용한 예측 모델이다. SARIMA는 위 ARIMA 모델에 seasonality 계절성을 추가한 모델로 seasonal ARIMA이다. 기본적으로 ARMA (autoregressive moving average)모델은 stationary time series 시계열의 정상성을 가정한다. 이는 곧 이때 정상성 (Stationary)은 시계열 데이터가 시간의 흐름에 따라서 평균과 분산이 변하지 않음을 의미한다. 시계열 자료는 추세 (trend)가 있는 경우가 많은데 이를 차분 (differ.. 2025. 5. 18.
HiPPO (2020) 논문 리뷰 HiPPO 논문의 이름은 HiPPO: Recurrent Memory with Optimal Polynomial Projections다. (링크) 저자는 Albert Gu, Tri Dao, Stefano Ermon, Atri Rudra, Christopher Re다. HiPPO는 시계열 데이터 혹은 sequential data에서 순서에 따라서 정보를 누적하는 문제를 풀고자 하는 논문이다. 전 직장에서 동료들의 도움으로 큰 얼개는 파악했는데 논문 자체를 제대로 본건 아니라서 이번 기회에 보고자 적는 리뷰다. 저자들이 물리학 베이스인 것으로 알고 있어서 수식이 난무한다. Abstract:Sequential data 순차적 데이터 학습의 핵심 문제는 더 많은 데이터를 처리함에 따른 cumulative h.. 2025. 5. 17.
Streamlit으로 음악 추천을 위한 챗봇 구현 Streamlit + LangChain + LangGrpah로 구현했다. 랭체인 한국어 튜토리얼 (링크)의 도움을 많이 받았다. Chainlit에서 Streamlit으로 갈아탄 이유는 예시나 도큐먼트 자료를 찾기 힘들기 때문이다. 그리고 로그인부터 시작해서 여러가지를 건들게 되는데, 이렇게 복잡하게 할 바에는 차라리 Open Web UI에 백엔드로 구현해서 연결하는게 낫지 않나 싶은 생각이 들었다. 그러려면 차라리 복잡한건 Open Web UI로, 간편하게 구현하고 사용할 개인 용도는 Streamlit으로 하는게 낫다는 생각이 들었다. 비슷한 프로젝트를 진행하는 사람들을 위해서 도움이 될것 같아서 전반적인 프로젝트의 개요와 이를 어떻게 해결했는지 적어본다. 개인 음악 추천 챗봇 구현1. 배경: 알고리.. 2025. 5. 16.
Towards Next-Generation LLM-based Recommender Systems (2024) 논문 리뷰 Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond (링크) 저자는 Qi Wang, Jindong Li, Shiqi Wang, Qianli Xing, Runliang Niu, He Kong, Rui Li, Guodong Long, Yi Chang, Chengqi Zhang다. Github: 링크 LLM기반 추천 시스템 서베이 논문을 찾다가 그림이 잘 나와있길래 간단하게 리뷰한다. 우선 아래 Table 1은 기존의 서베이 논문들과 저자들의 서베이 논문을 비교하는 표다. 이제 본격적으로 논문에 대해서 살펴본다. Overview 우선 저자들은 아래 Figure 1처럼 Representing and Understanding.. 2025. 5. 16.
KAN (2024) 논문 리뷰 Kolmogorov-Arnold Networks는 원래의 초기 논문과 2.0의 2가지 논문이 있다. 여기서는 첫 번째 논문인 KAN: Kolmogorov-Arnold Networks (링크)을 중심으로 하고, 2.0은 간략하게만 다룬다. KAN 오리지널 논문의 저자는 Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark다. KAN 2.0의 논문 제목은 KAN 2.0: Kolmogorov-Arnold Networks Meet Science (링크)이고, 저자는 Ziming Liu, Pingchuan Ma, Yixuan Wang, Wojciech Matus.. 2025. 5. 15.

티스토리툴바