본문 바로가기

deeplearning25

Quantization 정리 Quantization 양자화는 모델 경량화 방법 중 하나다. FP32 형식의 데이터를 INT 8처럼 더 작은 비트수의 정수 데이터 형식으로 근사하여 모델의 크기를 줄이면서도 정확도를 최대한 유지한다. 이를 통해 더 작은 모델로 더 작은 리소스를 사용해서 비슷한 결과를 달성할 수 있게 된다. Quantization 예시. From FP32 To INT 8 Nvidia의 블로그 (링크)를 보면 32 bit FP를 8 bit INT로 근사하는 과정을 보여준다. 아래 Figure 1이 그 과정을 보여준다. 우선 FP32는 [ $-3.4e38, 3.40e38$ ]의 범위를 가진다. 반면에 INT8은 [ $-128, 127$ ]의 범위를 가진다. 이때 표현 가능한 숫자의 구간을 동적 범위 dynamic-rang.. 2025. 5. 20.
KAN (2024) 논문 리뷰 Kolmogorov-Arnold Networks는 원래의 초기 논문과 2.0의 2가지 논문이 있다. 여기서는 첫 번째 논문인 KAN: Kolmogorov-Arnold Networks (링크)을 중심으로 하고, 2.0은 간략하게만 다룬다. KAN 오리지널 논문의 저자는 Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark다. KAN 2.0의 논문 제목은 KAN 2.0: Kolmogorov-Arnold Networks Meet Science (링크)이고, 저자는 Ziming Liu, Pingchuan Ma, Yixuan Wang, Wojciech Matus.. 2025. 5. 15.
Floating-point Number와 Mixed Precision 컴퓨터가 숫자를 저장하는 방법 중 하나인 Floating point number랑 mixed precision을 블로그에 정리한적이 없길래 간단하게 정리한다. mantissa는 기억이 나는데 exponent 용어가 기억이 안나서 순간 당황했다. Nvidia에서 퍼온 그림인데 위와 같이 float 자료형은 Sign, Range (Exponent), 그리고 Precision (Mantissa)으로 구성된다. sign은 말 그대로 양수냐 음수냐의 부호를 나타내고, range (exponent)에서 숫자의 자리수를 표기하고, precision (mantissa)에서 숫자의 정확도를 표현한다. $(-1)^{sign}$ * $2^E$ * M 의 형태로 숫자를 표현한다. 이때 M이 크면 클수록 비트 수가 많.. 2025. 4. 29.
Visualizing and Understanding Convolutional Networks (2013) 논문 리뷰 Visualizing and Understanding Convolutional Networks 논문은 convolution network에서 깊이 마다 어떻게 피쳐가 학습되는지를 시각화한 논문이다. (링크) 저자는 Matthew D Zeiler, Rob Fergus다. 우선 layer의 깊이에 따른 구분을 먼저 적는다. Input → Layer 1 → Layer 2 → ... → Layer K → Output Input과 가까운 레이어들을 shallow layer, bottom layer라고 한다. Output에 가까운 레이어들을 deep layer, top layer라고 한다. 함수의 입력을 밑에 넣고 중간의 함수를 거쳐서 위쪽으로 출력이 나오는 구조에서 bottom layer와 top layer가.. 2025. 4. 11.
Small Language Models: Survey, Measurements, and Insights Small Language Models: Survey, Measurements, and Insights - Zhenyan Lu et al (2024) SLM에 대해서 공부할 때 본 논문으로 LLM 서베이처럼 간략하게 키워드 중심으로 정리하되 간단한 설명도 곁들이고자 한다. 1. Overview   OPT를 포함한 SLM의 타임라인이다.     BLOOM, Phi, Gemma, Qwen, SmolLM 외에도 다양한 SLM을 이 논문을 통해서 확인했다.    2. Architectures아래에서는 전체적인 model의 구조를 KV-cache, Attention의 종류, Normalization의 종류, Activation의 종류 등을 일목요연하게 파이 차트로 정리한 그림으로 들어간다.    Attention.. 2025. 3. 17.
A Survey of Large Language Model - Wayne Xin Zhao et al (2024) A Survey of Large Language Model - Wayne Xin Zhao et al (2024) LLM에 대해서 공부할 때 전체적인 흐름을 파악하기 위해서 본 서베이 페이퍼다. 구글 스칼라에서 인용수가 2025년 3월 18일 기준 4000이 넘으며 2023년 이후 지속적으로 업데이트 되고 있는 논문이다. 특정 분야에 대해서 처음 접하거나 이미 공부한 다음 큰 틀에서 흐름을 정리하고자 할 때 유용한 것이 서베이 논문이라고 생각한다.  상기한 이유와 레퍼런스를 제외하고도 90페이지가 넘는 분량이기도 해서 전체적인 개요와 키워드, 그림 및 표 몇가지만 정리하고자 한다. 자세한 내용은 서베이 논문과 레퍼런스를 참고하면 좋겠다.  논문 목차 정리1. Introduction: Statistical .. 2025. 3. 17.

티스토리툴바