본문 바로가기

HuggingFace4

LLM에서의 temperature, Top-k, Top-p, Penalties 우선 LLM의 생성 과정을 알아야 하니 간단하게 짚고 넘어간다. 입력 쿼리 → LLM → logits 계산 → logits에 softmax를 취해서 token에 대한 확률 계산 → 답변 생성 이때 token의 숫자는 tokenzier에서 설정한 Vocab size와 같다. Vocab size가 32000이라면, 입력된 쿼리를 바탕으로 32,000개의 token들을 각각이 가진 softmax에 의한 확률을 가지고 multinomial 방법으로 샘플링을 하여 답변을 생성하게 된다. 이때 가장 큰 값만을 사용하면 매번 확정적으로 고정된 token을 생성하겠지만 샘플링 방법을 사용함으로써 답변의 다양성을 확보할 수 있다. 이때 답변의 다양성을 조절할 수 있는 방법들이 몇가지 존재하게 된다. temperat.. 2025. 5. 11.
Floating-point Number와 Mixed Precision 컴퓨터가 숫자를 저장하는 방법 중 하나인 Floating point number랑 mixed precision을 블로그에 정리한적이 없길래 간단하게 정리한다. mantissa는 기억이 나는데 exponent 용어가 기억이 안나서 순간 당황했다. Nvidia에서 퍼온 그림인데 위와 같이 float 자료형은 Sign, Range (Exponent), 그리고 Precision (Mantissa)으로 구성된다. sign은 말 그대로 양수냐 음수냐의 부호를 나타내고, range (exponent)에서 숫자의 자리수를 표기하고, precision (mantissa)에서 숫자의 정확도를 표현한다. $(-1)^{sign}$ * $2^E$ * M 의 형태로 숫자를 표현한다. 이때 M이 크면 클수록 비트 수가 많.. 2025. 4. 29.
Hugging Face 개요 Hugging Face Libraries 허깅페이스의 주요 라이브러리들과 기본적인 내용을 다룬다. transformers Huggingface는 pretrained models를 간편하게 사용할 수 있는 라이브러리다. Github: 링크Documents: 링크 huggingface를 설치할 때 pip install transformers 명령어를 사용하는데, 이름에서 알 수 있듯이 대부분이 NLP 모델들이지만 computer vision이나 multimodal 모델들도 제공한다. timm 컴퓨터 비전을 모은 모델들은 PyTorch-Image-Models라고 하고 timm이라고 부른다. Github: 링크Documents: 링크 NLP 처리의 단계별 구성 요소의 클래스 Huggingface에서.. 2025. 4. 18.
Hugging Face Hub 설명 Hugginface Hub 허깅페이스 허브 (문서 링크)는 허깅페이스에서 만든 플랫폼으로 모델, 데이터, 스페이스라는 데모 혹은 앱 형태를 지원한다. Models, Datasets, Spaces를 하나씩 살펴본다. Models링크 Tasks, 라이브러리, 데이터, 언어, 라이센스 등등을 기준으로 사용가능한 모델들을 확인할 수 있다. Datasets링크 3D, Audio, Image, Text, Tabluar, Vidoe, Geospatial, Time-series 등 다양한 데이터를 확인할 수 있다.Tasks, 라이브러리, 데이터, 언어, 라이센스 등등을 기준으로 찾을 수도 있다. Spaces링크 구체적으로 Spaces가 무엇인지 알아보기 위해 UNO FLUX를 들어가보았다. .. 2025. 4. 18.

티스토리툴바