본문 바로가기

AI Codes/Huggingface3

Huggingface에서 데이터 다운로드하는 두 가지 방법 허깅페이스에 있는 데이터를 받아서 사용할 일이 있다. 이때 데이터가 작은 경우는 바로 모든 데이터를 다운 받으면 되지만, 일부 데이터만 다운받고 싶거나 데이터가 너무 커서 순차적으로 다운 받는 경우가 있다. 이런 경우에는 파일의 목록을 불러와서 일부만 선택하거나, 순차적으로 일부만 다운 받는 식으로 처리할 수 있다. 일반적인 다운로드 방법한번에 전체 데이터 다운로드. 1. Pandas에 huggingface의 데이터셋을 직접 연결 from datasets import Datasetimport pandas as pddf = pd.read_csv("https://huggingface.co/datasets/imodels/credit-card/raw/main/train.csv")df = pd.DataFr.. 2025. 8. 13.
Hugging Face 개요 Hugging Face Libraries 허깅페이스의 주요 라이브러리들과 기본적인 내용을 다룬다. transformers Huggingface는 pretrained models를 간편하게 사용할 수 있는 라이브러리다. Github: 링크Documents: 링크 huggingface를 설치할 때 pip install transformers 명령어를 사용하는데, 이름에서 알 수 있듯이 대부분이 NLP 모델들이지만 computer vision이나 multimodal 모델들도 제공한다. timm 컴퓨터 비전을 모은 모델들은 PyTorch-Image-Models라고 하고 timm이라고 부른다. Github: 링크Documents: 링크 NLP 처리의 단계별 구성 요소의 클래스 Huggingface에서.. 2025. 4. 18.
Hugging Face Hub 설명 Hugginface Hub 허깅페이스 허브 (문서 링크)는 허깅페이스에서 만든 플랫폼으로 모델, 데이터, 스페이스라는 데모 혹은 앱 형태를 지원한다. Models, Datasets, Spaces를 하나씩 살펴본다. Models링크 Tasks, 라이브러리, 데이터, 언어, 라이센스 등등을 기준으로 사용가능한 모델들을 확인할 수 있다. Datasets링크 3D, Audio, Image, Text, Tabluar, Vidoe, Geospatial, Time-series 등 다양한 데이터를 확인할 수 있다.Tasks, 라이브러리, 데이터, 언어, 라이센스 등등을 기준으로 찾을 수도 있다. Spaces링크 구체적으로 Spaces가 무엇인지 알아보기 위해 UNO FLUX를 들어가보았다. .. 2025. 4. 18.

티스토리툴바