딥러닝3 Instruct learning, fine tuning, and T5 def preprocess_data(example): # Instruction, Input, Output 가져오기 instruction = example["instruction"] input_text = example["input"] output_text = example["output"] # Prompt 생성 prompt = f"Instruction: {instruction}\nInput: {input_text}\nOutput:" target = output_text # Prompt와 Target 텍스트를 각각 토큰화 tokenized_input = tokenizer(prompt, truncation=True, max_length=512, padd.. 2025. 1. 28. Memory Requirement of Deep Learning Models 최근 AI 모델, 특히 딥러닝 모델의 크기는 점점 커지고 있으며GPU 메모리는 유한하기 때문에 모델의 메모리 요구량을 계산해봐야 한다. Floating Point and Memory Parameter: 모델의 파라미터Input, Activaiton: Forward 했을 때의 각 레이어의 결과 값들Gradient: Backward에서 사용할, 계산된 그라디언트 값. Mixed Precision의 경우 FP16으로 연산, 저장은 FP32로 한다. Optimizer stateParameter: 모델 파라미터Gradient: 모델의 업데이트를 위한 그라디언트Momentum: 옵티마이저가 모멘텀을 업데이트 하기 위해 필요한 메모리Variance: 옵티마이저의 Variance를 업데이트 하기 위해 필요한 메모리 f.. 2024. 2. 1. 눈여겨 볼만한 NLP 모델들 NLP Seq2Seq Models 아래의 세 가지 자료를 참고하여 주요 NLP Models를 정리해보려고 합니다. 1. BERT and Related Models Map BERT를 중심으로 연관된 여러 Sequence to Sequence Model의 관계도입니다. 여기 나온 모델들을 정리해보면 다음과 같습니다. ELMo BERT GPT GPT-2 Grover ULMFiT XLM UDify MT-DNN MT-DNN_KD MASS UniLM SpanBERT RoBERTa XLNet ERINE (Tsinghua) KnowBert VideoBERT CBT ViLBERT VisualBERT B2T2 Unicoder-VL LXMERT VL-BERT UNITER ERINE (Baidu) BERT-wwm 2. Kor.. 2024. 1. 31. 이전 1 다음
