Deep Learning6 Floating-point Number와 Mixed Precision 컴퓨터가 숫자를 저장하는 방법 중 하나인 Floating point number랑 mixed precision을 블로그에 정리한적이 없길래 간단하게 정리한다. mantissa는 기억이 나는데 exponent 용어가 기억이 안나서 순간 당황했다. Nvidia에서 퍼온 그림인데 위와 같이 float 자료형은 Sign, Range (Exponent), 그리고 Precision (Mantissa)으로 구성된다. sign은 말 그대로 양수냐 음수냐의 부호를 나타내고, range (exponent)에서 숫자의 자리수를 표기하고, precision (mantissa)에서 숫자의 정확도를 표현한다. (−1)sign * 2E * M 의 형태로 숫자를 표현한다. 이때 M이 크면 클수록 비트 수가 많.. 2025. 4. 29. Meta, Few-shot, Zero-shot, Active Learning 1. Meta Learning (메타 학습)개념: 메타 학습은 '학습하는 방법을 학습'하는 것을 목표로 합니다. 일반적으로는 여러 작업에 걸쳐 학습을 반복하면서, 새로운 작업에서도 빠르게 적응할 수 있는 모델을 만드는 기법입니다.방법: 메타 학습에서는 모델이 주어진 작업의 학습 방식을 학습하여, 새로운 작업에서 적은 데이터만으로도 빠르게 성능을 향상시킬 수 있도록 합니다. 대표적인 메타 학습 알고리즘으로는 MAML(Model-Agnostic Meta-Learning)이 있습니다.장점: 메타 학습은 여러 작업에 대한 경험을 바탕으로 새로운 작업에 더 잘 적응할 수 있게 해줍니다.단점: 메타 학습을 적용하기 위해서는 여러 다양한 작업에 대한 학습 데이터가 필요하며, 학습 시간이 오래 걸릴 수 있습니다.2. .. 2024. 10. 25. 딥러닝 모델 분석과 구현 정리 Computer VisionTasksModelReviewImplementationImage Classification, Object DetectionAlexNetAlexNet 논문 리뷰AlexNet 구현Image Classification, Object DetectionVGGNetVGGNet 논문 리뷰VGGNet 구현Image Classification, Object DetectionGoogLeNet = Inception v1GoogLeNet 논문 리뷰GoogLeNet 구현Object DetectionR-CNNR-CNN 논문 리뷰R-CNN 구현Object DetectionSPPNetSPPNet 논문 리뷰SPPNet 구현Image ClassificationInception V3Inception V3 논문 .. 2024. 4. 24. Tensorboard and WandB Tensorboard와 WandB는 머신러닝과 딥러닝 모델 개발에 대한 모니터링 툴이다. Tensorboard는 이름에서 알 수 있듯이 TensorFlow와 연계된 툴이지만 PyTorch에서도 사용할 수 있다. 여기서는 AlexNet을 이용해 CIFAR-10을 classification하는 예시를 통해 살펴보고자 한다. Tensorboard 예시 from torch.utils.tensorboard import SummaryWriter # TensorBoard 사용 준비 writer = SummaryWriter("./runs/cv/alexnet") writer를 이용하여 텐서보드에 기록할 준비를 한다. tensorboard에는 add_scalar, add_scalars, add_graph, add_imag.. 2024. 3. 29. 알아두면 좋은 주요 딥러닝 모델들 딥러닝 모델 자체는 굉장히 오래되었다고 하지만 여기서는 자세한 역사보다는 기념비적인 논문이자 CNN 구조를 가진 LeNet5과 ImageNet Large Scale Visual Recognition Challenge (ILSVRC)의 2012년 우승 모델인 AlexNet으로 시작해서 2023년까지의 주목할만한 모델들을 정리해보았다. LLM 모델들은 별도로 다룰 필요가 있다고 생각하여 제외하고 가장 유명한 모델인 ChatGPT의 시작인 GPT만 소개한다. Out-of-Distribution (OOD)과 Generation (Generative Adversarial Network, GAN), Document Image Classification 등 개인적으로 관심이 있거나 다양한 강의를 통해 수집한 자료이므.. 2024. 2. 22. Memory Requirement of Deep Learning Models 최근 AI 모델, 특히 딥러닝 모델의 크기는 점점 커지고 있으며GPU 메모리는 유한하기 때문에 모델의 메모리 요구량을 계산해봐야 한다. Floating Point and Memory fp32는 32bit floating point로 Exponent 8 bits와 Mantissa 23 bits가 있다.나머지 1 bit는 sign으로 양수와 음수를 나타낸다.fp16은 16bit로 Exponent가 5 bits, Mantissa가 10 bits, 1 bit가 sign이다.Input, Activation, Parameter, Gradient, Optimize State (Adam의 경우 Parameter, Gradient, Momentum, Variance)를 모두 fp32로 나타낼 수도 있고, Optimize.. 2024. 2. 1. 이전 1 다음
