본문 바로가기

LLM5

IR RAG 경진대회 후기 - 패스트캠퍼스&업스테이지 AI Lab 1기 1. AbstractGoal of the Competition과학 지식 질의 응답 시스템 구축. LLM의 문제 해결을 위해서 IR을 활용한 RAG로 수행.TimelineApril 08, 2024 - Start DateApril 11, 2024 - First Mentoring (Before Competition)April 15, 2024 - Staring Project DateApril 18, 2024 - Second MentoringApril 23, 2024 - Third MentoringApril 29, 2024 - Final MentoringMay 02,  2024 - Final submission deadlineDescription of the Data과학 상식 문서 4272개 ko_ai2_arc_.. 2024. 5. 7.
딥러닝 기반 NLP 모델들 Transformer 이후 이에 기반한 많은 모델들이 나왔고 LLM까지 등장했다. LLM은 모델도 크고, 데이터도 크기 때문에 개인이나 소규모 기업들이 직접 학습시키기 어렵다. 하지만 LLM은 GLUE에서 좋은 성능을 거두는 경우도 많고, 오픈소스인 경우도 많아서 직접 모델을 학습할 수 없는 사람이나 집단은 pretrained model을 가져와서 tuning하거나 transfer learning의 방법으로 각자의 문제를 풀 수 있게 되었다. 따라서 이런 PLM (Pretrained Langauge Model)을 아는 것은 중요하다. 기본적으로 Transformer는 Multi-head Attention과 Self-Attention, Encoder, Decoder 구조를 지니고 있다. 여기서 Encode.. 2024. 3. 6.
LLM Models and Applications 여기서는 다양한 LLM 모델들의 흐름을 보고자 한다. 2017년 구글의 Transformer (Attention is All You Need)이후 많은 모델들이 등장했다. 구글, 구글 딥마인드, OpenAI, 허깅페이스, 메타(페이스북), 아마존, 마이크로소프트, 화웨이, 바이두 등 다양한 빅테크 기업들의 LLM 개발의 큰 흐름을 파악하기 좋다. 보다 자세한 내용은 아래 레퍼런스에서 확인 할 수 있다. 위 그림은 LLM을 기반으로 한 실제 산업에서의 응용이나 사업 분야를 나타낸다. 연구 이외의 취업이나 사업 등을 생각하는 사람들에게 중요해 보인다. References: https://cobusgreyling.medium.com/the-foundation-large-language-model-llm-too.. 2024. 2. 23.
Memory Requirement of Deep Learning Models 최근 AI 모델, 특히 딥러닝 모델의 크기는 점점 커지고 있으며 GPU 메모리는 유한하기 때문에 모델의 메모리 요구량을 계산해봐야 한다. Floating Point and Memory fp32는 32bit floating point로 Exponent 8 bits와 Mantissa 23 bits가 있다. 나머지 1 bit는 sign으로 양수와 음수를 나타낸다. fp16은 16bit로 Exponent가 5 bits, Mantissa가 10 bits, 1 bit가 sign이다. Input, Activation, Parameter, Gradient, Optimize State (Adam의 경우 Parameter, Gradient, Momentum, Variance)를 모두 fp32로 나타낼 수도 있고, Opti.. 2024. 2. 1.
눈여겨 볼만한 NLP 모델들 NLP Seq2Seq Models 아래의 세 가지 자료를 참고하여 주요 NLP Models를 정리해보려고 합니다. 1. BERT and Related Models Map BERT를 중심으로 연관된 여러 Sequence to Sequence Model의 관계도입니다. 여기 나온 모델들을 정리해보면 다음과 같습니다. ELMo BERT GPT GPT-2 Grover ULMFiT XLM UDify MT-DNN MT-DNN_KD MASS UniLM SpanBERT RoBERTa XLNet ERINE (Tsinghua) KnowBert VideoBERT CBT ViLBERT VisualBERT B2T2 Unicoder-VL LXMERT VL-BERT UNITER ERINE (Baidu) BERT-wwm 2. Kor.. 2024. 1. 31.

티스토리툴바