NLP15 자연어처리 (NLP) 기초 자연어처리는 컴퓨터가 자연언어 (한국어, 영어, 일본어 등의 자연적으로 생성된 언어)를 이해하고 분석하고 생성할 수 있도록 만드는 기술이다. 언어학의 하위 분야 중에서 전산언어학 (computational linguistics)에서는 컴퓨터 기술을 적극적으로 활용한다. 기존에는 규칙 기반 혹은 통계 기반에서 분석을 했으나 2010년대부터는 딥러닝을 적극적으로 도입했다. 언어학의 연구 분야들은 여러가지가 있지만 AI 분야에서 주의 깊게 봐야할 분야를 대략적으로 분류하면 다음과 같다. 언어학의 분야 형태를 연구하는 음운론(Phonology), 형태론(Morphology) , 통사론(Syntax) 내용을 연구하는 의미론(Semantics) 언어의 사용을 연구하는 화용론(Pragmatics) 형태론 (Morph.. 2024. 2. 29. LLM Models and Applications 여기서는 다양한 LLM 모델들의 흐름을 보고자 한다. 2017년 구글의 Transformer (Attention is All You Need)이후 많은 모델들이 등장했다. 구글, 구글 딥마인드, OpenAI, 허깅페이스, 메타(페이스북), 아마존, 마이크로소프트, 화웨이, 바이두 등 다양한 빅테크 기업들의 LLM 개발의 큰 흐름을 파악하기 좋다. 보다 자세한 내용은 아래 레퍼런스에서 확인 할 수 있다. 위 그림은 LLM을 기반으로 한 실제 산업에서의 응용이나 사업 분야를 나타낸다. 연구 이외의 취업이나 사업 등을 생각하는 사람들에게 중요해 보인다. References: https://cobusgreyling.medium.com/the-foundation-large-language-model-llm-too.. 2024. 2. 23. 눈여겨 볼만한 NLP 모델들 NLP Seq2Seq Models 아래의 세 가지 자료를 참고하여 주요 NLP Models를 정리해보려고 합니다. 1. BERT and Related Models Map BERT를 중심으로 연관된 여러 Sequence to Sequence Model의 관계도입니다. 여기 나온 모델들을 정리해보면 다음과 같습니다. ELMo BERT GPT GPT-2 Grover ULMFiT XLM UDify MT-DNN MT-DNN_KD MASS UniLM SpanBERT RoBERTa XLNet ERINE (Tsinghua) KnowBert VideoBERT CBT ViLBERT VisualBERT B2T2 Unicoder-VL LXMERT VL-BERT UNITER ERINE (Baidu) BERT-wwm 2. Kor.. 2024. 1. 31. 이전 1 2 3 다음
