nlp66 GLUE, SuperGLUE, KLUE, Huggingface LB 요즘은 LLM의 등장 이후 이런 거대 모델 백본으로 하여 전이 학습 등을 적용한 사례들이 늘어나고 있다.LLM은 다양한 자연어 태스크를 처리할 수 있도록 학습되는데 이를 위한 벤치마크가 GLUE다.GLUE와 그 확장 버젼인 SuperGLUE는 영어라서 한국어인 KLUE도 소개한다. GLUE GLUE는 General Language Understanding Evaluation의 약자로 다양한 NLU 태스크들을 모아서 인간처럼 여러가지 복잡한 자연어 처리를 수행할 수 있는지를 확인할 수 있는 벤치마크다. GLUE Tasks는 총 11개다. 각각의 태스크에 맞는 영어 데이터와 부합하는 evaluation metrics가 나와있다. 위에서 부터 차례대로 태스크, 데이터, 메트릭을 살펴보자. Single-.. 2024. 3. 4. 우리말 연구의 첫걸음 우리말 연구의 첫걸음, 유현경 외, 2015, 보고사. 예전에 자연어처리 공부하기 전에 기초적인 언어학적 지식을 쌓기 위해 본 책이다. 이전에 정리했던 내용을 블로그에 올린거라 자세한 내용은 기억이 나지 않지만 올려본다. 우선 책의 전반적인 내용을 알 수 있는 목차부터 살펴보자. 제1장 한국어학의 기초 제2장 사회언어학 제3장 방언학 제4장 통사론(Ⅰ)-문자의 구성 제5장 형태론 제6장 음운론 제7장 통사론(Ⅱ)-문법 범주 제8장 어휘론 제9장 의미론 제10장 화용론 제11장 한국어의 역사 제12장 한국어정보학 제13장 한국어교육학 언어학 중에서도 한국어학의 기초부터 시작해서 사회언어학, 방언학 등도 나온다. 하지만 AI의 NLP 분야를 공부하는 사람들에게 중요한 내용은 통사론, 형태론, 음운론, 어휘론.. 2024. 3. 4. 자연어처리 (NLP) 기초 자연어처리는 컴퓨터가 자연언어 (한국어, 영어, 일본어 등의 자연적으로 생성된 언어)를 이해하고 분석하고 생성할 수 있도록 만드는 기술이다. 언어학의 하위 분야 중에서 전산언어학 (computational linguistics)에서는 컴퓨터 기술을 적극적으로 활용한다. 기존에는 규칙 기반 혹은 통계 기반에서 분석을 했으나 2010년대부터는 딥러닝을 적극적으로 도입했다. 언어학의 연구 분야들은 여러가지가 있지만 AI 분야에서 주의 깊게 봐야할 분야를 대략적으로 분류하면 다음과 같다. 언어학의 분야 형태를 연구하는 음운론(Phonology), 형태론(Morphology) , 통사론(Syntax) 내용을 연구하는 의미론(Semantics) 언어의 사용을 연구하는 화용론(Pragmatics) 형태론 (Morph.. 2024. 2. 29. LLM Models and Applications 여기서는 다양한 LLM 모델들의 흐름을 보고자 한다. 2017년 구글의 Transformer (Attention is All You Need)이후 많은 모델들이 등장했다. 구글, 구글 딥마인드, OpenAI, 허깅페이스, 메타(페이스북), 아마존, 마이크로소프트, 화웨이, 바이두 등 다양한 빅테크 기업들의 LLM 개발의 큰 흐름을 파악하기 좋다. 보다 자세한 내용은 아래 레퍼런스에서 확인 할 수 있다. 위 그림은 LLM을 기반으로 한 실제 산업에서의 응용이나 사업 분야를 나타낸다. 연구 이외의 취업이나 사업 등을 생각하는 사람들에게 중요해 보인다. References: https://cobusgreyling.medium.com/the-foundation-large-language-model-llm-too.. 2024. 2. 23. AI/ML/DL 주요 컨퍼런스 AI 분야는 저널 보다는 컨퍼런스 위주로 논문이 작성되고 읽히고 있다. 전반적인 AI와 CV, NLP, 데이터 마이닝, 추천 시스템쪽 컨퍼런스를 정리하고자 한다. Graph 관련이나 추천 시스템 관련 논문들은 AI나 데이터 마이닝 분야에서 많이 등장한다. 또한 의류 추천 등과 같이 이미지가 주 학습 데이터로 쓰이는 경우 CVPR 등에서 찾아볼 수도 있다. AI AAAI (Association for the Advancement of Artificial Intelligence) NIPS = NeuraIPS (Neural Information Processing Systems) IJCAI (International Joint Conference on Artificial Intelligence) ICLR (I.. 2024. 2. 21. 눈여겨 볼만한 NLP 모델들 NLP Seq2Seq Models 아래의 세 가지 자료를 참고하여 주요 NLP Models를 정리해보려고 합니다. 1. BERT and Related Models Map BERT를 중심으로 연관된 여러 Sequence to Sequence Model의 관계도입니다. 여기 나온 모델들을 정리해보면 다음과 같습니다. ELMo BERT GPT GPT-2 Grover ULMFiT XLM UDify MT-DNN MT-DNN_KD MASS UniLM SpanBERT RoBERTa XLNet ERINE (Tsinghua) KnowBert VideoBERT CBT ViLBERT VisualBERT B2T2 Unicoder-VL LXMERT VL-BERT UNITER ERINE (Baidu) BERT-wwm 2. Kor.. 2024. 1. 31. 이전 1 ··· 8 9 10 11 다음
