nlp70 GRU 모델 설명 GRU 설명 GRU는 Gated Recurrent Units의 약자로 Recurrent Neural Network (RNN)의 하나다. GRU가 소개된 논문 이름은 Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation이다. 저자는 Cho, Kyunghyun; van Merrienboer, Bart; Bahdanau, DZmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua이다. 전체적인 내용은 LSTM과 유사하여 간략하게 설명하고 구현도 비슷하므로 생략한다. GRU의 가장 특징은 LSTM의 Cell을 다소 단순화했다는 사실이다. Update ga.. 2024. 4. 11. LSTM 모델 설명과 PyTorch Implementation LSTM 설명 LSTM은 Long Short Term Memory의 약자로 Recurrent Neural Network (RNN)의 하나다. 워낙 오래된 모델이라 논문에 대한 설명 보다는 알고리즘에 대한 설명한 하고 넘어가겠다. 설명을 생략하기에는 Tabular data 등의 예측 모델에 쓴다거나 하는 식으로 응용할 수 있기에 포스팅해야겠다 생각했다. RNN은 기본적으로 sequential model로 순서가 유의미한 모델이다.따라서 단어의 순서가 중요한 NLP라든가 시간에 따른 변화 추이가 중요한 금융 데이터 등에 쓰기 좋은 모델이다.LSTM 역시 RNN의 하나로 sequential model이다. Figure 1을 보면 $t-1$의 이전 state의 cell의 정보가 현재 state인 $t$의 .. 2024. 4. 9. NLP 경진대회 후기 - 패스트캠퍼스&업스테이지 AI Lab 1기 1. AbstractGoal of the CompetitionText Summarization 일상대화 요약 경진대회. 주어진 데이터를 활용하여 대화의 요약 생성.TimelineMarch 08, 2024 - Start DateMarch 06, 2024 - Mentoring1 (Before Competition)March 15, 2024 - Mentoring2March 20, 2024 - Mentoring3March 20, 2024 - Final submission deadlineDescription of the Data모든 데이터는 .csv 형식으로 제공되고 있으며, 각각의 데이터 건수는 다음과 같습니다. dev는 validation 데이터이며, test는 public, hidden-test는 priv.. 2024. 3. 24. 딥러닝 기반 NLP 모델들 Transformer 이후 이에 기반한 많은 모델들이 나왔고 LLM까지 등장했다.LLM은 모델도 크고, 데이터도 크기 때문에 개인이나 소규모 기업들이 직접 학습시키기 어렵다.하지만 LLM은 GLUE에서 좋은 성능을 거두는 경우도 많고, 오픈소스인 경우도 많아서직접 모델을 학습할 수 없는 사람이나 집단은 pretrained model을 가져와서tuning하거나 transfer learning의 방법으로 각자의 문제를 풀 수 있게 되었다.따라서 이런 PLM (Pretrained Langauge Model)을 아는 것은 중요하다. 기본적으로 Transformer는 Multi-head Attention과 Self-Attention, Encoder, Decoder 구조를 지니고 있다.여기서 Encoder만 활용.. 2024. 3. 6. GLUE, SuperGLUE, KLUE, Huggingface LB 요즘은 LLM의 등장 이후 이런 거대 모델 백본으로 하여 전이 학습 등을 적용한 사례들이 늘어나고 있다.LLM은 다양한 자연어 태스크를 처리할 수 있도록 학습되는데 이를 위한 벤치마크가 GLUE다.GLUE와 그 확장 버젼인 SuperGLUE는 영어라서 한국어인 KLUE도 소개한다. GLUE GLUE는 General Language Understanding Evaluation의 약자로 다양한 NLU 태스크들을 모아서 인간처럼 여러가지 복잡한 자연어 처리를 수행할 수 있는지를 확인할 수 있는 벤치마크다. GLUE Tasks는 총 11개다. 각각의 태스크에 맞는 영어 데이터와 부합하는 evaluation metrics가 나와있다. 위에서 부터 차례대로 태스크, 데이터, 메트릭을 살펴보자. Single-.. 2024. 3. 4. 우리말 연구의 첫걸음 우리말 연구의 첫걸음, 유현경 외, 2015, 보고사. 예전에 자연어처리 공부하기 전에 기초적인 언어학적 지식을 쌓기 위해 본 책이다. 이전에 정리했던 내용을 블로그에 올린거라 자세한 내용은 기억이 나지 않지만 올려본다. 우선 책의 전반적인 내용을 알 수 있는 목차부터 살펴보자. 제1장 한국어학의 기초 제2장 사회언어학 제3장 방언학 제4장 통사론(Ⅰ)-문자의 구성 제5장 형태론 제6장 음운론 제7장 통사론(Ⅱ)-문법 범주 제8장 어휘론 제9장 의미론 제10장 화용론 제11장 한국어의 역사 제12장 한국어정보학 제13장 한국어교육학 언어학 중에서도 한국어학의 기초부터 시작해서 사회언어학, 방언학 등도 나온다. 하지만 AI의 NLP 분야를 공부하는 사람들에게 중요한 내용은 통사론, 형태론, 음운론, 어휘론.. 2024. 3. 4. 이전 1 ··· 8 9 10 11 12 다음
