SuperGLUE1 GLUE, SuperGLUE, KLUE, Huggingface LB 요즘은 LLM의 등장 이후 이런 거대 모델 백본으로 하여 전이 학습 등을 적용한 사례들이 늘어나고 있다. LLM은 다양한 자연어 태스크를 처리할 수 있도록 학습되는데 이를 위한 벤치마크가 GLUE다. GLUE와 그 확장 버젼인 SuperGLUE는 영어라서 한국어인 KLUE도 소개한다. GLUE GLUE는 General Language Understanding Evaluation의 약자로 다양한 NLU 태스크들을 모아서 인간처럼 여러가지 복잡한 자연어 처리를 수행할 수 있는지를 확인할 수 있는 벤치마크다. GLUE Tasks는 총 11개다. 각각의 태스크에 맞는 영어 데이터와 부합하는 evaluation metrics가 나와있다. 위에서 부터 차례대로 태스크, 데이터, 메트릭을 살펴보자. Single-Se.. 2024. 3. 4. 이전 1 다음
