NLP/LLM28 GLM (2021) 논문 리뷰 GLM 논문의 이름은 GLM: General Language Model Pretraining with Autoregressive Blank Infilling다. (링크) 저자는 Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang다. GLM은 2021년에 처음 아카이브에 업로드 되었으며, 2022년에 마지막으로 수정된 논문으로 2026년 기준으로는 비교적 오래된 논문이다. 그래도 지금 리뷰하는 이유는 GLM 4.6과 4.7이 좋은 성능을 거두었기에 그 시초가 되는 모델은 어떠한지 살펴보기 위함이다. AbsractBERT 같은 오토인코딩 모델, GPT 같은 오토리레시브 모델, T5 같은 인코더-디코더 등의 다양.. 2026. 1. 14. 왜 언어 모델이 환각을 일으키는가? (업데이트 예정) OpenAI에서 Why language models hallucinate (OpenAI 블로그 링크)라는 논문을 발표했다. 아직 논문을 본격적으로 읽은 것은 아니지만 핵심을 번역해보자면 다음와 같다. 문제: Hallucination (환각)은 정답이 아니지만 그럴듯해 보이는 거짓말이다. 문제의 원인: 현재의 평가 방법들은 "모르는 것을 모른다" 라고 하는 것 보다는 "그럴듯한 답변을 생성"하면 더 좋은 성능으로 평가한다. GPT-5-Thinking-Mini는 4-o-mini 보다 정답률은 낮지만, Abstention rate (기권율)과 Error rate (오류율)이 훨씬 더 낮다. 우리가 사용하는 텍스트 자료에는 일반적인 머신러닝 문제와 다르게 참 / 거짓 라벨이 붙어있지 않다. 따라서,.. 2025. 9. 9. 41가지 로컬 LLM 벤치마크를 실행 결과 Reddit의 Local LLaMA를 보다가 흥미로운 결과가 있어서 공유한다. I locally benchmarked 41 open-source LLMs across 19 tasks and ranked them (레딧 링크, Github 링크) LLM 벤치마크 선정은 해당 깃허브 (링크)를 참조했다고 한다. 해당 프로젝트는 머신 런타임으로는 18일 8시간이 걸렸으며, RTX 5090 GPU 시간으로는 14일 23시간이 걸렸다고 한다. 19가지 벤치마크 19가지 벤치마크는 다시 크게 3가지 범주로 나누었다.Reasoning & Math, Commonsense & Natural Language Inference, 그리고 Knowledge & Reading이다. 각 범주의 구체적인 항목은 다음과 같다. .. 2025. 9. 2. LLM의 컨텍스트 윈도우와 관련된 글 Geek News의 지난 5년간 LLM 컨텍스트 윈도우의 크기 확장 타임라인 글: 링크 와 원본 글 A timeline of LLM Context Windows, Over the past 5 years. (done right this time): 링크실제 활용 가능한 컨텍스트 크기 실사용 타임라인은 1k→2k→4k→8k→8k→8k→32k→40k, 단 Gemini 2.5 Pro만 80k 가능 Qwen, Mistral, Gemma 등Mistral Large, Gemma3 27B는 32k에서 괜찮아 보임Gemma3는 최악 수준, Fiction.live 벤치마크 참고 권장 결론 공통 합의: 모델마다 “공식 스펙”과 “실사용 성능”은 큰 차이가 있음Gemini: 대체로 가장 안정적이고 대용량 컨텍스트에서도 강력.. 2025. 9. 1. Mamba (2023) 논문 리뷰 Mamba 논문의 이름은 Mamba: Linear-Time Sequence Modeling with Selective State Spaces다. (링크) 저자는 Albert Gu, Tri Dao다. Mamba는 State Space Model을 활용한 본격적인 NLP 모델이다. Absract 현재 딥러닝 분야의 흥미로운 애플리케이션 대부분을 구동하는 Foundation 모델은 거의 대부분 Transformer 아키텍처와 그 핵심인 어텐션 모듈을 기반으로 한다. Linear Attention, gated convolution, recurrent models, structured state space model (SSM)과 같은 많은 subquadratic-time 아키텍처가 긴 시퀀스에서 Transfor.. 2025. 8. 26. 도메인 특화 LLM 리서치 금융이나 의료와 같은 특수한 도메인에 대한 LLM을 리서치했다. 금융의 경우 BloombergGPT나 FinGPT가 있지만 이외의 영역은 Meditron 같은 모델 외에 어떤게 있나 찾아보았다. 1. Arya.ai의 What is a Domain-Specific LLM? Examples and Benefits 글: 링크 2. Self-specialization에 관한 트위터 글: 링크 3. Super Annotate의 Domain-Specific LLMs: How to Make AI Useful for Your Business 글: 링크 4. ICLR2024에 실린 Adapting LLMs to Domains via Continual Pre-Training의 Huggingface: 링크 의료, 금융, .. 2025. 8. 12. 이전 1 2 3 4 5 다음
