본문 바로가기

NLP71

Graph RAG 서베이 (2024) 논문 리뷰 논문의 제목은 Graph Retrieval-Augmented Generation: A Survey다. (링크) 저자는 Boci Peng, Yun Zhu, Yongchao Liu, Xiaohe Bo, Haizhou Shi, Chuntao Hong, Yan Zhang, Siliang Tang다. Github: 링크 그래프 RAG를 다룬 서베이 논문으로, 제목 그대로 그래프 구조의 데이터를 통해서 RAG를 수행하는 방법들을 다루고 있다. Abstract최근 Retrieval-Augmented Generation (RAG)는 retaining이 없이 LLM의 문제들의 해결에 있어서 눈에 띄는 성과를 달성했다. External knowledge 외부 지식을 참조함으로써, hallucination 환각, 도메인 .. 2025. 9. 22.
왜 언어 모델이 환각을 일으키는가? (업데이트 예정) OpenAI에서 Why language models hallucinate (OpenAI 블로그 링크)라는 논문을 발표했다. 아직 논문을 본격적으로 읽은 것은 아니지만 핵심을 번역해보자면 다음와 같다. 문제: Hallucination (환각)은 정답이 아니지만 그럴듯해 보이는 거짓말이다. 문제의 원인: 현재의 평가 방법들은 "모르는 것을 모른다" 라고 하는 것 보다는 "그럴듯한 답변을 생성"하면 더 좋은 성능으로 평가한다. GPT-5-Thinking-Mini는 4-o-mini 보다 정답률은 낮지만, Abstention rate (기권율)과 Error rate (오류율)이 훨씬 더 낮다. 우리가 사용하는 텍스트 자료에는 일반적인 머신러닝 문제와 다르게 참 / 거짓 라벨이 붙어있지 않다. 따라서,.. 2025. 9. 9.
41가지 로컬 LLM 벤치마크를 실행 결과 Reddit의 Local LLaMA를 보다가 흥미로운 결과가 있어서 공유한다. I locally benchmarked 41 open-source LLMs across 19 tasks and ranked them (레딧 링크, Github 링크) LLM 벤치마크 선정은 해당 깃허브 (링크)를 참조했다고 한다. 해당 프로젝트는 머신 런타임으로는 18일 8시간이 걸렸으며, RTX 5090 GPU 시간으로는 14일 23시간이 걸렸다고 한다. 19가지 벤치마크 19가지 벤치마크는 다시 크게 3가지 범주로 나누었다.Reasoning & Math, Commonsense & Natural Language Inference, 그리고 Knowledge & Reading이다. 각 범주의 구체적인 항목은 다음과 같다. .. 2025. 9. 2.
LLM의 컨텍스트 윈도우와 관련된 글 Geek News의 지난 5년간 LLM 컨텍스트 윈도우의 크기 확장 타임라인 글: 링크 와 원본 글 A timeline of LLM Context Windows, Over the past 5 years. (done right this time): 링크실제 활용 가능한 컨텍스트 크기 실사용 타임라인은 1k→2k→4k→8k→8k→8k→32k→40k, 단 Gemini 2.5 Pro만 80k 가능 Qwen, Mistral, Gemma 등Mistral Large, Gemma3 27B는 32k에서 괜찮아 보임Gemma3는 최악 수준, Fiction.live 벤치마크 참고 권장 결론 공통 합의: 모델마다 “공식 스펙”과 “실사용 성능”은 큰 차이가 있음Gemini: 대체로 가장 안정적이고 대용량 컨텍스트에서도 강력.. 2025. 9. 1.
Mamba (2023) 논문 리뷰 Mamba 논문의 이름은 Mamba: Linear-Time Sequence Modeling with Selective State Spaces다. (링크) 저자는 Albert Gu, Tri Dao다. Mamba는 State Space Model을 활용한 본격적인 NLP 모델이다. Absract 현재 딥러닝 분야의 흥미로운 애플리케이션 대부분을 구동하는 Foundation 모델은 거의 대부분 Transformer 아키텍처와 그 핵심인 어텐션 모듈을 기반으로 한다. Linear Attention, gated convolution, recurrent models, structured state space model (SSM)과 같은 많은 subquadratic-time 아키텍처가 긴 시퀀스에서 Transfor.. 2025. 8. 26.
도메인 특화 LLM 리서치 금융이나 의료와 같은 특수한 도메인에 대한 LLM을 리서치했다. 금융의 경우 BloombergGPT나 FinGPT가 있지만 이외의 영역은 Meditron 같은 모델 외에 어떤게 있나 찾아보았다. 1. Arya.ai의 What is a Domain-Specific LLM? Examples and Benefits 글: 링크 2. Self-specialization에 관한 트위터 글: 링크 3. Super Annotate의 Domain-Specific LLMs: How to Make AI Useful for Your Business 글: 링크 4. ICLR2024에 실린 Adapting LLMs to Domains via Continual Pre-Training의 Huggingface: 링크 의료, 금융, .. 2025. 8. 12.

티스토리툴바