WorldModel1 GPT-OSS와 딥마인드의 월드 모델 Genie 3 GPT-OSS OpenAI가 ClosedAI로서 행동하는게 아니라 진짜로 "오픈" 소스로 무려 아파치 2.0으로 GPT-OSS라는 MoE LLM 모델을 공개했다. (공식 페이지 링크, Huggingface: 링크, GeekNews 링크) 120B의 모델 중에서 실제 active parameters는 고작 5B라서 굉장히 놀라웠다. 전문가의 수는 128인데, 이는 하나의 전문가가 1B 정도의 크기란 이야기라서 생각보다 개별 전문가의 파라미터 크기는 작다 싶었다. 전에 Mixtral 논문을 공부하고 블로그에 포스트 (링크)을 했는데, 그때 MoE를 공부하길 잘했다 싶다. Genie 3 그런데, 이 보다 더 나에게 신기하게 다가온건 바로 구글 딥마인드의 월드 모델이었다. 월드 모델이라는 이름 그대로 실제.. 2025. 8. 7. 이전 1 다음