AI Codes41 GPT-OSS-120B을 실제로 실행하는 내용들 llama-cpp의 --cpu-moe 옵션을 활용해 MOE 전문가 레이어를 CPU에서 처리하고, 주의(attention) 레이어만 GPU에 오프로드해 5~8GB VRAM으로 빠른 프리필 성능을 구현 CPU-MOE와 GPU 오프로딩 구조--cpu-moe 옵션으로 전문가(MOE) 레이어를 전부 CPU에서 처리예: --n-cpu-moe 36 → 36개 MOE 블록 전부 CPU 실행필요 시 일부 MOE만 GPU로 옮겨 성능 조정 가능GPU에는 다음만 상주시켜 VRAM 절약KV 캐시(시퀀스)Attention 가중치와 활성값라우팅 테이블LayerNorm 및 기타 비전문가 파라미터MOE 가중치는 GPU에 상주하지 않아 대형 MLP 파라미터 부담 없음 Step 1: 최초 추론 실행 어떤 방식이라도 최초 추론(base.. 2025. 8. 18. Huggingface에서 데이터 다운로드하는 두 가지 방법 허깅페이스에 있는 데이터를 받아서 사용할 일이 있다. 이때 데이터가 작은 경우는 바로 모든 데이터를 다운 받으면 되지만, 일부 데이터만 다운받고 싶거나 데이터가 너무 커서 순차적으로 다운 받는 경우가 있다. 이런 경우에는 파일의 목록을 불러와서 일부만 선택하거나, 순차적으로 일부만 다운 받는 식으로 처리할 수 있다. 일반적인 다운로드 방법한번에 전체 데이터 다운로드. 1. Pandas에 huggingface의 데이터셋을 직접 연결 from datasets import Datasetimport pandas as pddf = pd.read_csv("https://huggingface.co/datasets/imodels/credit-card/raw/main/train.csv")df = pd.DataFr.. 2025. 8. 13. LLM 에이전트 기반 음악 추천 챗봇 개발 v0.0.3 후기 개요 v0.0.2 (링크)에서 LLM API의 예상 비용을 추가해야겠다고 했는데 드디어 추가했다. 개발한 결과는 Github (링크)에 올렸다. v0.0.2부터 시작한거지만 tag로 버젼을 추가하고, branch를 파서 pull request 형식으로 이력을 관리하기 시작했다. LLM API 가격 OpenAI, Google, Anthropic의 API 가격을 직접 yaml로 정리해서 config에 추가했다. YAML 데이터 LLM 호출 예상 비용 대시보드 MongoDB에 비용과 관련된 내용을 저장한다.그 이유는 나중에 밝힌다. 현재는 웹 검색 에이전트, 선호도 로딩 에이전트, 수퍼바이저 에이전트의 3가지라서 각각의 input_tokens, cached_input_tokens, output.. 2025. 8. 13. LLM 에이전트 기반 음악 추천 챗봇 개발 v0.0.2 후기 v0.0.1 후기 포스트 (링크)에서 추후 개발할 내용을 아래처럼 정리했다. 추후 개발할 내용현재는 OpenAI 모델만을 작동 확인. Gemini와 Anthropic 모델의 작동 확인 필요. 전체 대화 혹은 특정 기간의 대화 (추천)을 집합적으로 평가하는 대시보드 추가 다양한 모델과 집합적 모니터링 대시보드를 통해서 모델별 평가 가능 Spotify API와 Diversity 등을 통해서 흔하지 않은 노래 추천 기능 향상 도모 LangSmith의 추적 내용을 streamlit 대시 보드로 통합 가능한지 확인 필요 많은 내용들 중에서 일단, 맨 마지막 부분인LangSmith의 추적 내용을 streamlit 대시 보드로 통합 가능한지 확인 필요 을 살펴보았다. 해결과정목표를 위한 사고 과정은 다음과 같다... 2025. 7. 30. 외국인의 제주 관광 데이터 EDA 패스트캠퍼스&업스테이지 AI Lab 1기 부트캠프 과정에서 EDA 프로젝트를 수행한 경험이 있다. 외국인의 제주도 방문 데이터를 활용하여, 제주도 관광 개발 및 홍보 방향 제시한 프로젝트였다. (링크) EDA는 학부시절 R이랑 ggplot2로 공부했는데, 이 프로젝트에서는 파이썬으로으로 수행했다. 1. 데이터제주도 입도 외국인 단기, 장기 방문객 수 국적 및 읍면동 별 방문자 수 데이터외국인의 제주도 방문 입국 목적 데이터읍면동 별 장소 데이터 (오름, 미술관, 액티비티, 관광지 등의 데이터)기간: 2019년 - 2020년 코로나 시기와 코로나 전, 코로나 후는 방문객의 패턴 등의 차이가 심하리라 추정할 수 있다. 특히 봉쇄를 하는 나라와 아닌 나라의 경우 서로 차이가 많으리라 예상할 수 있다. 따라서.. 2025. 7. 25. Wine EDA and Recommendation by Cos Sim Kaggle의 와인 데이터 (링크)를 EDA (Exploratory Data Analysis) 탐색적 데이터 분석을 캐글의 노트북 (링크)으로 한 적이 있다. 한국 사람이 한국의 웹사이트에서 와인 가격을 모았다고 한다. 해외에서는 Vivino나 Wine.com으로 가격 비교를 할테지만 한국 사람에게 유용한건 한국의 가격 데이터라고 생각해서 골랐던 것으로 기억한다. 2년 전에 했던 내용인데 복습도 하고 블로그로 관련된 내용을 통합도 할 겸 블로그에 다시 정리한다. 학부에 다닐 때 R을 활용한 탐색적 자료분석 (허명회 저) 책으로 R을 활용해서 이미 이것저것 익혔기도 하고, 모든 그래프를 활용하는건 연습에는 좋지만 분석에는 적절하지 않다고 생각한다. 따라서 몇가지 유용하다고 판단한 시각화 방법만 설명한다... 2025. 7. 22. 이전 1 2 3 4 ··· 7 다음
