-
개인용 WSL2를 서버처럼 쓰기
데스크탑을 서버처럼 사용하려고 윈도우의 원격 데스크톱 접속 (RDP)를 하려다가 실패해서, 과거에 우분투에 SSH 접속을 구현했던 것 처럼 WSL2에 접속할 수 있게 세팅했다. WSL2의 가장 큰 특징은 마치 외부 IP에서 포트포워딩으로 내부 IP에 연결하는 방식처럼 데스크톱의 윈도우에 접속한 것을 다시 WSL2의 Linux OS에 연결해준다는 점에 있다. SSH로 WSL2에 접근하기 이 블로그 (링크)를 따라서 수행했다. 1. WSL2에 설치된 OS (본인은 Ubuntu, 24.04 LTS)에 open ssh를 설치해서 서버를 시작한다. 2. 비밀번호 접속과 Public and Private Keys 접속 두 가지가 있는데 우선 비밀번호 접속으로 서버 접속을 확인 한 다음, 키를 통한 접속으로 변환..
2025.08.25
-
GPT-OSS-120B을 실제로 실행하는 내용들
llama-cpp의 --cpu-moe 옵션을 활용해 MOE 전문가 레이어를 CPU에서 처리하고, 주의(attention) 레이어만 GPU에 오프로드해 5~8GB VRAM으로 빠른 프리필 성능을 구현 CPU-MOE와 GPU 오프로딩 구조--cpu-moe 옵션으로 전문가(MOE) 레이어를 전부 CPU에서 처리예: --n-cpu-moe 36 → 36개 MOE 블록 전부 CPU 실행필요 시 일부 MOE만 GPU로 옮겨 성능 조정 가능GPU에는 다음만 상주시켜 VRAM 절약KV 캐시(시퀀스)Attention 가중치와 활성값라우팅 테이블LayerNorm 및 기타 비전문가 파라미터MOE 가중치는 GPU에 상주하지 않아 대형 MLP 파라미터 부담 없음 Step 1: 최초 추론 실행 어떤 방식이라도 최초 추론(base..
2025.08.18
-
LLM 에이전트 기반 음악 추천 챗봇 개발 v0.0.3 후기
개요 v0.0.2 (링크)에서 LLM API의 예상 비용을 추가해야겠다고 했는데 드디어 추가했다. 개발한 결과는 Github (링크)에 올렸다. v0.0.2부터 시작한거지만 tag로 버젼을 추가하고, branch를 파서 pull request 형식으로 이력을 관리하기 시작했다. LLM API 가격 OpenAI, Google, Anthropic의 API 가격을 직접 yaml로 정리해서 config에 추가했다. YAML 데이터 LLM 호출 예상 비용 대시보드 MongoDB에 비용과 관련된 내용을 저장한다.그 이유는 나중에 밝힌다. 현재는 웹 검색 에이전트, 선호도 로딩 에이전트, 수퍼바이저 에이전트의 3가지라서 각각의 input_tokens, cached_input_tokens, output..
2025.08.13
-
티스토리에 Github랑 LinkedIn 링크 추가하기
https://aerimforest.tistory.com/161에서 찾은 Font Awesome의 아이콘과 https://bo5mi.tistory.com/116에서 찾은 방법으로 아래와 같이 깃허브와 링크드인 아이콘을 누르면 해당 페이지로 넘어가도록 만드는데에 성공했다. 방법은 다음과 같다. 1. Font Awesome에서 Github와 LinkedIn svg를 다운 받는다. 2. 티스토리의 HTML 편집에 들어간다.3. 파일 업로드에서 다운 받은 svg 파일 2개를 올린다.4. 업로드한 svg 파일의 링크를 각각 복사한다.5. 원하는 위치에 놓이도록 아래 코드를 작성한다. 6. 결과를 확인한다. References:https://aerimfo..
2025.08.13
-
도메인 특화 LLM 리서치
금융이나 의료와 같은 특수한 도메인에 대한 LLM을 리서치했다. 금융의 경우 BloombergGPT나 FinGPT가 있지만 이외의 영역은 Meditron 같은 모델 외에 어떤게 있나 찾아보았다. 1. Arya.ai의 What is a Domain-Specific LLM? Examples and Benefits 글: 링크 2. Self-specialization에 관한 트위터 글: 링크 3. Super Annotate의 Domain-Specific LLMs: How to Make AI Useful for Your Business 글: 링크 4. ICLR2024에 실린 Adapting LLMs to Domains via Continual Pre-Training의 Huggingface: 링크 의료, 금융, ..
2025.08.12
