본문 바로가기

분류 전체보기128

Anaconda와 가상 환경 관리 Anaconda의 기본 사용법을 설명해 드리겠습니다. Anaconda 자체 설치 방법 Linux:# 설치 파일 다운로드wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh# 실행 권한 부여chmod +x Anaconda3-2023.09-0-Linux-x86_64.sh# 설치 실행./Anaconda3-2023.09-0-Linux-x86_64.sh  macOS:Anaconda 웹사이트에서 macOS 설치 파일 다운로드다운로드된 .pkg 파일 실행Windows:Anaconda 웹사이트에서 Windows 설치 파일 다운로드다운로드된 .exe 파일 실행 # PATH에 추가Anaconda의 PATH 설정 방법을 운영체제별로 설명해드리겠.. 2024. 8. 1.
GPT (2018) 논문 리뷰 GPT-1이 제시된 논문은 Improving Language Understanding by Generative Pre-Training라는 이름이다. 가장 유명한 Decoder only 모델 중 하나이며 OpenAI의 GPT 시리즈 중 첫 모델인 기념비적인 논문이다. (링크) 해당 논문의 저자는 Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever다. 뒤에 나오겠지만 12-layers의 stack으로 이루어진 decoder only 모델이라 대략 110M 정도의 현재로 보면 작은 모델이다.구성요소를 대략적으로 요약하면 12-layer, 768-hidden, 12-heads, 110M parameters이다. BERT base와 동일한 config다.. 2024. 7. 22.
파이썬의 None과 NaN Python에서의 None 파이썬의 None은 특별한 상수 값으로, 값이 없음을 나타냅니다. 주요 특징은 다음과 같습니다:1. 의미: 변수나 객체에 값이 할당되지 않았거나, 함수가 명시적인 반환 값 없이 종료될 때 사용됩니다.2. 타입: NoneType의 유일한 인스턴스입니다.3. 불리언 컨텍스트: False로 평가됩니다.4. 비교: is 연산자를 사용하여 비교하는 것이 좋습니다 (예: if x is None).5. 초기화: 변수를 초기화할 때 자주 사용됩니다.6. 함수 반환: 함수가 명시적인 return 문 없이 종료될 때 자동으로 반환됩니다.7. 옵셔널 매개변수: 함수의 기본 인자로 자주 사용됩니다. a = Noneif a: # None이 아닌 경우 print("NOT None")else: .. 2024. 7. 12.
BERT (2018) 논문 리뷰 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding는 가장 유명한 Encoder only 모델 중 하나다. (링크) 해당 논문의 저자는 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova다.  AbstractBERT는 Bidirectional Encoder Representations from Transformers의 약자다. 양방향의 왼쪽에서 오른쪽 방향의 컨텍스트와 오른쪽에서 왼쪽 방향의 컨텍스트를 동시에 활용한다. 마지막 output layer만 추가함으로써 다양한 태스크에 대해서 SOTA를 달성한다. GLUE의 MultiNLI에서 accuracy 8.. 2024. 6. 25.
Transformer (2017) 논문 리뷰 본격적인 GPT의 등장 이전의 NLP 분야에서 가장 유명한 논문이 바로 transformer 아키텍쳐가 소개된 Attention Is All You Need일거라 생각한다. (링크) 해당 논문의 저자는 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin다. Shazeer는 최근 나오는 논문들에서도 자주 보이는 이름이라 괜시리 반갑다.   Abstract기존의 지배적인 sequence transduction (변환, 도입)은 복잡한 recurrent 혹은 encoder와 decoder를 포함한 cnn에 기반했다. 인코더와 디코더를 연결한 모델들.. 2024. 6. 25.
IR RAG 경진대회 후기 - 패스트캠퍼스&업스테이지 AI Lab 1기 1. AbstractGoal of the Competition과학 지식 질의 응답 시스템 구축. LLM의 문제 해결을 위해서 IR을 활용한 RAG로 수행.TimelineApril 08, 2024 - Start DateApril 11, 2024 - First Mentoring (Before Competition)April 15, 2024 - Staring Project DateApril 18, 2024 - Second MentoringApril 23, 2024 - Third MentoringApril 29, 2024 - Final MentoringMay 02,  2024 - Final submission deadlineDescription of the Data과학 상식 문서 4272개 ko_ai2_arc_.. 2024. 5. 7.

티스토리툴바