본문 바로가기

분류 전체보기55

CV 경진대회 후기 - 패스트캠퍼스&업스테이지 AI Lab 1기 1. Abstract Goal of the Competition Document Type Classification 경진대회. 주어진 데이터를 활용하여 17개의 문서 클래스를 예측. Timeline Feburary 05, 2024 - Start Date Feburary 07, 2024 - Mentoring1 Feburary 16, 2024 - Mentoring2 Feburary 19, 2024 - Mentoring3 Feburary 19, 2024 - Final submission deadline Description of the Data 문서는 금융, 보험, 물류, 의료 등 도메인을 가리지 않고 많이 취급됩니다. 이 대회는 다양한 종류의 문서 이미지의 클래스를 예측합니다. 문서 타입 데이터셋을 이용해 .. 2024. 2. 20.
Memory Requirement of Deep Learning Models 최근 AI 모델, 특히 딥러닝 모델의 크기는 점점 커지고 있으며 GPU 메모리는 유한하기 때문에 모델의 메모리 요구량을 계산해봐야 한다. Floating Point and Memory fp32는 32bit floating point로 Exponent 8 bits와 Mantissa 23 bits가 있다. 나머지 1 bit는 sign으로 양수와 음수를 나타낸다. fp16은 16bit로 Exponent가 5 bits, Mantissa가 10 bits, 1 bit가 sign이다. Input, Activation, Parameter, Gradient, Optimize State (Adam의 경우 Parameter, Gradient, Momentum, Variance)를 모두 fp32로 나타낼 수도 있고, Opti.. 2024. 2. 1.
추천 시스템 소개 추천 시스템 (Recommender Systems)란 사용자가 관심을 가질 만한 내용들; 상품, 영화, 드라마, 뉴스, 친구 등을 추천하는 알고리즘이다. 넷플릭스, 왓챠와 같은 OTT, 아마존 등의 쇼핑 사이트, 링크드인이나 페이스북의 친구 추천 등 다양한 방면에서 활용가능한 알고리즘이다. 추천 시스템은 여러 알고리즘을 가지는데 아래와 같이 여러 주제에 따라 분류할 수 있다. 1. Collaborative Filtering 많은 사용자들로부터 얻은 기호정보에 따라 사용자들의 관심사들을 자동적으로 예측한다. 즉, 나와 비슷한 사람들의 기존 구매 정보나 해당 아이템과 비슷한 내역의 similarity를 사용한다. 2. Content-based Recommender 영화의 줄거리, 내용 등의 아이템 특성 (a.. 2024. 1. 31.
눈여겨 볼만한 NLP 모델들 NLP Seq2Seq Models 아래의 세 가지 자료를 참고하여 주요 NLP Models를 정리해보려고 합니다. 1. BERT and Related Models Map BERT를 중심으로 연관된 여러 Sequence to Sequence Model의 관계도입니다. 여기 나온 모델들을 정리해보면 다음과 같습니다. ELMo BERT GPT GPT-2 Grover ULMFiT XLM UDify MT-DNN MT-DNN_KD MASS UniLM SpanBERT RoBERTa XLNet ERINE (Tsinghua) KnowBert VideoBERT CBT ViLBERT VisualBERT B2T2 Unicoder-VL LXMERT VL-BERT UNITER ERINE (Baidu) BERT-wwm 2. Kor.. 2024. 1. 31.
확률공간과 확률 변수 Probability Space and Random Variable 확률론의 기본이 되는 확률공간 (probability space)와 확률 변수 (random variable)의 정의를 살펴본다. Outcome, Event, Experiment, Trial Outcome은 가능한 사건이다. Event는 일어난 사건이다. Experiment or Trial은 outcome을 반복해서 뽑는 행위다. Sample Space $\Omega$는 Sample Space로 정의한다. 이는 가능한 모든 Outcome의 집합이다. $\sigma-algebra$ $F$는 다음 세가지를 만족하는 a collection of sets in $\Omega$다. If $S$ $\in$ $F$, then complement of.. 2024. 1. 31.
통계적 분포들과 예시 다양한 discrete disributions와 continuous distributions의 이름과 Notation, pmf 혹은 cdf, pdf, 사용 예시를 정리해보았다. 존재하는 모든 통계적 분포를 정리한 것은 아니고 비교적 자주 쓰이거나, 학부 시절 배운적 있는 분포 위주로 정리했다. Discrete Distribution (이산형 분포) 이름 Name pmf Notation 사용예시 베르누이 분포 Bernoulli Dist ${p^x} q^{1-x}$ where $q=1-p$ Bernoulli($p$) Ber($p$) 동전을 한 번 던진다. 이항 분포 Binomial Dist $\binom{n}{k}$ ${p^k} q^{n-k}$ Bin($n, p$) 같은 동전을 순차적으로 n번 던진다. 다항.. 2024. 1. 31.

티스토리툴바