본문 바로가기

분류 전체보기55

PyTorch Image Datasets, Custom Dataset, Fix Seed PyTorch는 다양한 빌트인 데이터셋을 제공한다. 컴퓨터 비전 데이터의 경우 그 목록을 https://pytorch.org/vision/main/datasets.html 에서 볼 수 있다. 그중에서도 대표적인 이미지 데이터로는 CIFAR-10, 100, ImageNet 2012, MNIST, Fashion-MNIST, PASCAL VOC 등이 존재한다. Custom Dataset with csv file 아래 PyTorch 튜토리얼에서 가져온 코드다. https://tutorials.pytorch.kr/beginner/basics/data_tutorial.html import os import pandas as pd from torchvision.io import read_image class Cust.. 2024. 3. 27.
AlexNet PyTorch Code Implementation AlexNet을 Pytorch를 활용하여 구현하고자 한다. https://arsetstudium.tistory.com/18에서 공부한 내용을 토대로 구현보면 아래와 같다. 첫 번째 구현 class AlexNet(nn.Module): def __init__(self, num_classes = 1000, dropout = 0.5): super().__init__() self.model = nn.Sequential( # Extracting Fetures Part # First Convolution nn.Conv2d(3, 96, kernel_size = 11, stride = 4, padding = 2), # Activation function is applied nn.ReLU(), # Max pooling n.. 2024. 3. 27.
NLP 경진대회 후기 - 패스트캠퍼스&업스테이지 AI Lab 1기 1. AbstractGoal of the CompetitionText Summarization 일상대화 요약 경진대회. 주어진 데이터를 활용하여 대화의 요약 생성.TimelineMarch 08, 2024 - Start DateMarch 06, 2024 - Mentoring1 (Before Competition)March 15, 2024 - Mentoring2March 20, 2024 - Mentoring3March 20, 2024 - Final submission deadlineDescription of the Data모든 데이터는 .csv 형식으로 제공되고 있으며, 각각의 데이터 건수는 다음과 같습니다.  dev는 validation 데이터이며, test는 public, hidden-test는 priv.. 2024. 3. 24.
알고리즘 테스트 기초 범위 백준에 나오는 code.plus 문제집과 패스트캠퍼스&업스테이지 AI Lab 1기에서 들은 내용을 합쳐서 정리해보았다. 복잡하거나 어려운 상급의 내용이 아니라 코딩테스트를 위한 기초적인 알고리즘 테스트의 범위를 분류해보았다.  자료 구조스택 (Stack)큐 (Queue)우선순위 큐 (Priority Queue)와 힙 (Heap)디큐 (Dequeue)해시맵 (Hash Map)문자열 (String)   구현/시뮬레이션수학문제를 읽고 그대로 구현  탐욕/그리디/Greedy 알고리즘매 단계마다 최적을 선택하며 최종 해답에 도달하는 과정  동적 계획법 / Dynamic Programming (DP)현재 문제를 여러개의 중복된 하위 문제로 바꿔서 푼다.점화식을 세워서 문제를 푼다.바텀업 방식과 탑다운 방식.탑다운 .. 2024. 3. 6.
딥러닝 기반 NLP 모델들 Transformer 이후 이에 기반한 많은 모델들이 나왔고 LLM까지 등장했다. LLM은 모델도 크고, 데이터도 크기 때문에 개인이나 소규모 기업들이 직접 학습시키기 어렵다. 하지만 LLM은 GLUE에서 좋은 성능을 거두는 경우도 많고, 오픈소스인 경우도 많아서 직접 모델을 학습할 수 없는 사람이나 집단은 pretrained model을 가져와서 tuning하거나 transfer learning의 방법으로 각자의 문제를 풀 수 있게 되었다. 따라서 이런 PLM (Pretrained Langauge Model)을 아는 것은 중요하다. 기본적으로 Transformer는 Multi-head Attention과 Self-Attention, Encoder, Decoder 구조를 지니고 있다. 여기서 Encode.. 2024. 3. 6.
GLUE, SuperGLUE, KLUE, Huggingface LB 요즘은 LLM의 등장 이후 이런 거대 모델 백본으로 하여 전이 학습 등을 적용한 사례들이 늘어나고 있다. LLM은 다양한 자연어 태스크를 처리할 수 있도록 학습되는데 이를 위한 벤치마크가 GLUE다. GLUE와 그 확장 버젼인 SuperGLUE는 영어라서 한국어인 KLUE도 소개한다. GLUE GLUE는 General Language Understanding Evaluation의 약자로 다양한 NLU 태스크들을 모아서 인간처럼 여러가지 복잡한 자연어 처리를 수행할 수 있는지를 확인할 수 있는 벤치마크다. GLUE Tasks는 총 11개다. 각각의 태스크에 맞는 영어 데이터와 부합하는 evaluation metrics가 나와있다. 위에서 부터 차례대로 태스크, 데이터, 메트릭을 살펴보자. Single-Se.. 2024. 3. 4.

티스토리툴바