transformer의 레벨을 더 쌓아서 크기를 키운 모델이다. 또한, pre-trained 모델은 Language Model Task를 수행한다.40GB의 text로 학습을 진행했고 데이터의 퀄리티를 증가시켰다.여러 down-stram task가 zero-shot s

Transformer 모델과 self-attention block의 범용적인 sequence encoder와 decoder가 다양한 자연어 처리 분야에 좋은 성능을 내고 있다.Transformer의 구조적인 변경없이 인코더와 디코더의 스택을 12개 혹은 24개로 사용하

Attention is all you need No more RNN or CNN modules Attention만으로 sequence 입력, 출력이 가능하다. Bi-Directional RNNs ![스크린샷 2021-09-13 오전 10.19.07.

seq2seq는 RNN의 구조 중 Many-to-many 형태에 해당한다. 스크린샷 2021-09-08 오전 10.08.49.png인코더와 디코더는 서로 공유하지 않는 모듈을 사용한다.인코더는 마지막까지 읽고 마지막 타임스텝의 hidden state

Original RNN에서의 Long term dependency를 개선한 모델이다.매 타임스텝마다 변화하는 hidden state vector를 단기기억을 담당하는 기억소자로 볼 수 있다.단기기억을 이 시퀀스가 타임스텝별로 진행됨에 따라서 단기기억을 보다 길게 기억할

스크린샷 2021-09-07 오전 10.07.09.png각 타임스텝에서 들어오는 입력벡터 $Xt$와 이전 state에서 계산된 $h{t-1}$을 입력으로 받아서 현재 타임스텝에서의 $h_t$를 출력으로 내어주는 구조를 가지고 있다.모듈 A가 재귀적으로

입력받은 대회 회차에 따라 몇 문제가 출제되었는지 그대로 구현하는 문제이다.주어진 $S$와 $T$에 대해 $a+b+c≤S, abc≤T$인 $(a,b,c)$의 개수를 구하는 문제이다.$0≤S≤100, 0≤T≤10000$이므로 완전탐색하여 구하면 된다.Snuke 0부터 $

Word Embedding이란, 자연어가 단어들을 정보의 기본 단위로 해서 이런 단어들의 sequence라 볼때, 각 단어들을 특정한 차원으로 이루어진 공간상의 한 점 혹은 그 점의 좌표를 나타내는 벡터로 변환해주는 기법이다.예를들어, cat과 Kitty는 비슷한 단어

현재 NLP는 Transformer가 주도하고 그 이전에는 RNN과 같이 Recurrent한 모델이 주도했지만 그 이전에는 단어 및 문서를 숫자 형태로 나타내는 Bag-of Words 기법을 정리한다.Step 1. Constructing the vocabulary co

자연어 처리는 기본적으로 컴퓨터가 주어진 단어나 문장, 보다 더 긴 문단이나 글을 이해하는 Natural Language Understanding(NLU)가 있고 이런 자연어를 상황에 따라 적절히 생성할 수 있는 Natural Language Generation(NLG

입력 S가 "Hello,World!"와 같은지 판단하는 문제어떤 정수 $N$이 주어졌을 때, $2^k≤N$를 만족하는 $k$중 가장 큰 수를 구하는 문제N의 범위가 $1≤N≤10^{18}$이므로 unsigned long long으로 선언한 뒤에 bit shift를 진행

Ensemble싱글 모델보다 더 나은 성능을 위해 서로 다른 여러 학습 모델을 사용하는 것Ensemble of Deep NNHigh Bias, High Variance → OverfittingHigh Bias를 가진 경우 Boosting을 사용High Variance의

PyTorchOpen Source Maching Learning FrameworkPyTorch의 특징 : Low-level, Pythonic, Flexibilitynn.ModulePyTorch 모델의 모든 레이어는 nn.Module 클래스를 따른다.foward모델이 호

Bias & Variance학습 진행이 얼마 안한경우 : High Bias → Underfitting데이터를 너무 고려하지 않은 경우(데이터가 적은 경우에 생긴다)학습 진행이 너무 된 경우 : High Variance → Overfitting노이즈까지 학습이 된 경우T

Dataset은 Vanila data를 모델이 좋아하는 형태로 가공된 데이터이다. Pipeline 중 Data processing에 해당한다.Pre-processing데이터 수집 후 결측치나 노이즈와 같이 쓸 수 있는 데이터가 얼마 없다.이를 해결하기 위해 전처리작업이

Simple Machine Learning PipelineDomain UnderstandingData MiningData AnalysisData ProcessingModelingTrainingDeployEDA란? 탐색적 데이터 분석이며 데이터를 이해하기 위한 노력EDA

PyTorch Trouble shooting

Multi-GPU & HyperParameterTuning

Transfer learning

Dataset 클래스 데이터 입력 형태를 정의하는 클래스 데이터를 입력하는 방식의 표준화 image, text, audio 등에 따른 다른 입력정의 커스텀 데이터셋의 클래스 구조는 다음과 같다 Dataset 클래스 생성시 유의점 데이터 형태에 따라 각 함수를 다르게