NaturalLanguageProcessing
1.[NLP] TRANSFORMER MODELS
NLP Course documentation Introduction Natural Language Processing 자연어 처리(Natural Language Processing, NLP)는 언어학(linguistics)과 machine learning의 한 분야로, human language와 관련된 모든 것을 이해하는 데 중점을 둔다. NLP task...
2.[NLP] FINE-TUNING A PRETRAINED MODEL
hugging face chapter 3로 공부했습니다 Introduction 2장에서는 토크나이저와 사전 학습된 모델을 사용하여 예측을 수행하는 방법을 배웠다. 하지만 내 dataset에 맞게 사전학습된 모델을 fine-tune하고싶다면 어떻게 해야할까? Hub에서 대규모 데이터셋을 준비하는 방법 고수준의 Trainer API를 사용하여 모델을 미세 조...
3.[NLP] naver movie comments datasets으로 RNN모델 구현
torch.nn.Embedding을 더 공부해야할 것 같다. 결과가 좋지않다.. 왜 그런지에 대해 고찰해보았다. 일단 임포트한 모듈은 다음과 같다. 깃허브에서 데이터를 로드해오면 같은 디렉토리에 data폴더가 생기고 하위에 txt파일이 두개가 만들어진다. SSH서버를 사용해서 CUDA에서 돌렸다. NSMCDataset 클래스는 NSMC(Naver...
4.[NLP]Recurrent Neural Networks
1.Sequential Model RNN은 주어지는 입력 자체가 sequential 입력이다. 오디오, 말, 비디오 등 일상에서 접하는 많은 것들이 dequential data이다. 가장 큰 어려움은 우리가 얻고싶은건 하나의 label, 정보 (ex classification)이다. sequential 데이터는 정의상 그 길이가 얼마인지 알수없어서 받아들여...
5.Transformer - Positional Encoding & Model Architecture
1. Transformer 반복해서 재귀적으로 들어가는 구조가 RNN이였는데, transformer는 이러한 재귀적인 구조가 없다. sequence를 다루는 모델인데 attention을 활용했다. 기계어 번역 문제에 transformer가 어떻게 활용될까? sequential한 data를 처리하고 encoding하는 방법이기때문에 NMT문제에만 적용되진 ...