# NLP
Codecademy | Learn Natural Language Processing
Codecademy 에 NLP 기초 강의가 있어서 따라가 보기로 함. overview of main NLP concepts + chatbot building with PythonGetting Srated with NLPIntroduction to Regular Exp
NEURAL MACHINE TRANSLATION by jointly learning to align and translate 논문 정리
오늘은 랩실에서 논문 스터디가 있었던 NEURAL MACHINE TRANSLATION by jointly learning to align and translate 를 가져왔다.
GPT-3의 모델
GPT-3의 접근 방법은 기존의 GPT-2의 모델, 학습데이터, 학습 방법 등에서 유사하다. 거기서 확장하여, 모델의 사이즈와 데이터의 사이즈를 확대했으며, 데이터의 다양성을 증가했고, 학습 길이도 증가시켰다.
인라이플배 한국어 AI 언어모델 튜닝대회 참가
아래 인라이플 언어모델 튜팅대회를 위한 설명회가 있다고 해서 참석해 보았다. 이론적으로 버트를 잘 이해했다고 생각해서 짧은 시간에 대회에서 좋을 결과를 얻는 것은 불가능할 거라 생각했다. 그래도 대회보다는 한국어 언어모델에 대한 관심으로 설명회에 참석했다. 솔직히 6월
GPT-3가 보이고 싶은 것
GPT-3는 175억개의 파라미터를 `autoregressive language model` 방식으로 학습하므로써 큰 모델이 in-context learning을 하고, zero, one, few-shot 학습을 통해 파인튜닝만큼의 성능을 실험해보고자 했다.
"Attention Is All You Need" Review
"Attention Is All You Need" 논문을 읽은 후 관련 자료를 정리한 내용을 바탕으로 논문 리뷰를 진행 해보겠습니다.
BPE(Byte Pair Encoding)
최근 NLP에서 tokenizer로 많이 사용되고 있는 BPE에 대해서 코드와 함께 간단히 정리해 보았습니다.
리포머의 Reversible Transformer
Illustrating the Reformer를 보며 정리.트랜스포머에서 인코더와 디코더 레이어를 여러개를 쌓을 때, Residual Network에서 역전파를 위해 그래디언트 값들을 저장하고 있다. 이때 저장하고 있는 값들이 매우 많아, 큰 트랜스포머 모델을 사용할
LSH Attention
Q와 K 매트릭스의 LSH 해시를 찾는다같은 LSH를 거쳐서 같은 버켓 안에 있는 $k$와 $q$에 대해서 아래 어텐션을 계산한다.충분히 가까운 항목들이 다른 버켓에 빠지지 않도록, LSH를 여러번 반복한다.LSH로 query, key들에 대해 버켓팅버켓에 따라 정렬청
Top-p 샘플링 aka. Nucleus Sampling
How to sample from language models 을 보며 정리GPT-2로 텍스트를 생성하다보면, 랜덤 샘플링이나 Top-k 샘플링 등을 사용해도 문맥이 잘 맞지 않는다고 생각이 된다. 추가로 다른 방법 중 Top-p, Nucleus 샘플링을 찾을 수 있다
피처베이스(feature-based)와 파인튜닝(fine-tuning) 학습의 차이
논문이나 책을 읽다보면 피처베이스와 파인튜닝 부분을 학습에 대해 종종 볼 수 있는데, 그 차이는 다음과 같다.파인튜닝(fine-tuning): 임베딩까지 모두 업데이트하는 기법피처베이스(feature-based): 임베딩은 그대로 두고 그 위에 레이어만 학습 하는 방법
Downstream Task란?
딥러닝 관련 글들을 보면 최근 다운스트림 태스크에 대한 부분을 많이 볼 수 있다. 몇몇 글들을 찾아보다보면 잘 이해가지 않는 부분이 있었다가 한국어임베딩 책에서 적절한 설명을 찾았다.한마디로 구체적으로 풀고 싶은 문제들을 말한다. 최근 자연어 처리분야에서는 언어모델
[TIL] Anaconda, Jupyter : April 11, 2020
Anaconda Jupyter Notebook JVM Error 나는 틀리다. 컴퓨터가 맞다. 한국어로 구성된 댓글 중에서 공격성의 정도를 확인하기 위해 연구를 진행하던 중 어김없이 에러'님'께서 찾아오셨다. 오류 해결방법을 탐색하던 도중 JDK를 설치하고, site
Reformer LSH(Locality sensitive hashing)
Illustrating the Reformer를 보며 정리. 트랜스포머 모델에서는 위와 같이 3종류의 어텐션이 있다. 어텐션의 과정을 그림으로 보면 아래와 같다.이때 우측에 it의 어텐션을 모습을 보면 5개를 제외하면, 어텐션을 받지 못했는데, 이때 나머지 didn't
Reformer 개요
Illustrating the Reformer를 보며 정리.리포머 모델을 2020년에 발표된 모델로 기존 트랜스포머 구조를 개선한 모델이다. Local Sensitve Hashing과 Reversible residual network를 이용해 이전 트랜스 포머 보다 더
GPT-2 문장 생성 시, 왜 중복이 발생할까
NLP 논문 리뷰 - The Curious case of Neural Text Degeneration을 정리하며 작성.koGPT-2로 학습 시킨 후 문장을 생성할 때, gready search를 통해서 문장을 생성했는데, 문장 생성이 조금 지나면 중복된 문장이 생성이