# NLP
.png?w=768)
An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks
한국어 자연어 처리를 위해 사용할 수 있는 Tokenization 전략들을 소개하고 기계 번역, NLU task에 다양한 tokenization을 사용한 결과를 비교하여 가장 좋은 성능을 보이는 tokenization을 확인하는 논문입니다.
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
BERT에 대표적으로 활용되는 Subword Segmentation인 SentecePiece를 소개하는 논문입니다. 기본적인 Concept을 확인할 수 있으며 SentecePiece에서 공개한 Git을 통해 코드를 확인할 수 있습니다.
[CS224N] Lecture 1: Introduction and Word Vectors
작성자: 15기 김현지 > Content Human language and word meaning Word2vec introduction Word1vec objective function gradients Optimization basics Looking at w
[ML] BERT-of-Theseus
BERT-of-TheseusModel-agnostic한 새로운 compression method, Theseus Compression입니다.(Transformer-specific feature를 사용하지 않아 넓은 스펙트럼의 Model을 Compress 할 수 있습니다
최신 모델
기존의 모델들의 문제점BERT MASK 토큰을 독립적으로 예측하기 때문에 Token 사이의 관계 학습이 불가능Embedding length의 한계로 Segment간 관계 학습 불가능GPT단일 방향성으로만 학습이러한 한계를 극복하고자 XLNet이 등장한다.512 toke
A Survey on Contextual Embeddings
Contextual Embedding과 관련된 모델, 방법론들을 설명해주는 논문입니다. 전체적인 흐름과 발전과정을 따라가기에 적합한 논문입니다.
NLP(2) 워드 임베딩 1
벡터 또는 행렬의 값이 대부분 0으로 표현되는 방법ex. 원핫 벡터 (정답만 1 나머지 0)한계 : 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다. (단어 집합이 클수록 고차원 벡터가 됨), 공간적 낭비원핫벡터의 경우 단어가 10000개면 벡터의 차원이 10000
간단한 챗봇을 만들어보자!
이미지를 만드는 Autoencoder와 BERT를 비교해보자. 이미지 Model은 Input으로 들어오는 Image가 주어졌을때, Encode와 Decode를 거쳐 Input이미지와 비슷한 새로운 이미지를 생성한다. 하지만 BERT는 들어오는 Input 이미지가 완전
SentencePiece 알고리즘
Sentencepiece tokenizer는 언어에 무관하고, 띄어쓰기 유무에 영향을 받지 않으며, 매우 빠르고, 더 발전된 언어 모델을 만들 수 있습니다. 그 원리는 무엇일까요?
[Paper Review] Sentence-BERT: Sentence Embedding using Siamese BERT-Networks
Intro 문장 간(혹은 문서 간) 유사도 분석에서 좋은 성능을 내고 있는 Sentence-BERT에 대해 알아보려고 한다. 논문 원제는 Sentence-BERT: Sentence Embedding using Siamese BERT-Networks이며, 최근 성능이
NLP(1) 순환신경망
시퀀스 모델 (입출력을 시퀀스 단위로 처리)은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서 다시 은닉층 노드의 다음 계산의 입력으로 보냄.RNN 셀(메모리 셀)은 은닉층에서 활성화 함수를 통해 결과를 내보낸다은닉 상태 (hidden sta
[논문 리뷰] Deep learning enabled semantic communication systems - 3편
DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system! (Simulation 결과 분석)
[논문 리뷰] Deep learning enabled semantic communication systems - 2편
DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system! (DeepSC 구조 설명)
[논문 리뷰] Deep learning enabled semantic communication systems - 1편
DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system!
[이론&코드] Transformer in Pytorch
Transformer의 각 구성 요소에 대한 이론적인 내용과, 그에 대응하는 pytorch 기반 code에 대해 작성한 글입니다.