# NLP

389개의 포스트
post-thumbnail

[부스트캠프 NLP] NLP 6주차 학습정리

기계독해 개념의 소개와, Retrieve 과정을 중심으로

약 10시간 전
·
0개의 댓글

An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks

한국어 자연어 처리를 위해 사용할 수 있는 Tokenization 전략들을 소개하고 기계 번역, NLU task에 다양한 tokenization을 사용한 결과를 비교하여 가장 좋은 성능을 보이는 tokenization을 확인하는 논문입니다.

2일 전
·
0개의 댓글

[NLP]

3일 전
·
0개의 댓글

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing

BERT에 대표적으로 활용되는 Subword Segmentation인 SentecePiece를 소개하는 논문입니다. 기본적인 Concept을 확인할 수 있으며 SentecePiece에서 공개한 Git을 통해 코드를 확인할 수 있습니다.

3일 전
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 1: Introduction and Word Vectors

작성자: 15기 김현지 > Content Human language and word meaning Word2vec introduction Word1vec objective function gradients Optimization basics Looking at w

4일 전
·
0개의 댓글
post-thumbnail

[ML] BERT-of-Theseus

BERT-of-TheseusModel-agnostic한 새로운 compression method, Theseus Compression입니다.(Transformer-specific feature를 사용하지 않아 넓은 스펙트럼의 Model을 Compress 할 수 있습니다

4일 전
·
0개의 댓글
post-thumbnail

최신 모델

기존의 모델들의 문제점BERT MASK 토큰을 독립적으로 예측하기 때문에 Token 사이의 관계 학습이 불가능Embedding length의 한계로 Segment간 관계 학습 불가능GPT단일 방향성으로만 학습이러한 한계를 극복하고자 XLNet이 등장한다.512 toke

4일 전
·
0개의 댓글

A Survey on Contextual Embeddings

Contextual Embedding과 관련된 모델, 방법론들을 설명해주는 논문입니다. 전체적인 흐름과 발전과정을 따라가기에 적합한 논문입니다.

4일 전
·
0개의 댓글
post-thumbnail

NLP(2) 워드 임베딩 1

벡터 또는 행렬의 값이 대부분 0으로 표현되는 방법ex. 원핫 벡터 (정답만 1 나머지 0)한계 : 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다. (단어 집합이 클수록 고차원 벡터가 됨), 공간적 낭비원핫벡터의 경우 단어가 10000개면 벡터의 차원이 10000

5일 전
·
0개의 댓글
post-thumbnail

간단한 챗봇을 만들어보자!

이미지를 만드는 Autoencoder와 BERT를 비교해보자. 이미지 Model은 Input으로 들어오는 Image가 주어졌을때, Encode와 Decode를 거쳐 Input이미지와 비슷한 새로운 이미지를 생성한다. 하지만 BERT는 들어오는 Input 이미지가 완전

5일 전
·
0개의 댓글
post-thumbnail

SentencePiece 알고리즘

Sentencepiece tokenizer는 언어에 무관하고, 띄어쓰기 유무에 영향을 받지 않으며, 매우 빠르고, 더 발전된 언어 모델을 만들 수 있습니다. 그 원리는 무엇일까요?

6일 전
·
0개의 댓글
post-thumbnail

[Paper Review] Sentence-BERT: Sentence Embedding using Siamese BERT-Networks

Intro 문장 간(혹은 문서 간) 유사도 분석에서 좋은 성능을 내고 있는 Sentence-BERT에 대해 알아보려고 한다. 논문 원제는 Sentence-BERT: Sentence Embedding using Siamese BERT-Networks이며, 최근 성능이

6일 전
·
0개의 댓글
post-thumbnail

NLP(1) 순환신경망

시퀀스 모델 (입출력을 시퀀스 단위로 처리)은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서 다시 은닉층 노드의 다음 계산의 입력으로 보냄.RNN 셀(메모리 셀)은 은닉층에서 활성화 함수를 통해 결과를 내보낸다은닉 상태 (hidden sta

6일 전
·
0개의 댓글
post-thumbnail

[부스트캠프 NLP] 5주차 회고

두 번째 프로젝트 (Relation Extraction) 후기

6일 전
·
0개의 댓글

[논문 리뷰] Deep learning enabled semantic communication systems - 3편

DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system! (Simulation 결과 분석)

2021년 10월 9일
·
0개의 댓글
post-thumbnail

[논문 리뷰] Deep learning enabled semantic communication systems - 2편

DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system! (DeepSC 구조 설명)

2021년 10월 7일
·
0개의 댓글

[논문 리뷰] Deep learning enabled semantic communication systems - 1편

DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system!

2021년 10월 7일
·
0개의 댓글
post-thumbnail

[개념정리] Attention Mechanism

Transformer의 기반이 되는 Attention 기법에 대해 정리한 글입니다.

2021년 10월 6일
·
0개의 댓글
post-thumbnail

[이론&코드] Transformer in Pytorch

Transformer의 각 구성 요소에 대한 이론적인 내용과, 그에 대응하는 pytorch 기반 code에 대해 작성한 글입니다.

2021년 10월 6일
·
0개의 댓글