# GPT

33개의 포스트

[CS224n #2] BPE: Neural machine translation of rare words with subword units (ACL, 2016)

Task : NMT에서의 Open-vocabulary problem Approach : Byte pair encoding 기법을 이용한 Subword unitsResults : rare & OOV에서 성능 좋다.review 전 나의 의문!Fast text의 subwor

2022년 9월 7일
·
0개의 댓글
·
post-thumbnail

[딥러닝]NLP:GPT-1(Improving Understanding by Generative Pre-Training)

Improving Understanding by Generative Pre-Training논문에 대해 공부한 내용 정리한 포스팅입니다.

2022년 8월 3일
·
0개의 댓글
·
post-thumbnail

[논문리뷰] GPT1, GPT2, GPT3 차이와 한계

이전부터 BERT관련된 모델들을 리뷰하며,,, GPT와 비교하는 결과가 많았고 이전에 논문을 읽었지만 다시읽으며 GPT 모델 발전과정과 차이점을 서술해본다\~~!대부분의 딥러닝 task는 label을 만들기위해 비용이 많이 든 data가 필요하다. 하지만 실제 가지고

2022년 7월 27일
·
0개의 댓글
·
post-thumbnail

Transformer

입력 방법이 병렬처리가 되어 있다 => 성능을 높일 수 있다.skip connectionlayer nomalization기계번역 task에서 기존의 연구들보다 성능적으로 우수병렬적으로 처리가 가능한 모델 -> time complexity 감소이후에 사용되는 bert,

2022년 7월 24일
·
0개의 댓글
·
post-thumbnail

GPT 기초 설명

각각의 데이터 샘플들이 구성하고 있는 features는 독립적이미지 안의 의미있는 정보는 위치에 무관convolution 연산은 위치에 무관한 지역적인 정보를 추출하기 좋은 연산 문장을 구성하고 있는 단어들의 위치가 변해서는 안됨단어들 간의 관계가 중요하고 하나의 단어

2022년 7월 24일
·
0개의 댓글
·

[논문 리뷰] Improving Language Understanding by Generative Pre-training

자연어 이해는 다양한 task를 포함한다.라벨링되지 않은 데이터는 충분한 반면, 특정 task에 맞게 라벨링된 데이터는 매우 부족하다.그래서 이를 모델이 충분히 성능이 나오도록 학습하는 것이 어렵다.라벨링 되지 않은 corpus에 대한 언어 모델의 생성적(generat

2022년 6월 29일
·
0개의 댓글
·

GPT, ALBERT, RoBERTa 간단 특징

GPT, ALBERT, RoBERTa

2022년 6월 27일
·
0개의 댓글
·

[논문 리뷰] Improving Language Understanding by Generative Pre-Training

자연어 이해는 넓은 범위의 다양한 task들을 보장했다.textual entailment, QA, 의미 유사도 평가, 문서 분류비록 라벨링 되지 않은 copus들은 많지만 라벨링된 특정 task의 데이터는 충분히 모델의 성능을 높이기에 부족하다.라벨링되지 않은 다양한

2022년 6월 26일
·
0개의 댓글
·
post-thumbnail

[NLP]BERT 이해하기

Bidirectional Encoder Representations from Transformers : 트랜스포머의 양방향 인코더. 문맥을 양방향으로 이해해서 숫자의 형태로 바꿔준다. 트랜스포머는 2017년에서 인코더-디코더 구조를 가진 것. 기꼐번역에서 우수한 성적.

2022년 6월 17일
·
0개의 댓글
·
post-thumbnail

[NLP Basic] GPT-1 리뷰

~솜사탕도 씻어먹는 라쿤~ Improving Language Understanding by Generative Pre-Training

2022년 6월 7일
·
0개의 댓글
·

[NLP] Improving Language Understanding by Generative Pre-Training

NLP 논문 스터디: GPT-1

2022년 4월 11일
·
0개의 댓글
·
post-thumbnail

[GPT-2] Language Models are Unsupervised Multitask Learners

GPT-1의 마지막 파트를 살펴보면 pretrain된 모델이 downstream task에 대해 학습되지 않은 상태에서 각 태스크에 대해 어느 정도의 성능을 보이는지 측정한 파트가 있다. 매우 단순하게 pretrain이 실제로 다양한 downstream task를 수행

2022년 3월 22일
·
0개의 댓글
·
post-thumbnail

[GPT-1] Improving Language Understanding by Generative Pre-Training

최근 몇년간 NLP를 휩쓴 모델 두 가지만 이야기해보라고 하면 단연 GPT 시리즈와 BERT를 꼽을 것이다. BERT는 특유의 NLU 친화적인 모델구조로 인해 다양한 태스크에 쉽게 적용될 수 있어 무척 많은 연구들이 쏟아져 나왔다. 이에 비해 GPT의 경우 OpenAI

2022년 3월 15일
·
0개의 댓글
·
post-thumbnail

Contextual Embedding - How Contextual are Contextualized Word Representations?

오늘 살펴볼 논문은 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings 라는 논문이다. 이름이 무척 긴데, 사실 이

2022년 2월 26일
·
0개의 댓글
·
post-thumbnail

Improving Language Understanding by Generative Pre-training(by 안재혁)

The ability to learn effectively from raw text is crucial to alleviating the depedence on supervised learning in natural language precessing(NLP). Mos

2022년 2월 14일
·
0개의 댓글
·
post-thumbnail

Transformer, BERT

BERT에 대해 알기 위해서는 Transformer의 구조부터 알아야합니다! 인코더, 디코더 구조를 지닌 딥러닝 모델.전통적인 RNN based인 encoder, decoder는 순차적으로 계산한다. 문맥벡터가 고정된 크기여서 책과 같은 긴 입력값은 처리가 어렵다. 하

2022년 1월 9일
·
0개의 댓글
·

Improving Language Understanding by Generative Pre-Training

BOAZ 동아리에서 진행한 2주차 논문 스터디 내용을 공유합니다.

2022년 1월 5일
·
0개의 댓글
·
post-thumbnail

어휘 집합 구축 및 토큰화 하기

해당 글은 책을 읽고 정리한 글입니다. 앞에서 본 이론을 바탕으로 허깅페이스 tokenizers 라이브러리를 활용해 BPE 기반의 토크나이저를 만들어보자. BPE는 자주 등장하는 문자열을 토큰으로 인식해, 이를 기반으로 토큰화를 수행하는 기법이다. 어휘 집합 구축

2022년 1월 3일
·
0개의 댓글
·
post-thumbnail

문장을 작은 단위로 쪼개기

해당 글은 <Do it! BERT와 GPT로 배우는 자연어 처리> 책을 읽고 정리한 글입니다.토큰화(tokenization) 란 문장을 토큰 시퀀스로 나누는 과정이다.토큰화를 수행하는 프로그램을 토크나이저 (tokenizer) 라고 한다.대표적인 토크나이저로는 은

2022년 1월 3일
·
0개의 댓글
·