# GPT

16개의 포스트
post-thumbnail

Transformer, BERT

BERT에 대해 알기 위해서는 Transformer의 구조부터 알아야합니다! 인코더, 디코더 구조를 지닌 딥러닝 모델.전통적인 RNN based인 encoder, decoder는 순차적으로 계산한다. 문맥벡터가 고정된 크기여서 책과 같은 긴 입력값은 처리가 어렵다. 하

2022년 1월 9일
·
0개의 댓글

Improving Language Understanding by Generative Pre-Training

BOAZ 논문 리뷰를 업로드 합니다.

2022년 1월 5일
·
0개의 댓글
post-thumbnail

어휘 집합 구축 및 토큰화 하기

해당 글은 책을 읽고 정리한 글입니다. 앞에서 본 이론을 바탕으로 허깅페이스 tokenizers 라이브러리를 활용해 BPE 기반의 토크나이저를 만들어보자. BPE는 자주 등장하는 문자열을 토큰으로 인식해, 이를 기반으로 토큰화를 수행하는 기법이다. 어휘 집합 구축

2022년 1월 3일
·
0개의 댓글
post-thumbnail

문장을 작은 단위로 쪼개기

해당 글은 <Do it! BERT와 GPT로 배우는 자연어 처리> 책을 읽고 정리한 글입니다.토큰화(tokenization) 란 문장을 토큰 시퀀스로 나누는 과정이다.토큰화를 수행하는 프로그램을 토크나이저 (tokenizer) 라고 한다.대표적인 토크나이저로는 은

2022년 1월 3일
·
0개의 댓글
post-thumbnail

처음 만나는 자연어 처리

해당 글은 <Do it! BERT와 GPT로 배우는 자연어 처리> 책을 읽고 정리한 글입니다.기계가 사람 말을 알아듣는 것처럼 보이게 하려면 어떤 요소들이 필요할까?모델 model : 입력을 받아 어떤 처리를 수행하는 함수 function모델은 어떤 입력을 받아서

2022년 1월 3일
·
0개의 댓글
post-thumbnail

WebGPT: Browser-assisted question-answering with human feedback

OpenAI 에서 최근에 발표한 새로운 버전의 GPT. 텍스트 베이스의 웹 브라우징 환경을 통해서 GPT3를 파인튜닝 하고, 긴 맥락을 가진 질문에 대해서 답을 할수 있는 모델을 제안했다. 이러한 과정에서 이미테이션 러닝이나 강화학습의 개념을 사용였다. 모델의 평가는

2021년 12월 26일
·
0개의 댓글
post-thumbnail

Language Model : ELMo GPT

LM pre-training using deep bidirectional LSTM(2 layers)Contextualized word embedding by linear combinatoin of hidden statesPretrain large 12 layer lef

2021년 12월 3일
·
0개의 댓글

GPT Understands, Too

본 포스트는 unidirectional language model인 GPT를 natural language understanding(NLU)에서 bidirectional language model의 성격을 지닌 BERT 정도 혹은 그 이상의 성능을 낼 수 있게 해주는

2021년 11월 29일
·
0개의 댓글
post-thumbnail

GPT 언어 모델

BERT: embedding 모델Transformer encoder 사용GPT: 생성 모델Transformer decoder 사용일반적으로 배웠던 Language model의 언어 생성 과정과 동일하다. 순차적으로 다음에 올 가장 적절한 단어들을 확률적으로 예측한다.G

2021년 10월 12일
·
0개의 댓글
post-thumbnail

[Weeek7] Self-Supervised pre-training Models

앞서 배웠던 Transformer Model은 NLP 뿐만 아니라, CV, 추천시스템 등 다양한 분야에서 좋은 성능을 내고 있다.Transformer Model을 기반으로 대용량 Data를 학습한 Model이 여러 Task들을 해결하는 Model에 Backbone으로

2021년 9월 21일
·
0개의 댓글
post-thumbnail

부스트캠프 week7 day2 추가학습 Perplexity, Softmax Loss, GPT1

GPT의 학습 방법이나 이론적인 이해를 돕기 위해 추가적인 글을 올린다.이 영상이 많은 도움이 되었다.GPT는 대표적인 Generative 학습방법을 가지는 언어 모델이다. 보통 기계 학습 분야는 Generative, Discriminative 학습 방법을 가지며 보통

2021년 9월 14일
·
0개의 댓글
post-thumbnail

부스트캠프 week7 day2 Self-supervised Pre-training Models

Recent Trends • Transformer model and its self-attention block has become a general-purpose sequence (or set) encoder and decoder in recent NLP applic

2021년 9월 14일
·
0개의 댓글

Mount GPT HDD

본 문서는 ubuntu os 상에서 4TB 이상 HDD를 포맷하고 마운트하는 방법에 대하여 설명한다.4TB 이상의 HDD를 연결했을 시 위와 같이 표시되는 것을 볼 수 있다.4TB 이상의 HDD의 경우 MBR이 아닌 GPT로 disk label type을 변경해줘야 한

2021년 7월 29일
·
0개의 댓글

Transformer, BERT, GPT

Natural Language Processing / 언어 모델

2021년 6월 19일
·
0개의 댓글
post-thumbnail

Deep pre-trained language models

BiLSTM기반의 Contextualized Word Embedding을 사용한다. 즉 Context에 기반하여 단어를 embedding 해준다.학습은 앞 단어들을 이용하여 어떤 단어가 나올지 예측하여 word embedding을 학습시켜준다.사실 Bi-Directio

2021년 6월 9일
·
0개의 댓글
post-thumbnail

GPT-2 문장 생성 시, 왜 중복이 발생할까

NLP 논문 리뷰 - The Curious case of Neural Text Degeneration을 정리하며 작성.koGPT-2로 학습 시킨 후 문장을 생성할 때, gready search를 통해서 문장을 생성했는데, 문장 생성이 조금 지나면 중복된 문장이 생성이

2020년 4월 9일
·
0개의 댓글