# GPT2

5개의 포스트
post-thumbnail

[AI 모델 탐험기] #7 한글 버전의 GPT-2, KoGPT2

KoGPT2, KoGPT2-Chatbot, KoGPT2-Dino( 🦕)를 무한으로 즐겨보세요~

2021년 5월 18일
·
2개의 댓글
post-thumbnail

개인 프로젝트: 나처럼 말하는 봇을 만들어보자! - 2

나처럼 말하는 NLP 모델을 만들기 위해 어떤 모델을 사용하고, 어떻게 학습했는지 알아봅니다.

2021년 5월 7일
·
0개의 댓글
post-thumbnail

HuggingFace generate 함수 사용해서 문장 생성하기

how to generate text 를 보며 정리 huggingface의 transformer 라이브러리를 보면 GPT2 부분에 generate 함수가 있다. 이 generate 함수를 이용해서 문장 생성 하는데 보다 적은 노력으로 훌륭한 문장을 생성할 수 있다.

2020년 7월 16일
·
0개의 댓글

Top-p Sampling (aka. Nucleus Sampling)

How to sample from language models 을 보며 정리GPT-2로 텍스트를 생성하다보면, 랜덤 샘플링이나 Top-k 샘플링 등을 사용해도 문맥이 잘 맞지 않는다고 생각이 된다. 추가로 다른 방법 중 Top-p, Nucleus 샘플링을 찾을 수 있다

2020년 4월 17일
·
0개의 댓글
post-thumbnail

GPT-2 문장 생성 시, 왜 중복이 발생할까

NLP 논문 리뷰 - The Curious case of Neural Text Degeneration을 정리하며 작성.koGPT-2로 학습 시킨 후 문장을 생성할 때, gready search를 통해서 문장을 생성했는데, 문장 생성이 조금 지나면 중복된 문장이 생성이

2020년 4월 9일
·
0개의 댓글