GPT-3는 아래와 같은 기존 모델들의 한계점들을 해결하기 위해 제안되었습니다. 1. 자연어의 각 task에 대한 대용량의 라벨링된 데이터가 필요하다는 것은 언어 모델의 적용 가능성을 제한시킵니다. 2. 사전 학습된 모델을 다시 미세 조정 시키는 것은 매우 협소한

기존 GPT-1은 대규모의 자연어 데이터로 사전 학습을 먼저 거친 뒤, 사용할 task에 맞게 미세 조정을 했습니다. GPT-2는 이러한 과정조차 다 없애버리고, 미세 조정을 하지 않고도, 각 task에 맞는 수행을 할 수 있도록 제안된 모델입니다. 그렇기 때문에 GP

"너에게 사과를 한다.", "사과 먹을래?" 에서 "사과"라는 단어는 같지만, 다른 의미를 가집니다. 기존의 Word2Vec나, Glove등의 모델은 "사과"는 같은 임베딩 값을 가집니다. 단어가 어떻게 사용되느냐에 따라 다르게 의미를 임베딩 하는 방법이 바로 ELMo

언어 모델의 사전 학습은 자연어 처리작업을 개선하는데 효과적인 것으로 나타났습니다. (GPT-1에서 이미 확인되었죠) 현재 나온 모델인 GPT-1은 왼쪽에서 오른쪽으로 이전 토큰만을 참고할 수 있는 단방향 구조를 사용합니다.(Transformer의 decoder를 사용

자연어 처리 분야에서 BERT와 함께 뛰어난 성능으로 주목받고 있는 모델입니다. 현재는 GPT-3까지 출시가 되었는데, GPT-4가 출시될거라는 말이 나왔죠(기사링크). 오늘은 GPT-1을 알아보도록 하겠습니다.

Attention is All You Need는 Transformer모델 즉, Self-Attention을 처음 제안하는 논문입니다. 현재 제안되는 최신 모델들은 대부분 Self-Attention을 기반으로 합니다. 자연어 분야를 뛰어 넘어, 멀티 모달 임베딩, 또는

오토 인코더에 대한 자세한 설명은 여기를 참고해주세요!이전에 사용하였던 Fashion MNIST 데이터 집합을 사용하겠습니다.사용할 라이브러리는 아래와 같습니다.이는 위의 데이터 시각화 앞부분과 동일합니다.autoencoder 내에 encdoer와 decoder를 각각

이번 포스팅에서는 앞서 설명했던 CNN을 조금더 깊은 신경망으로 구현하고, 색깔이 있는(RGB값이 있는) 데이터를 처리해 보겠습니다. 먼저 합성곱 신경망에 대한 설명은 여기를 참고해주세요!이번에 사용할 데이터셋은 CIFAR-10입니다. 이 데이터 셋은 32x32크기의

이번 포스팅에서는 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여, 여러가지 그림들을 분류해보겠습니다.먼저 합성곱 신경망에 대해서는 여기를 참고해 주세요!이번 합성곱 신경망을 이용한 분류에서 사용할 데이터 집합은 앞에서도 사용했던

이번 포스팅에서는 심층 신경망을 이용하여, 여러가지 그림들을 분류해보겠습니다.먼저 신경망에 대한 설명은 여기를 참고해 주세요!이번 심층 신경망을 이용한 분류에서 사용할 데이터 집합은 바로 Fashion MNIST입니다. 기존의 MNIST라고 하면 0~9까지의 28x28

앞의 포스팅에서도 작성했듯, 자연어 처리 기술을 활용해 글의 정보를 추출하고, 문제에 맞게 사람이 정한 범주(Class)로 분류하는 문제입니다. 이번 포스팅에서는 영어로 구성된 영화 감상평을 보고, 긍정인지 부정인지 분류해보겠습니다.​Bag of Words Meets

오늘은 파이토치를 사용하여 간단한 신경망을 만들어보겠습니다.먼저 신경망에 대한 설명은 아래의 포스팅은 여기를 눌러주세요.신경망을 정의하기 위해 필요한 라이브러리들을 임포트 해줍니다.torch → 파이토치 라이브러리numpy → 수치해석용 라이브러리 sklearn → 파

이번에는 정의한 텐서의 연산에 대해서 설명하겠습니다.텐서는 list, numpy처럼 사칙연산, 수학 함수, 선형 대수 계산 등이 가능합니다. 특히 대규모 데이터를 처리할 때, 이전보다 훨씬 빠른 속도로 연산할 수 있습니다.텐서의 연산을 들어가기 앞서, 먼저 사용할 텐서

오늘은 기본 데이터 구조인 텐서 사용법에 대해서 알아보겠습니다.\-다차원 배열을 처리하기 위한 데이터 구조입니다.\-Numpy, ndarray와 거의 같은 API를 지니고 있으며, GPU를 사용한 계싼도 지원합니다.\-텐서는 각 데이터형별로 정의되어 있습니다.텐서를 정

설치 방법은 텐서플로우와 매우 유사합니다. 먼저 CUDA, cuDNN은 텐서플로우에서 설치했던것과 동일하기 때문에 링크로 들어가서 다운받아주세요~ ​ Pytorch사이트에 들어가면 본인의 CUDA버전에 맞게 다운받는 방법을 알려줍니다! ​ 저는 CUDA 9.0을

이번 포스팅은 앞의 이론에서 언급했었던 유사도 계산 방법들을 한번 더 설명하고, 구현해보겠습니다. 이론 포스팅은 여기를 클릭해주세요.​텍스트 유사도는 두 개 이상의 텍스트가 얼마나 유사한지 표현하는 방식 중 하나입니다. 텍스트 유사도 측정 방법은 여러가지가 있지만,

앞의 포스팅에서 자연어 처리를 활용하는 아래와 같은 여러 문제들이 있다고 언급했습니다. 이번 포스팅에서는 그 문제들에 대해서 알아보겠습니다.· 텍스트 분류· 텍스트 유사도· 텍스트 생성· 기계 이해​텍스트 분류란 자연어 처리 기술을 활용해 특정 텍스트를 사람들이 정한

이번 포스팅은 앞의 이론에서 언급했었던 임베딩 방법들을 한번 더 설명하고, 구현해보겠습니다.이론 포스팅은 여기를 클릭해주세요.​단어 임베딩이란 컴퓨터가 언어적인 의미가 담겨있는 자연어를 인식하기 위해, 언어적 특성을 반영하여 수치화 하는 것을 뜻합니다.단어 임베딩은 다

"어떻게 자연어를 컴퓨터에게 인식시킬 수 있을까?"에 대한 문제입니다.