오늘의 공부

RNN 기반 언어 모델

RNN으로 문장의 각 단어가 주어졌을 때 다음 단어를 예측하는 문제로 언어 모델을 학습할 수 있다.
이는 단어 단위가 아닌 문자 단위로도 학습을 시키면 학습 데이터 내에 존재하지 않았던 단어도 처리와 생성이 가능해진다.

학습을 시킬 때에는 학습 데이터 내의 문장에 시작과 끝을 나타내는 태그(ex,, 등)를 추가하여 학습을 시킬 수 있다. RNN의 특징이기도 한, 주어진 값에서부터 순차적으로 예측 단어 및 문장을 생성해낸다.

딥러닝 기반 언어 모델

최근의 GPT 모델 같은 고성능 언어 모델은 대용량 데이터와 이를 학습할 수 있는 고성능의 하드웨어가 필수적이다.

#엘리스 #엘카데미 #엘리스코딩 #엘리스아카데미 #엘카데미후기 #엘카데미이벤트 #엘리스출석챌린지 #코딩이벤트 #무료코딩