자연어처리

Pretrained language model을 설명하기에 앞서 전이학습(Transfer Learning)의 개념에 대한 이해가 있어야 한다.전이 학습이란 모델을 학습시키는 방법 중 하나로, 사전 작업(source task)에 애하여 학습된 정보를 목표 작업(targe

단어를 벡터로 표현을 해보자.단어 사전을 구성하고 해당 단어를 1로 그 밖의 단어는 0으로 표현한다.사전: 개, 고양이, 늑대, 사자, 송어, 잉어단어: 개1,0,0,0,0,0 고양이0,1,0,0,0,0사전의 크기가 커질수록 용량이 커지게 된다.유사성을 비교할 수 없다