Road to LLM

언어 모델(language model)이란 자연어를 모델링하기 위한 모델이다. 이것은 통계에서부터 시작됐는데, 각 단어 시퀀스(문장)에 확률을 할당하면서 가장 높은 확률을 가지는 시퀀스를 찾아낸다. 예를들어, "나는 밥을 ???" 이라는 문장이 있다면, 각 단어들이 ???에 등장할 확률을 계산하여, 가장 ???에 적합한 단어를 찾는다. 이 경우 "먹는다...