LLM 간단 역사

통계학의 시대
옛날(1950 ~ 2000년대) 자연어 처리 모델은 시퀀스와 확률에 기반한 모델을 만드는 연구였음. 쉽게 말하면 문장에서 한 단어 뒤에는 어떤 단어가 따라올 확률이 가장 높은지를 찾는 문제였음.

딥러닝의 시대
2010년대에는 딥러닝을 활용하였음. 문장안에 글자들을 벡터로 만들어 RNN(순환신경망)을 기반으로 어떤 단어 다음에 올 단어들을 학습하여 찾음. 이때에도 시퀀스(순서)는 중요하다고 생각.

트랜스포머 시대
(2017 ~ 지금) 문장안에서 요소들의 순서도 중요한데, attention 이란게 더 중요하다고함. 시퀀스보다 토큰들의 서로의 연관성이 더 중요하다고 함. 벡터화된 글자들을 학습하여 서로 연관있(다고 여겨지)는 토큰들을 찾아서 문장을 만듬.