서론 ChatGPT가 세계의 뜨거운 관심을 갖게 된 가운데, 생소한 여러 용어들이 튀어나와 각종 언론이나 블로그를 장식하고 있다. 그런데 GPT-3, GPT-3.5, ChatGPT의 차이는 무엇일까? 궁금한 참에 제대로 정리해보고자 글을 작성하게 되었다. 본론 먼저 Pre-training과 Transfer Learning의 개념에 대해 이해해야 한다. Pre-training Pre-training(사전훈련)은 우리가 기존에 알고 있던 모델학습과 같다. 즉, 개와 고양이의 사진들을 보여주면, 개인지 고양이인지 판단하여 결과를 도출할 수 있도록 학습하는 것과 같다. 또한, Pre-training으로 학습이 완료된 모델을 Pre-trained model이라고 한다. 이를 만들기 위해 적지 않은 양의 Raw Data들이 필요하고, 학습을 위해 오랜 시간과 비용이 소모된다. 그 중에서도 특히 데이터를 대량으로 사용하여 학습한 모델을 `