Categories of early transformer-based PLMs - 20250417

Categories of early transformer-based PLMs

1. Encoder-only PLMs

• Encoder는 input text를 문맥적 표현을 파악하고 이해하는데 사용된다. Encoder는 입력 텍스트에 대해 양방향이므로 문맥을 파악할 수 있고 각 단어가 문장에서 어떻게 연결되는지 알 수 있다.

• Task: Text classification, Question Answering, Named Entity Recognition (NER)

• i.e. BERT

2. Decoder-only PLMs

• Decoder는 언어 생성에 주로 사용한다. 주어진 입력에 대해 다음 단어를 예측하거나 자연스러운 텍스트를 생성한다. 단방향으로 왼쪽에 오른쪽으로 문맥을 이해한다.

• Task - Text generation, Machine translation, Chatbot

• i.e. GPT

3. Encoder-Decoder PLMs

• NLP를 sequence to sequence generation task로 바꿀 수 있다. (입력 sequence를 출력 sequence로 변환)

• Task: Machine translation, Summarization

• i.e. BART, T5, MT5

reference

• Large Language Models: A Survey

참고하면 좋을듯
https://medium.com/@hugmanskj/encoder-only-%EC%99%80-decoder-only-%EC%96%B8%EC%96%B4%EB%AA%A8%EB%8D%B8%EC%97%90-%EB%8C%80%ED%95%9C-%EA%B3%A0%EC%B0%B0-9852213dbb72