부스트코스 5주차 정리

Transformer
트랜스포머는 2017년에 구글에서 제안된 모델로, 자연어 처리(NLP)와 같은 시퀀스 작업에서 매우 중요한 역할을 했다. 기존의 RNN이나 LSTM과는 달리, 시퀀스의 길이에 따라 연산 시간이 선형적으로 증가하는 단점을 극복하기 위해, self-attention 메커니즘을 도입하여 병렬 처리를 가능하게 했다. 트랜스포머는 인코더와 디코더 구조로 이루어져 있으며, 인코더는 입력 문장을 벡터로 변환하고, 디코더는 해당 벡터를 바탕으로 출력 문장을 생성했다. 자연어 처리, 번역, 텍스트 요약, 이미지 작업 등 다양한 분야에서 매우 높은 성능을 보여주었다.

Self-supervised Pre-training Model
자가 지도 학습(Self-supervised learning)은 라벨이 없는 대량의 데이터를 활용하여 학습하는 방식으로, 사람의 개입 없이 모델이 스스로 데이터를 학습할 수 있도록 설계되었다. 대표적인 예시는 BERT와 GPT 같은 언어 모델이다. 이러한 모델들은 문장이나 단어 사이의 관계를 스스로 예측하고 학습한 후, 다양한 다운스트림 작업(예: 문장 분류, 번역 등)에 활용되었다. Self-supervised 방식은 데이터 라벨링이 필요 없기 때문에, 많은 양의 데이터를 사용하여 강력한 사전 학습 모델을 만들 수 있었다.

Decoding
디코딩은 모델이 학습한 정보를 바탕으로 출력값을 생성하는 과정이다. 트랜스포머 같은 모델에서는 디코더가 입력된 벡터 표현을 통해 문장을 재구성한다. 예를 들어, 기계 번역 작업에서 디코딩은 입력된 문장을 다른 언어로 번역할 때 사용된다. 디코딩 전략에는 Greedy Search, Beam Search 등이 있으며, 이를 통해 모델은 최적의 출력값을 찾으려 했다. 또한, 자연어 생성(NLG)에서는 디코딩을 통해 생성된 텍스트의 질을 높이려는 시도가 많이 이루어졌다.

BERT, SBERT
BERT(Bidirectional Encoder Representations from Transformers)는 트랜스포머의 인코더 구조를 기반으로 한 모델로, 문장 내에서 단어 간의 양방향 관계를 모두 학습할 수 있도록 설계되었다. 기존의 언어 모델들은 한 방향으로만 텍스트를 이해했지만, BERT는 양방향에서 문맥을 이해할 수 있어 더 정확한 문장 표현을 학습했다. BERT는 사전 학습 단계에서 마스크된 언어 모델(Masked Language Model)을 사용하여 문장의 일부 단어를 가리고, 그 단어를 예측하는 방식으로 학습되었다.

SBERT(Sentence-BERT)는 BERT의 문장 표현 능력을 활용해 문장 간 유사도를 계산하거나, 의미적 유사성을 파악하는 작업에 사용되었다. SBERT는 주로 문장 임베딩을 효율적으로 계산하기 위해 쌍(pair) 형태의 문장을 입력으로 받아, 빠르게 유사도 계산을 할 수 있도록 설계되었다.