BERT

BERT의 기본 구조는 트랜스포머의 인코더 구조이며, [SEP] 토큰으로 구분된 두 개의 문장을 입력으로 받아서 멀티헤드 셀프 어텐션, 드롭아웃, 레이어 정규화, 피드 포워드 레이어를 거침. 이를 통해 입력된 두 문장 사이의 관계를 학습(NSP)함과 동시에, 문장 속 일부 단어를 가려놓고 맞히는 빈칸 채우기 학습(MLM)을 함께 수행하여 언어의 문맥을 학습함

응용 분야

• 대용량 문서 분류
• 대용량 마스킹 (민감한 개인 정보 등)
• 대용량 텍스트 데이터에서 필요한 데이터 추출 (문맥 매칭 검색)

GPT

GPT 의 기본 구조는 트랜스포머의 디코더 구조이나, 인코더 아웃풋을 사용한 크로스 어텐션 레이어는 없기때문에 트랜스포머의 디코더보다 상대적으로 간단함. 단순히 앞선 토큰들로부터 그 이후 나올 토큰을 예측하는 모델이기때문에 학습 데이터를 입력할 때 최대한 많은 문장을 수집하여 [BOS], [EOS] 토큰을 사용하여 토큰 최대 길이에 도달할때까지 데이터를 한덩어리로 다 붙여서 입력함. Loss 계산 역시 다음 토큰 예측과 실제 다음 토큰간의 비교를 통해 학습에 사용됨

응용 분야

• 챗봇 및 대화형 시스템
• 소스 코드 작성 및 어시스턴트
• 문서 작성 및 편집

Hugging Face Transformers

• 원래 트랜스포머는 모델 구조 이름이지만 허깅페이스에서 자신들의 AI 오픈소스 플랫폼의 이름을 트랜스포머로 브랜딩함

플랫폼으로서의 역할

• 사전학습된 모델들과 최신 논문을 통해 구현된 AI 모델들이 업로드되어있어 사용자들이 쉽게 내려받아 사용할 수 있음
• 사용자들이 직접 만든 모델들을 업로드하거나 fine-tuning 한 모델들을 다른 사용자들과 공유할 수 있음

프레임워크로서의 역할

• 추상화 클래스를 제공함으로써 최소한의 모델 클래스 작성 가이드라인이 제공되고, 해당 모델들을 직관적으로 사용하거나 다른 라이브러리 혹은 모듈과의 호환성을 쉽게 얻을 수 있음

이후 등장한 주요 사전학습 모델

RoBERTa (페이스북, 2019)

기존 BERT와 비교하여 NSP(Next Sentence Prediction) 을 제거하고 MLM(Masked Language Model) 만 학습하도록 수정함

ELECTRA (구글, 2020)

GAN 과 비슷하게 두개의 BERT 모델을 각각 가짜 토큰 생성기와 가짜 토큰 판별기로 만들어 학습된 판별기를 최종 모델로 사용.

BART (페이스북, 2019)

기존 트랜스포머 구조와 거의 동일하나 인코더에 들어가는 학습 데이터를 토큰 개수를 랜덤하게 마스킹하거나 토큰의 순서를 섞는 등 기존보다 더 많이 수정함.

T5 (구글, 2019)

기존 트랜스포머 구조와 같으나 학습 방식을 BERT 처럼 입력 문장에 토큰을 마스킹한 후 복구한 문장을 실제 타겟과 비교하여 학습함

Mamba

기존 RNN 처럼 어텐션을 사용하지 않되 중요한 문맥만을 선택적으로 학습해서 멀리 떨어진 정보의 희석 속도를 낮춤. 학습시에는 CNN 형태로 변환하여 병렬 연산함으로써 기존 RNN 이 가지던 Sequential 학습에 의한 병목 현상을 해결함

RWKV

...