Transformer 모델 및 BERT 모델

BERT 모델 미세 조정
모델을 학습시키고 라벨이 지정된 데이터를 사용해 특정 태스크의 선행 학습된 가중치를 업데이트한다.

xTransformer 모델의 입력 시퀀스에서 생성되는 임베딩 3가지

• 임베딩
• 분류
• 다음 문장 임베딩

Transformer 모델의 인코더 및 디코더 구성요소
인코더는 입력 시퀀스를 수집하고 숨겨진 상태의 시퀀스를 생성한다
디코더는 인코더에서 숨겨진 상태를 가져와 출력 시퀀스를 생성한다

Transformer 모델의 각 인코더에 사용되는 서브레이어

• 리커런트 및 피드 포워드 X

어텐션 메커니즘 이란?
한 문장을 번역하기 위해 별도의 문장에서 각 단어가 갖는 중요도를 결정하는 방법

BERT(Bidirectional Encoder Representations from Transformers)에 사용되는 언어 모델링 기법
Transformer

Transformer 모델 이란?
셀프 어텐션을 사용해 시퀀스 내 여러 부분 사이의 관계를 학습하는 딥러닝 모델

BERT는 2018년 Google이 개발한 Transformer 모델. BERT의 용도는?
질의 응답, 텍스트 분류, 자연어 추론 등 여러 자연어 처리 태스크를 해결하는 데 사용

BERT는 어떤 종류의 Transformer 모델?
인코더 전용 모델