BERT

BERT( Bidirectional Encoder Representations from Transformers)

• 2018년 구글에서 발표한 사전 학습(pre-training) 방식의 언어 모델입니다.

• BERT는 Transformer라는 모델 구조를 사용하며, 입력 문장의 좌우 문맥을 모두 참고하는 양방향(bidirectional) 학습을 수행합니다.

• 이를 통해 문장 안의 각 단어들이 서로 어떤 관계를 가지고 있는지 파악할 수 있습니다.

• BERT는 대규모 텍스트 데이터를 이용하여 사전 학습된 후, 다양한 자연어 처리 태스크에 fine-tuning을 통해 활용됩니다.

• 예를 들어, 문장 분류, 질의 응답, 감성 분석 등 다양한 자연어 처리 태스크에서 SOTA(state-of-the-art) 성능을 보입니다.

• BERT의 대표적인 특징은 다양한 자연어 처리 태스크에서 전이학습(transfer learning)이 가능하다는 점입니다.

• 이전에는 각 태스크마다 별도의 모델을 학습하였으나, BERT와 같은 사전 학습 기반 모델은 대규모 데이터를 이용하여 사전 학습한 후, 다양한 자연어 처리 태스크에서 fine-tuning을 통해 활용함으로써 학습 데이터 부족 문제를 해결할 수 있습니다.