NLP 논문 리뷰

ERNIE(Enhanced Representation through Knowledge Integration) 서론 BERT와 같은 여러 LM은 문맥 안에서 masked 단어를 예측하는 방식으로 학습한다. 이때, 문장에 대한 사전 지식은 고려하지 않는다. 예를 들어