‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.

논문 URL - https://arxiv.org/pdf/1907.11692

논문을 읽으며 생각할 것들

저자가 이 논문을 통해 이루고자 한 것은 무엇인가?

-> 원래의 BERT가 실제로는 충분히 학습되지 않았다는 점(undertrained)을 밝혀냈고, 이후 발표된 모든 후속 모델들과 동등하거나 더 뛰어난 성능을 내는 새로운 학습법(RoBERTa)을 제안한다.

• 문제 상황
  : 언어 모델 사전학습은 상당한 성능 향상을 이끌어냈지만, 다양한 접근 방식들 간의 신중한 비교는 어렵다.

• 해결 방법
  : 그동안 간과되어왔던 설계 선택(design choices)의 중요성을 부각시키며, 최근 보고된 성능 향상의 근원이 실제로 무엇인지에 대해 파악한다.

논문의 핵심 요소는 무엇인가?

개념

• 여러 학습 전략 및 하이퍼파라미터(동적 마스킹, NSP 제거, 대용량 배치, byte-level BPE 등)를 결합해 RoBERTa(Robustly optimized BERT approach)라 명명한다.

기존 BERT와 차이점

• 더 오래, 더 큰 배치 크기로, 더 많은 데이터로 학습
• Next Sentence Prediction(NSP) 과제 완전 제거
• 더 긴 시퀀스(문장 길이)로 학습
• 학습 데이터에 적용하는 마스킹 패턴을 동적으로 매번 변경

RoBerta의 기여

1. BERT 설계 및 학습 전략에 대한 체계적 분석

• 중요한 BERT 설계 선택지와 학습 전략을 제시하고, 더 나은 다운스트림 태스크 성능을 이끄는 대안을 도입했다.

2. 대규모 학습 데이터셋 CCNEWS 활용

• 새로운 데이터셋 CCNEWS를 사용하여, 사전학습에 더 많은 데이터를 투입하는 것이 실제로 다운스트림 성능을 추가로 향상시킴을 실험적으로 확인했다.

3. 학습 전략 개선의 효과

• 우리가 제안한 학습 개선을 통해, 적절한 설계 선택 하에서 마스킹 언어모델(MLM) 사전학습이 최근 발표된 그 어떤 방법들과도 경쟁력이 있음을 입증했다.

논문에서 내가 활용할 것은 무엇인가?

• 논문에서 강조한 것처럼 모델을 충분히 학습 시키기위한 요건들(핵심 하이퍼파라미터와 학습 데이터 크기 등)을 다양한 방법으로 시도해보면서 모델 성능을 비교 해보기

참고할 다른 논문은 무엇인가?

• Optimizer(GELU)
  - https://arxiv.org/pdf/1606.08415
• Text Encoding(Byte BPE)
  - https://storage.prod.researchhub.com/uploads/papers/2020/06/01/language-models.pdf