RoBERTa: 소개

• 논문 링크: https://arxiv.org/pdf/1907.11692
• Facebook AI Research 팀에서 발표한 논문
• 기존 BERT의 학습 방식에 대한 재검토와 여러 최적화 기법을 적용해 모델 성능을 향상시킴

  💡 주요 목표는 "BERT의 잠재력을 최대한 끌어내기 위해 학습 방식을 어떻게 조정할 수 있는가"에 대한 답을 찾는 것

RoBERTa: BERT와 주요 차이점

1. 데이터와 학습량 증가

• 더 큰 데이터셋 활용: BERT는 BookCorpus와 English Wikipedia 두 개의 대규모 데이터셋 활용하였으나, RoBERTa는 이보다 더 많은 데이터를 활용함
• 더 긴 학습 시간: BERT보다 훨씬 오랜 시간 동안 더 많은 학습 스텝으로 훈련됨
• 모델이 더 많은 패턴을 학습하고 일반화 성능을 높일 수 있음

2. 마스킹 전략의 변화

• 동적 마스킹(Dynamic Masking): BERT는 사전 학습 단계에서 고정된 마스킹을 사용했고, 입력 문장이 처음 생성될 때 한 번만 마스킹 적용함
• 반면, RoBERTa는 매 학습 에포크마다 새로운 마스킹 패턴을 생성하는 동적 마스킹 방식을 사용함
• 모델이 다양한 마스킹 패턴을 학습할 수 있고, 더 강건한 표현을 얻게 됨

3. Next Sentence Prediction (NSP) 제거

• BERT는 두 문장 간의 관계를 학습하기 위해 Next Sentence Prediction 태스크를 포함했음
• 그러나 본 논문의 저자들은 NSP 태스크가 실제로 모델의 성능 향상에 큰 도움이 되지 않는다는 사실을 발견함
• 따라서, RoBERTa는 NSP 태스크를 제거하고 Masked Language Modeling(MLM)에 집중함으로써 학습 효율을 높임

4. 배치 사이즈와 학습률 조정

• 배치 사이즈 확대: RoBERTa는 훨씬 큰 배치 사이즈를 사용하여, 더 넓은 문맥에서 정보를 학습할 수 있는 기회를 제공함
• 학습률 및 기타 하이퍼파라미터 최적화: 다양항 실험을 통해 최적의 학습률, dropout 비율, warm-up 스텝 등을 재조정함

RoBERTa: 장점

• SOTA 기록
• 모델 구조의 변화 없이 성능 개선:
  • RoBERTa는 BERT의 모델 아키텍처를 그대로 유지하면서 학습 전략과 하이퍼파라미터 조정만으로도 성능을 크게 향상시킴
• 불필요한 NSP 태스크 제거:
  • NSP 태스크를 제거함으로써 학습 과정을 단순화시키고 모델이 더 중요한 MLM 태스크에 집중할 수 있도록 하여 효율성을 높임

💡 RoBERTa는 BERT의 기본 구조를 유지하면서도 데이터 양 증대, 동적 마스킹, NSP 태스크 제거, 하이퍼파라미터 최적화를 통해 성능을 크게 향상시킴!