‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.

논문 URL - https://arxiv.org/pdf/1907.11692

RoBERTa

개요

• 여러 학습 전략 및 하이퍼파라미터(동적 마스킹, NSP 제거, 대용량 배치, byte-level BPE 등)를 결합해 RoBERTa라 명명한다.
• 이전에는 간과됐던 데이터 양/구성과 학습 반복 수의 영향도 주목한다.
• 대표적으로 XLNet은 더 많은 데이터와 큰 배치로 BERT보다 훨씬 많은 시퀀스를 학습하며, 사전학습 효율에 큰 차이를 만든다.

실험

• 변인을 통제하기 위해 BERTLARGE 구조와 동일하게, 동일한(또는 극히 유사한) 데이터로 RoBERTa를 학습
• 10만 스텝 동안 BOOKCORPUS+WIKIPEDIA로 프리트레이닝
• 1,024개의 V100 GPU를 동원해 약 하루 만에 학습 완료

결과

• 동일한 학습 데이터로 통제된 조건에서 비교할 때, RoBERTa는 기존에 보고된 BERT_LARGE보다 상당한 성능 향상을 보였다.
  • 즉, 다양한 설계상의 개선점들(동적 마스킹, NSP 제거, 대용량 배치, byte-level BPE 등)이 중요하다는 것을 의미한다.
• 데이터셋을 확장하여 BOOKCORPUS와 WIKIPEDIA에 세 가지 추가 데이터셋을 결합, 전체 약 160GB 규모로 학습(100K 스텝)했을 때, 모든 다운스트림 태스크에서 추가적인 성능 향상이 있었다.
  • 사전학습 데이터의 양과 다양성이 모델 성능에 매우 중요한 요소임을 실증했다.
• 프리트레이닝 스텝 수를 기존 100K에서 300K, 500K로 대폭 증가시켜 학습한 RoBERTa는, 다운스트림 태스크(벤치마크)에서 큰 폭의 추가 성능 향상을 보였다.
• 동일조건(데이터, 스텝 수 등) 비교 시 XLNetLARGE를 대부분의 주요 태스크에서 능가했다.
• 500K 스텝까지 학습해도 과적합 징후 없이 추가 학습 여지가 존재한다.

시사점 : 데이터와 학습 전략의 최적화로 SOTA(최첨단) 성능을 달성했다는 점에 의미

01. GLUE Results

• 특징

  • 많은 GLUE 리더보드 제출 결과들이 멀티태스크 파인튜닝(multi-task finetuning) 방식에 의존하는 반면, RoBERTa는 오직 싱글 태스크 파인튜닝(single-task finetuning)에만 의존한다.

• GLUE 특정 태스크의 맞춤 전처리 및 파인튜닝

  • QNLI: 최신 리더보드는 랭킹 방식(후보끼리 점수비교)으로 성능을 극대화하나, 이는 BERT 논문(기본 분류)과는 다름. 본 논문도 leaderboard 제출 시엔 랭킹 방식을, 정확 비교시는 분류 방식을 병행 보고.
  • WNLI: SuperGLUE 버전 변환 데이터 + margin ranking loss로 파인튜닝. 올바른 명사구가 더 높은 점수로 분별되도록 학습. 다만, 정답 예시만 사용 가능.

결과 요약

• RoBERTa는 단일 태스크 파인튜닝만으로 모든 GLUE 개발셋에서 최고 성능
• 구조와 사전학습 목표는 BERTLARGE와 같으나, 데이터/학습 전략 최적화로 BERT_LARGE·XLNet_LARGE 대비 월등
• 공식 리더보드에서는 9개 중 4개 분야 1위, 평균 점수도 역대 최고
• 멀티태스크 파인튜닝 없이 이룬 결과

02. SQuAD Results

• 접근 방식 요약

  • BERT(Devlin et al., 2019) 및 XLNet(Yang et al., 2019)은 추가적인 QA 데이터로 훈련셋을 확장하는 반면, RoBERTa는 오직 SQuAD만 활용한다.

• 하이퍼파라미터 및 학습 전략

  • XLNet은 각 레이어마다 다른 학습률을 주는 layer-wise learning rate schedule을 도입했으나, RoBERTa는 모든 레이어에 동일한 학습률을 사용해 파인튜닝한다.

결과 요약

• 추가적인 데이터 증강이나 복잡한 전략 없이, SQuAD 데이터만으로 간단하게 파인튜닝한 RoBERTa는 SQuAD 2.0에서 기존 SOTA를 경신하였다.
• 단일 모델 기준, BERT 및 XLNet 기반 시스템 중 거의 최고 성능을 기록했으며, 특히 데이터 증강을 사용하지 않은 모델 중에서는 1위이다.
• RoBERTa 성과는 모델 아키텍처, 사전학습 전략, 하이퍼파라미터 튜닝만으로도 실질적인 성능 향상이 가능함을 보여준다.

03. RACE Results

• RACE 과제는, 시스템에 하나의 지문(passage), 하나의 관련 질문(question), 그리고 네 개의 후보 답변(candidate answers)을 제공하며, 시스템은 이 네 개의 후보 중 정답을 분류해야 한다.

• RoBERTa 방식

  • 각 후보 답변마다 질문과 지문을 순서대로 연결(concatenate)하여 하나의 입력 시퀀스를 만든다.
  • 네 개의 후보 각각에 대해 이 시퀀스를 인코딩한 뒤, [CLS] 토큰의 표현값을 완전연결층(fully-connected layer)에 통과시켜 정답 후보를 예측한다.
  • 질문-답변 쌍이 128 토큰을 초과하면 해당 쌍을 잘라(truncate) 사용하며, 필요하다면 지문도 잘라 전체 시퀀스 길이가 최대 512 토큰을 넘지 않도록 조정한다.

결과 요약

• RoBERTa는 RACE의 중등(middle school) 및 고등(high school) 두 설정 모두에서 최첨단(state-of-the-art) 성능을 기록하였다.