RoBerta

• 기존 Bert 모델보다 성능이 좋음
• Bert의 under fitting 문제점을 해결함

Bert 모델과 비교

1. Bert lage architecture와 동일하게 구성됨

• Dataset
• Importance of the design choices

2. 3개의 Dataset 추가함

• Training step 동일
• 성능이 향상됨

  Data size와 diversity의 중요성을 확인할 수 있음

3. Training step 증가함

• XLNet보다 성능이 향상됨

Bert 모델에서 개선한 점

1. Training hte model longer with bigger batches over more data
2. Removing next sentence prediction(NSP) objective
3. Training on longer sequence
4. Dynamically changing the masking pattern