[📖논문 리뷰] ELECTRA : PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS (2020)

부캠에서 Korean Language STS 모델링을 하는 도중, 현재 가장 실험 결과로 가장 좋은 pearson correlation 값을 내고 있는 모델이 Hugging Face에 배포된 "snunlp/KR-ELECTRA-discriminator" 이어서 앙상블 하는 과정에서 좀 더 KR-ELECTRA 모델을 잘 알아보고자 이렇게 논문을 찾아보게되었다.
Abstract에도 나와있지만, ELECTRA 모델이 RoBERTa와 XLNet보다 더 나은 성능을 보인다고 해서 도대체 ELECTRA가 정확히 어떤 구조로 이뤄졌는지 궁금해졌다. 또한 Generator와 Discriminator라는 표현때문에 GAN 모델이 떠오를 수 있지만 GAN과는 다른 구조다 ㅎㅎ

참고자료