[Week 4-5] 💬Pretrained Transformer 실습

4주차 금요일

• 캐글 개체명 분석 챌린지

[캐글 private 챌린지]

Transformer 구조를 기반으로 한 ELECTRA 모델은 Pre-training Language Model 중 하나로, 자연어 처리에 많이 사용되고 있다. ELECTRA의 한국어 버전인 KoELECTRA (제작자 박장원 님의 리포지토리) 를 사용해서 캐글 개체명 분석 챌린지 과제를 수행했다.

제공된 코드를 기반으로 만든 모델의 public score는 0.90074가 나왔는데, 주말에 데이터 전처리나 fine-tuning을 더 해보고 아래에 변동 사항을 기록할 예정이다.