Pstage-2 KLUE Relation Extraction

AUPRC : 82.295점, 19개 팀 중 4등
micro F1 score : 73.069점, 19개 팀 중 7등

대회 개요

• Task : Relation extraction - subject와 object entity간 관계 예측
• 기간 : 21.09.27 10:00 ~ 21.10.07 19:00(11일)
• 데이터셋 : KLUE 벤치마크 중 RE 데이터셋
  • KLUE 벤치마크 : 한국어 자연어 이해 벤치마크 데이터셋
• 데이터 입출력 형태
  • input : sentence, subject_entity, object_entity의 정보를 입력으로 사용
  • output : realtion 30개 중 하나를 예측하는 pred_label과 30개 각 클래스에 대산 probs를 제출, 단 class별 probs 순서는 주어진 dictionary 순서와 일치
• 평가 방법
  • 리더보드 제출은 팀별 일 10회로 제한
  • metric : 1) no-relation label을 제외한 micro f1 score, 2) AUPRC, 단 micro f1 score가 우선
• 제한 사항
  • 외부 데이터 사용 불가
  • pesudo labeling 불가, 단 TAPT(Task-Adaptive Pre-Training)는 허용

개발 환경

• 협업 : git, github, Slack, Notion, google sheet, wandb
• 프레임 워크 : PyTorch, Huggingface
• 라이브러리 : sklearn, numpy, pandas, matplotlib, seaborn
• 하드웨어
  • Ubuntu 18.04.5 LTS
  • Intel(R) Xeon(R) Gold 5120 CPU @ 2.20GHz
  • NVIDIA Tesla V100-SXM2-32GB (인당 1개)

프로젝트 일정