KLUE 대회 - Week 1

10주차에서 12주차에 걸쳐 KLUE 데이터셋을 활용한 문장 내 관계 추출 대회가 진행된다.

📝 학습 회고

소금빵 팀과 level 2의 첫 P-stage인 RE 대회를 시작했다.
우리 트랙인 nlp라 그런지 지난 대회보다 훨씬 의욕적이고 성적보단 배우기 위해 노력하면서 여러 가지를 시도하고 있다.
우리 팀은 하루에 미팅을 기본 3-4시간 정도 하고 있다.
이렇게 소통이 많은 팀 프로젝트는 거의 처음인데, 배우는 것도 그만큼 많고 공유도 잘 돼서 여러 가지로 즐겁게 하고 있다.

01. 피어세션

1) 팀원과 진도 맞춰서 강의 수강
2) Baseline 코드 뜯어보기
3) 협업 환경 조성
4) EDA
5) 코드를 우리가 쓰기 편하게 다같이 일괄 수정 (baseline 코드 다듬기)
6) 분업 또는 같이 실험
7) 실험 결과 및 코드 공유, 같이 고민하기
등을 하였다.

02. 실험

1) 여러 pre-trained 모델 비교
2) special token으로 Entity token 추가
3) Data Augmentation - Back translation, EDA
4) 모델 저장 모니터 metric 비교
5) 음절 단위 학습
등을 하였다.

03. 실험 예정

Preprocessing

• 데이터 전처리 (중복 데이터 제거, 라벨링 오류 데이터 제거)
• Back-translation
• EDA (Easy Data Augmentation) 실험

Modeling

• Special token 대신 Punctuation 사용해보기
• no_relation/relation을 먼저 분류하고 학습
• BPTT
• Language Model Domain Adaptation
  (* 기존 BERT의 input과 유사하게 입력을 두 문장으로 변경)

(+) 잘했던것, 좋았던것, 계속할것

• 코어 타임에 거의 쉬지 않고 꾸준히 할 일 했다.
• 기록하는 습관을 들이려고 노력했다.
• 성장할 수 있는 좋은 경험을 하고 있다고 느꼈다.

(-) 잘못했던것, 아쉬운것, 부족한것 -> 개선방향

• 부캠하며 자존감이 떨어졌다고 느꼈다. -> 배우려고 여기 있는 것, 꾸준히 성장하고 있음

(!) 키워드(공부한 것,알게된 것, 느낀 점)

• 피어세션
• Git & Wandb
• Hugging face
• 협업하는 법
• 여러 실험들