✏️학습 정리

---

스페셜 미션

• 한국어 전처리 연습

  • 개인정보 관련 문제
    • 적절한 비밀번호인지 검증
    • 욕설 삐처리하기
    • 개인정보 마스킹
    • 크롤링된 문서 전처리
  • 데이터 분석
    • 코퍼스 EDA
    • Tokenizer 비교 (음절, 형태소, WordPiece)

• Huggingface hub에 모델 공유

🗣️피어세션

---

• No_relation 라벨을 언더샘플링 하는 것이 맞을까?

  • 같은 No_relation이라도 subject와 object의 entity 속성이 다양하기 때문에 No_relation의 비율을 단순히 깎는 것은 위험하다고 생각

• 다른 캠퍼분의 Attention Is All You Need 논문 발표

📝주간 회고록

---

시도했던 것

• baseline 코드, huggingface 분석 및 이해하기
• klue bert-base, roberta-small, base, large 모델 baseline에서 실험
• huggingface Trainer, TrainingArguments 익숙해지기

회고

• huggingface를 처음 접하게 되어 baseline과 huggingface의 Trainer, TrainingArguments을 위주로 실험을 시작하였다. 확실히 쓰기 편한 프레임워크는 분명하지만, 너무 간단하게 실행할 수 있어 내부가 어떻게 돌아가는지 어떤 부분까지 내가 수정할 수 있는지 가늠이 안됐다.
• 저번 대회에서 거의 하나의 모델로만 실험을 해서 이번 대회는 다양한 모델을 사용해보고 싶었다. 일단 KLUE 논문에 나오는 KLUE bert, roberta를 위주로 실험을 진행했다. 당연히 모델의 크기가 클수록 성능은 좋았지만 한 번 학습시간이 1시간 → 4시간까지 늘어나는 trade off(?)를 경험할 수 있었다..