[P2] Week 1 Day 1

Reference

• KorNLU Datasets
• hyunwoongko/brainbert-base-ko-kornli
• BM-K/KoSentenceBERT_SKTBERT
• PORORO-Natural Language Inference

!pip install pororo
from pororo import Pororo
nli = Pororo(task="nli", lang="ko")

nli("저는, 그냥 알아내려고 거기 있었어요.", "이해하려고 노력하고 있었어요.")
> 'Entailment'

nli("저는, 그냥 알아내려고 거기 있었어요", "나는 처음부터 그것을 잘 이해했다")
> 'Contradiction'

nli('저는, 그냥 알아내려고 거기 있었어요.', '나는 돈이 어디로 갔는지 이해하려고 했어요.')
> 'Neutral'

혹시 몰라서 주말 동안 미리 준비했었는데, 무의미해졌습니다. ㅠㅠ

가) 오늘 내 학습목표는 무엇이었나요?

1. Baseline Code
2. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

1. accuracy : 57.3000%

• Baseline Code

2. accuracy : 59.8000%

• train : dev = 4 : 1

training_args = TrainingArguments(
  save_total_limit=3,
  save_steps=500,
  num_train_epochs=10,
  learning_rate=5e-5,
  per_device_train_batch_size=16,
  per_device_eval_batch_size=16,
  warmup_steps=500,
  weight_decay=0.01,
  logging_steps=100,
  evaluation_strategy='steps',
  eval_steps = 500,
  )

3. accuracy : 55.0000%

• monologg/koelectra-base-v3-discriminator
• train : dev = 4 : 1

training_args = TrainingArguments(
  save_total_limit=3,
  save_steps=100,
  num_train_epochs=10,
  learning_rate=1e-5,
  per_device_train_batch_size=64,
  per_device_eval_batch_size=64,
  warmup_steps=500,
  weight_decay=0.01,
  logging_steps=100,
  evaluation_strategy='steps',
  eval_steps = 100,
  )

4. accuracy : 60.5000%

• train : dev = 4 : 1

training_args = TrainingArguments(
  save_total_limit=5,
  save_steps=1000,
  num_train_epochs=10,
  learning_rate=1e-5,
  per_device_train_batch_size=4,
  per_device_eval_batch_size=128,
  warmup_steps=500,
  weight_decay=0.01,
  logging_steps=100,
  evaluation_strategy='steps',
  eval_steps = 1000,
  )

5. accuracy : 60.6000%

• train : dev = 4 : 1

training_args = TrainingArguments(
  save_total_limit=5,
  save_steps=1000,
  num_train_epochs=10,
  learning_rate=1e-5,
  per_device_train_batch_size=4,
  per_device_eval_batch_size=128,
  warmup_steps=500,
  weight_decay=0.1,
  logging_steps=100,
  evaluation_strategy='steps',
  eval_steps = 1000,
  )

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

• Baseline Code의 Hyperparameter를 변경하여 모델을 개선했습니다.

라) 오늘 내가 한 행동의 결과로 어떤 지점을 달성하고, 어떠한 깨달음을 얻었나요?

• 이번 competition은 데이터의 수도 적고, 클래스의 수도 많고, 클래스 간의 불균형도 심합니다. 따라서, 진흙탕 싸움으로 번질 가능성이 크다고 생각합니다. 그래서 저는 가벼운 마음으로 이번 competition에 참가할 생각입니다.

바) 오늘 나의 학습과 시도가 크게 성공적이지 않아서 아쉬운 것은 무엇인가요? 내일은 어떻게 다르게 시도해보실 수 있을까요?

• 한국어에 특화된 koelectra를 사용하면 성능이 좋아질 것이라고 생각했는데, 생각보다 성공적이지 않아서 아쉬웠습니다.
• 내일은 koelectra와 kobert를 중심으로 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!