[P2] Week 1 Day 2

나며기·2021년 4월 13일
0

부스트캠프 AI Tech

목록 보기
50/79
post-thumbnail

가) 오늘 내 학습목표는 무엇이었나요?

  1. KoBERT
  2. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

  1. accuracy : 70.3000%
  • train : test = 4 : 1
  • dataset['sentence'] = dataset['entity_01'] + '[SEP]' + dataset['entity_02'] + '[SEP]' + dataset['sentence']
  • KoBERT
  • wandb.config.max_len = 128
  • wandb.config.batch_size = 32
  • wandb.config.warmup_ratio = 0.01
  • wandb.config.num_epochs = 15
  • wandb.config.max_grad_norm = 1
  • wandb.config.log_interval = 20
  • wandb.config.learning_rate = 5e-5
  • AdamW(optimizer_grouped_parameters, lr=wandb.config.learning_rate)
  • LabelSmoothingLoss()
  • get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)

  1. accuracy : 66.4000%
  • train : test = 9 : 1
  • dataset['sentence'] = dataset['entity_01'] + '[SEP][CLS]' + dataset['entity_02'] + '[SEP][CLS]' + dataset['sentence']
  • KoBERT
  • max_len = 256
  • batch_size = 16
  • warmup_ratio = 0.01
  • num_epochs = 20
  • max_grad_norm = 1
  • log_interval = 200
  • learning_rate = 5e-5
  • AdamW(optimizer_grouped_parameters, lr=wandb.config.learning_rate)
  • LabelSmoothingLoss()
  • get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)
  1. accuracy : 70.3000%
  • train : test = 4 : 1
  • dataset['sentence'] = dataset['entity_01'] + '[SEP]' + dataset['entity_02'] + '[SEP]' + dataset['sentence']
  • KoBERT
  • max_len = 128
  • batch_size = 16
  • warmup_ratio = 0.01
  • num_epochs = 20
  • max_grad_norm = 1
  • log_interval = 50
  • learning_rate = 5e-5
  • AdamW(optimizer_grouped_parameters, lr=learning_rate)
  • LabelSmoothingLoss()
  • get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)
  1. accuracy : 71.6000%
  • seed : 77
  • train : test = 4 : 1
  • dataset['sentence'] = dataset['entity_01'] + '[SEP]' + dataset['entity_02'] + '[SEP]' + dataset['sentence']
  • KoBERT
  • max_len = 128
  • batch_size = 32
  • warmup_ratio = 0.01
  • num_epochs = 30
  • max_grad_norm = 1
  • log_interval = 50
  • learning_rate = 5e-5
  • AdamW(optimizer_grouped_parameters, lr=learning_rate)
  • LabelSmoothingLoss()
  • get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)
  1. accuracy : 72.2000%
  • ensemble test

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

  • KoBERT로 모델을 개선했습니다.

라) 오늘 내가 한 행동의 결과로 어떤 지점을 달성하고, 어떠한 깨달음을 얻었나요?

  • 여러 가지로 시도해볼수록 Hyperparameter 가챠인 것 같다는 생각이 들었습니다.

마) 오늘 나의 학습과 시도가 크게 성공적이지 않아서 아쉬운 것은 무엇인가요? 내일은 어떻게 다르게 시도해보실 수 있을까요?

  • Baseline Code에서 벗어나, KoBERT를 사용하면 성능이 좋아지리라 생각했는데, 생각보다 성공적이지 않아서 아쉬웠습니다.
  • 내일은 여러 개의 모델로 분리해서 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!

profile
PLUS ULTRA

0개의 댓글