[P2] Week 2 Day 2

가) 오늘 내 학습목표는 무엇이었나요?

1. xlm-roberta-large
2. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

1. accuracy : 76.0000%

training_args = TrainingArguments(
  output_dir='./results',
  save_total_limit=5,
  save_steps=100,
  num_train_epochs=10,
  learning_rate=5e-5,
  per_device_train_batch_size=64,
  per_device_eval_batch_size=64,
  warmup_steps=300,
  weight_decay=0.01,
  logging_dir='./logs',
  logging_steps=100,
  evaluation_strategy='steps',
  eval_steps = 100,
  fp16=True,
  dataloader_num_workers=4,
  label_smoothing_factor=0.5
)

2. accuracy : 76.7000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=100,
    num_train_epochs=10,
    learning_rate=5e-5,
    per_device_train_batch_size=32,
    per_device_eval_batch_size=32,
    warmup_steps=300,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 100,
    fp16=True,
    dataloader_num_workers=4,
    label_smoothing_factor=0.5
  )

3. accuracy : 77.7000%

• ensemble 3

4. accuracy : 79.0000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=100,
    num_train_epochs=15,
    learning_rate=1e-5,
    per_device_train_batch_size=32,
    per_device_eval_batch_size=32,
    warmup_steps=300,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 100,
    dataloader_num_workers=4,
    label_smoothing_factor=0.5
  )

5. accuracy : 78.7000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=100,
    num_train_epochs=15,
    learning_rate=1e-5,
    per_device_train_batch_size=32,
    per_device_eval_batch_size=32,
    warmup_steps=300,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 100,
    dataloader_num_workers=4,
    label_smoothing_factor=0.5
  )

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

• xlm-roberta-large와 Baseline Code의 Hyperparameter를 변경하여 모델을 개선했습니다.

라) 내일은 어떻게 다르게 시도해보실 수 있을까요?

• 내일은 train dataset 100% 사용 전략과 test dataset 비율에 따른 ensemble 전략을 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!