[P2] Week 2 Day 3

가) 오늘 내 학습목표는 무엇이었나요?

1. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

1. accuracy : 77.8000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=3,
    save_steps=100,
    num_train_epochs=10,
    learning_rate=1e-5,
    per_device_train_batch_size=32,
    per_device_eval_batch_size=32,
    warmup_steps=300,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 100,
    dataloader_num_workers=4,
    label_smoothing_factor=0.5
  )

2. accuracy : 78.9000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=3,
    save_steps=100,
    num_train_epochs=10,
    learning_rate=1e-5,
    per_device_train_batch_size=32,
    per_device_eval_batch_size=32,
    warmup_steps=300,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 100,
    dataloader_num_workers=4,
    label_smoothing_factor=0.5
  )

3. accuracy : 77.3000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=3,
    save_steps=100,
    num_train_epochs=10,
    learning_rate=1e-5,
    per_device_train_batch_size=32,
    per_device_eval_batch_size=32,
    warmup_steps=300,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 100,
    dataloader_num_workers=4,
    label_smoothing_factor=0.5
  )

4. accuracy : 79.8000%

• ensemble 3

5. accuracy : 79.8000%

• ensemble 7

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

• ensemble로 accuracy를 개선했습니다.

라) 오늘 나의 학습과 시도가 크게 성공적이지 않아서 아쉬운 것은 무엇인가요? 내일은 어떻게 다르게 시도해보실 수 있을까요?

• 외부 데이터 추가와 새로운 train_test_split 그리고 새로운 Random seed로 성능이 좋아질 것이라고 생각했는데, 생각보다 성공적이지 않아서 아쉬웠습니다.
• 내일도 ensemble을 중심으로 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!