[P2] Week 2 Day 1

가) 오늘 내 학습목표는 무엇이었나요?

1. CNN
2. LSTM
3. Label Smoothing Loss
4. Data 추가
5. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

1. accuracy : 73.2000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=1000,
    num_train_epochs=10,
    learning_rate=5e-5,
    per_device_train_batch_size=256,
    per_device_eval_batch_size=128,
    warmup_steps=1000,
    weight_decay=0.1,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 1000,
    fp16=True,
    dataloader_num_workers=4,
    # label_smoothing_factor=0.2
  )

2. accuracy : 69.9000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=1000,
    num_train_epochs=10,
    learning_rate=5e-5,
    per_device_train_batch_size=256,
    per_device_eval_batch_size=256,
    warmup_steps=1000,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 1000,
    fp16=True,
    dataloader_num_workers=4,
    # label_smoothing_factor=0.2
  )

3. accuracy : 71.6000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=1000,
    num_train_epochs=10,
    learning_rate=1e-5,
    per_device_train_batch_size=4,
    per_device_eval_batch_size=256,
    warmup_steps=1000,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 1000,
    fp16=True,
    dataloader_num_workers=4,
    label_smoothing_factor=0.2
  )

4. accuracy : 75.4000%

• ensemble 3

5. accuracy : 70.2000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=1000,
    num_train_epochs=10,
    learning_rate=1e-5,
    per_device_train_batch_size=2,
    per_device_eval_batch_size=256,
    warmup_steps=1000,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 1000,
    fp16=True,
    dataloader_num_workers=4,
    label_smoothing_factor=0.2
  )

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

• ensemble로 accuracy를 개선했습니다.

라) 오늘 나의 학습과 시도가 크게 성공적이지 않아서 아쉬운 것은 무엇인가요? 내일은 어떻게 다르게 시도해보실 수 있을까요?

• CNN, LSTM, Label Smoothing Loss, 외부 Data 추가를 통해서 성능이 좋아질 것이라고 생각했는데, 생각보다 성공적이지 않아서 아쉬웠습니다.
• 내일도 Baseline Code를 중심으로 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!