[P2] Week 1 Day 5

가) 오늘 내 학습목표는 무엇이었나요?

1. KBOBERT Pre-Training

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

1. KBOBERT Pre-Training 코드 구현

2. accuracy : 72.9000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=1000,
    num_train_epochs=10,
    learning_rate=1e-5,
    per_device_train_batch_size=4,
    per_device_eval_batch_size=128,
    warmup_steps=500,
    weight_decay=0.1,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 1000,
  )

3. accuracy : 73.6000%

  training_args = TrainingArguments(
    output_dir='./results',
    save_total_limit=5,
    save_steps=1000,
    num_train_epochs=5,
    learning_rate=1e-5,
    per_device_train_batch_size=4,
    per_device_eval_batch_size=128,
    warmup_steps=1000,
    weight_decay=0.1,
    logging_dir='./logs',
    logging_steps=100,
    evaluation_strategy='steps',
    eval_steps = 1000,
  )

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

• Baseline Code의 Hyperparameter를 변경하여 모델을 개선했습니다.

라) 오늘 내가 한 행동의 결과로 어떤 지점을 달성하고, 어떠한 깨달음을 얻었나요?

• 각고의 노력 덕분에 주말 동안 KBOBERT Pre-Training을 할 수 있게 되었습니다.

마) 오늘 나의 학습과 시도가 크게 성공적이지 않아서 아쉬운 것은 무엇인가요? 내일은 어떻게 다르게 시도해보실 수 있을까요?

• Baseline Code를 제 나름대로 개선해보려고 했는데, 생각보다 성공적이지 않아서 아쉬웠습니다.
• 내일도 KBOBERT Pre-Training을 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 다음 주에 뵙도록 하겠습니다.

읽어주셔서 감사합니다!