[P2] Week 1 Day 3

가) 오늘 내 학습목표는 무엇이었나요?

1. Named Entity Recognition
2. 제출 기회 5번 모두 사용하기
3. 토론에 글쓰기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

1. accuracy : 71.8000%

• train : test = 4 : 1
• dataset['sentence'] = dataset['entity_01'] + ' [SEP] ' + dataset['entity_02'] + ' [SEP] ' + dataset['sentence']
• KoBERT
• max_len = 128
• batch_size = 32
• warmup_ratio = 0.01
• num_epochs = 20
• max_grad_norm = 1
• log_interval = 50
• learning_rate = 5e-5
• AdamW(optimizer_grouped_parameters, lr=learning_rate)
• nn.CrossEntropyLoss()
• get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)

2. accuracy : 68.9000%

• train : test = 4 : 1
• seed = 77
• dataset['sentence'] = dataset['entity_01'] + ' [SEP] ' + dataset['entity_02'] + ' [SEP] ' + dataset['sentence']
• KoBERT
• max_len = 128
• batch_size = 32
• warmup_ratio = 0.01
• num_epochs = 20
• max_grad_norm = 1
• log_interval = 50
• learning_rate = 5e-5
• AdamW(optimizer_grouped_parameters, lr=learning_rate)
• nn.CrossEntropyLoss()
• get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)
• dataset = dataset[dataset['label']!=40]
• dataset = dataset[dataset['label']!=37]
• dataset = dataset[dataset['label']!=19]
• dataset = dataset[dataset['label']!=41]
• dataset = dataset[dataset['label']!=29]
• dataset = dataset[dataset['label']!=18]
• dataset = dataset[dataset['label']!=26]
• dataset = dataset[dataset['label']!=28]
• dataset = dataset[dataset['label']!=39]
• dataset = dataset[dataset['label']!=36]
• dataset = dataset[dataset['label']!=13]
• dataset = dataset[dataset['label']!=30]
• dataset = dataset[dataset['label']!=31]
• dataset = dataset[dataset['label']!=34]
• dataset = dataset[dataset['label']!=38]

3. accuracy : 69.9000%

• train : test = 4 : 1
• seed = 42
• dataset['sentence'] = dataset['entity_01'] + ' [SEP] ' + dataset['entity_02'] + ' [SEP] ' + dataset['sentence']
• KoBERT
• max_len = 128
• batch_size = 32
• warmup_ratio = 0.01
• num_epochs = 20
• max_grad_norm = 1
• log_interval = 50
• learning_rate = 5e-5
• AdamW(optimizer_grouped_parameters, lr=learning_rate)
• nn.CrossEntropyLoss()
• get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)

4. accuracy : %

5. accuracy : %

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

• 개선하지 못했습니다…

라) 오늘 내가 한 행동의 결과로 어떤 지점을 달성하고, 어떠한 깨달음을 얻었나요?

• 3일간 competition에 참여해본 결과 이번 competition은 리더보드가 아니라 토론을 중심으로 진행해볼까 생각 중입니다.

마) 오늘 나의 학습과 시도가 크게 성공적이지 않아서 아쉬운 것은 무엇인가요? 내일은 어떻게 다르게 시도해보실 수 있을까요?

• Named Entity Recognition 또는 entity 1 <-> entity 2 swap을 통해서 성능이 좋아질 것이라고 생각했는데, 생각보다 성공적이지 않아서 아쉬웠습니다.
• 내일은 entity와 special token을 중심으로 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!