Callback Condition: F1, Accuracy

Best model을 정하는 condition은 현재 버전에서 2가지가 존재한다. F1, Accuracy

리더보드의 평가 기준이 F-1 score라서, Best model 선정 조건을 F-1 score로 선정하면 어떤 결과를 낼지 궁금해서 실험한 내용.

loss를 같은 focal loss를 사용하고 해당 조건을 다르게 한 뒤, 어떤 변화가 있는지 살펴 보자

Train Loss

Train Loss 는 Loss함수가 동일하기 때문에 아예 같았다.

callback condition은 loss에는 영향을 주지 않기 때문이다.

Validation Loss / Eval

validation loss도 동일했고, callback 조건인 f1 score와 accuracy도 동일하게 우상향하는 그래프를 그렸다.

결국 위 그래프에서 볼 수 있듯, best model은 완전히 동일한 모델을 선택했다.

추가적으로 리더보드 점수는 다음과 같다.

우리의 데이터셋은 상당히 class간 balance가 무너진 모델이다. Best model을 선정하는 기준은 f-1이든 accuracy든 상관이 없을듯 하지만,

해당 대회의 관건은 극도로 unbalance한 age label을 잘 예측하는 것이기 때문에,

실험과 실험 간의 차이를 분석할 때는 accuracy 보다는 f-1 값을 가지고 비교를 하는 것이 조금 더 나은 분석 방법이지 않을까 생각했다.