CV 기초대회 7강 - Training & Inference 1 - Loss, Optimizer, Metric

Loss

• nn.Module Family

• forward()를 가짐 => 역시 forward()를 가진 모델과 연결 가능
  

loss.backward()

• loss 역시 nn.Module Family이기 때문에 모델과 연결성이 유지됨 => criterion에 들어온 outputs에서부터 까지 모든 parameters까지 타고 올라가며 전체 역전파 과정을 실행

example

Focal Loss

• class Imbalance 문제가 있는 경우, 맞춘 확률이 높은 class는 조금의 loss를, 맞춘 확률이 낮은 class는 loss를 훨씬 높게 부여
  
  (참고자료 https://gaussian37.github.io/dl-concept-focal_loss/)

Label Smoothing Loss

• class target lable을 onehot 표현으로 사용하기보다는 soft하게 표현해서 일반화 성능을 높임

Optimizer

stepLR

• 정해진 step_size마다 LR이 줄어듬

CosineAnnealingLR

• Cosine 함수 형태처럼 LR을 급격히 변경

• local minimum을 빠르게 탈출 가능

ReduceLROnPlateau

• 더 이상 성능 향상이 없을 때 LR 감소

Metric

• 데이터의 상태에 따라 적절한 Metric을 선택하는 것이 필요

example

1) class 별로 밸런스가 적절히 분포 : Accuracy

2) class 별 밸런스가 적절하지 않아서 각 클래스 별로 성능을 잘 낼 수 있는지 확인 필요 : F1-score