모델 성능 향상 테크닉
딥러닝 신뢰도 개선을 위한 모델 보정 기법
- 일반적인 딥러닝 모델이 도출하는 정답에 대한 정확도는 실제 적용 환경에서 평가하는 정확도보다 높게 평가되는 경향이 있음
- 자율주행, 의료, 금융 등 의사 결정이 건강과 경제에 큰 영향을 미치는 분야에서 자체 평가 정확도는 높으나 실제로는 틀린 판단이 발생하는 경우 치명적인 문제가 발생함
-> 모델 보정을 통해 딥 러닝 모델이 예측한 정답 확률과 실제 정답 확률이 일치하도록 조정함으로써 모델 신뢰도 문제 개선.
Mixup Training
Data Augmentation 기법의 일종으로 두 데이터와 라벨을 일정 비율로 섞어 새로운 데이터를 생성하는 방법.
랜덤한 두 개의 샘플을 골라서 사용함.
단순 학습 시 72%이던 성능이 Mixup시 92% 수준으로 향상되기도.
Label Smoothing
데이터 정규화 기법 중 하나로 모델 일반화 성능 향상에 사용함.
one-hot으로 표현되던 class label을 soft target으로 바꾸어 사용
Model Ensemble
여러 모델을 결합하여 모델의 정확도를 향상시킴.
여러 개의 Weak Classifier를 결합하여 Strong Classifier 생성
- Emsemble 기법
Bagging : Bootstrap Aggregation. 데이터셋으로부터 여러 개의 샘플을 추출하여 모델을 학습. 문제에 대한 모델의 결과를 집계하여 최종 결과 도출. 병렬 학습. 학습 속도 빠름. 각 모델 학습이 독립적.
Boosting : Weak Classifier를 순차적으로 결합하여 문제 해결 규칙 형성. 순차 학습. 한 모델의 학습과 결과가 다음 모델에 영향을 미침. 학습 속도 느림. 성능이 좋으나 과적합 발생.
Software Developer