Workshop on Distribution shift에 2023 Neurips에서 발표한 Poster입니다.
이 논문의 Contribution은 다음과 같습니다.
- VLM(Vision-Language Model)을 fine-tuning했을 때 생길 수 있는 calibration 성능 저하에 대한 첫 논문
- Label Smoothing (LS)이 VLM의 generalization 능력을 올릴 뿐 아니라 ID와 OOD 모두의 calibration 성능을 향상시킨다.
- Multimodal knowledge distillation term이 ID와 OOD accuracy는 높게 유지하면서 pre-trained model과 비교했을 때 calibration 성능저하를 최소화한다.
먼저, Confidence Calibration에 대해 간단히 설명드리면, 얼마나 Confidence가 신뢰할만한 정도로 잘 형성되어 있는가를 조절해주는 과정으로 보시면 될 것 같습니다. 가장 잘 알려진 metric은 ECE입니다. ECE가 작을수록 잘 Calibration된 모델이라고 볼 수 있을 것 같습니다.
Perfect Calibration(가장 바람직) - Confidence(model output)에 따른 클래스의 분류 정확도가, Confidence값과 일치한 것
Expected Calibration Error (ECE) - Calibration Error의 기대값으로, Perfect Calibration인 경우와 모델의 Calibration의 차이
일반적으로 downstream task에서 pre-trained된 CLIP과 같은 VLM모델을 그대로 사용하는 것은 어느정도 성능을 기대할 수는 있지만 fine-tuning을 통한 performance 성능향상의 가능성이 크게 존재합니다. 그러나 무턱대고 VLM Fine-tuning을 수행했을때 Calibration 측면에서는 pre-trained모델에 비해 큰 하락이 함께 존재한다고 합니다.
따라서 본 논문의 저자는 기존의 Fine-tuning method(FLYP- L_MCL)와 추가적인 간단한 방법으로, calibration저하를 해결하였습니다.
- Pre-trained된 상태의 Teacher VLM을 두어 Teacher weight에 EMA(exponentially moving average)를 진행
a. stability를 위해 every step에서 update하지 않고 500 iteration마다 업데이트
b. 이 과정이 multi-domain calibrated predictor(pre-trained VLM)와 in-domain calibrated predictor(fine-tuning VLM)의 앙상블과 같이 볼 수 있음. - 이 때, Teacher의 Output을 Knowledge distillation형태로 Student의 Output을 업데이트 (L_MKD)
a. labeling smoothing과 비슷한 효과를 주는 것으로 이해
FLYP같은 기존 VLM Fine-tuning이 가지는 Calibration관점에서의 문제점 (기존의 Fine-tuning의 다른 시각에서의 문제점)을 지적하면서 일반적으로 image task에서 해결할 수 있는 방법론들을 VLM에 적용하여 문제를 해결한 논문으로 보입니다.
읽으면서 궁금한 점은 teacher model을 student model의 weight로 EMA하고, 그 output을 L_MKD형태로 다시 student한데 distillation하는 방법이 일반적인 방법인지 ?
실험 결과를 보면, EMA의 update frequency를 어떻게 가져가느냐가 성능에 영향을 좀 많이 끼치는 것 같습니다. 오히려 update를 매 iter마다 했을 경우에는 FLYP보다 좋아진다고 보기 어려워 보이네요. weight update없이 pre-trained model을 사용할 경우는 성능이 많이 감소하는데 OOD 성능은 좋아지는 것 같습니다.
