Performance Evaluation in Supervised Learning

Performance evaluation in regression

회귀(regression) 모델을 평가할 때 주로 사용하는
최소제곱법(Method of Least Squares)

관측값 $Y_i$, 예측값 $\hat{Y}_i$

random error (잔차, residual) : $e_i = Y_i - \hat{Y}_i$

최소제곱법 (Method of Least Squares)

잔차 제곱합(sum of squared errors, SSE)을 최소화하는 방법

Image Denoising

이미지에서 노이즈를 제거(image denoising)하는 과정

순방향(forward) 과정 : $x↦x+n=y$

노이즈 제거(image denoising)는 역방향 문제 : 주어진 $y$로부터 원본 $x$ 추정

모델 $f$를 통해 복원한 목표(추정) 이미지 $\bar{x} = f(y)$

평가 지표 (Performance Metric)

• MSE (Mean Squared Error)
  픽셀 단위로 차이(잔차)의 제곱을 모두 더한 뒤 평균을 낸 값

  $\mathrm{MSE} = \lVert x - \bar{x} \rVert^2 \;=\; \sum_{i,j} \bigl(x_{i,j} - \bar{x}_{i,j}\bigr)^2$

  목표 : $\lVert x - y\rVert^2 > \lVert x - \bar{x}\rVert^2$

• PSNR (Peak Signal-to-Noise Ratio)

  $\mathrm{PSNR}(\mathrm{dB}) = 10 \log_{10}\!\Bigl(\frac{\mathrm{MAX}^2}{\mathrm{MSE}^2}\Bigr)$

  MSE가 작아질수록 PSNR 값이 커지며, PSNR이 높을수록 복원 품질이 좋음
  MAX는 픽셀값의 최대치 (8비트 이미지 기준 MAX=255)

Image Super resolution (SR)

저해상도(LR) 관측값에서 고해상도(HR) 이미지를 복원하는 과정

$y$ : 원본 $x$에 다운샘플링(degradation)이 가해져서 얻어지는 저해상도 이미지

SR 모델 f(⋅)의 목표 : 저해상도 y를 입력으로 받아,
원본 x와 유사한 고해상도 출력 $\hat{x}$를 만들어 내는 함수를 학습(또는 설계)

Super-resolution

Bicubic 보간 이미지
: 원본을 저해상도(LR)로 줄인 뒤 Bicubic 알고리즘으로 다시 업샘플링한 결과

블러가 생기는 이유

• LR 단계에서 디테일 정보가 빠져나감
• Bicubic 보간이 주변 픽셀들을 거리 기반 큐빅 가중치로 평균화

SRCNN(Super‐Resolution Convolutional Neural Network) 결과
: Bicubic 보간 후 생긴 블러를 학습으로 복원

Performance evaluation in classification

정확도(Accuracy)
: 모델이 올바르게 예측한 샘플(TP + TN)의 비율 / 전체 샘플 수

ROC Curve

서로 다른 분류기(Classifier)나 임계값(Threshold)을 비교할 때,
True Positive Rate와 True Negative Rate 간의 trade‐off를 시각적으로 평가

• 임계값이 높으면(오른쪽으로 이동)
  → FP와 TP 영역이 줄고 → FN과 TN 영역이 늘어남 → 민감도 ↓, 특이도 ↑

• 임계값이 낮으면(왼쪽으로 이동)
  → FP와 TP 영역이 늘고 → FN과 TN 영역이 줄어듦 → 민감도 ↑, 특이도 ↓

AUC: Area Under Curve (ROC 곡선 아래 면적)

AUC(A) > AUC(B) > AUC(C) > AUC(D=0.5) 순으로 성능 우수