Learned(Nueral) Image Compression, 학습 기반의 이미지 압축 연구분야에선 세 개의 평가척도를 통해 모델의 성능이 평가된다.

평가지표에는 PSNR(Peak Signal-to-noise ratio), MS-SSIM(Multi-Scale Structural Similarity Index Measure), BPP(Bits Per Pixel)가 있다.

GAN, Diffusion 기반의 압축 모델은 추가적으로 FID(Freceht Inception Distance), LPIPS(Learned Perceptual Image Patch Similarity) 등의 평가지표 있지만, 보통 오토인코더 기반의 모델이 논문의 80%이상 차지하기 때문에 이는 논외로 하였다.

1. PSNR

PSNR은 원본의 이미지와 재구성(Reconstruction)된 이미지 간의 차이를 측정하는 지표이다. 주로 모델을 통해 생성, 압축, 잡음 제거된 이미지의 품질 평가에 사용된다.
PSNR은 픽셀 값의 차이를 통해 노이즈 수준을 측정하며, 높은 값일수록 품질이 좋은 이미지이다.
(수치가 높아도 정성적으로 평가했을 때 품질이 좋지 않은 케이스가 존재하기 때문에 다른 평가 척도 또한 참고해야 한다.)
단위는 dB를 사용한다.

수식

$PSNR = 10 \cdot \log_{10} \left( \frac{MAX^2}{MSE} \right)$

여기서 MSE는 Mean Square Error를 의미하며, MAX는 이미지 픽셀값의 최대치를 의미한다.
보통 8bit 이미지에서는 255, Normalize된 이미지에서는 1을 사용된다.

2. MS-SSIM

SSIM은 두 이미지 간의 구조적 유사성을 평가하는 방법으로, 인각의 시각 인식 시스템과 유사한 방식으로 품질을 평가한다. MS-SSIM은 이를 다양한 스케일(해상도)로 확장한 버전이다.
MS-SSIM은 단순한 픽셀 차이가 아닌, Luminance, Contrast, Structure 세 가지 특성을 비교하여 품질을 평가한다.

0~1 사이의 값을 가지며, 1에 가까울수록 두 이미지간의 구조적 유사성이 크다는 것을 의미한다.

수식

$MS\text{-}SSIM(I_1, I_2) = \prod_{j=1}^{M} \left( l_j(I_1, I_2)^{\alpha_j} \cdot c_j(I_1, I_2)^{\beta_j} \cdot s_j(I_1, I_2)^{\gamma_j} \right)$

여기서 M은 스케일의 수를 의미하며, $l_j$,$c_j$,$s_j$는 Luminance, Contrast, Structure 각각의 유사성 계산 수식이다.
$\alpha_j$,$\beta_j$,$\gamma_j$는 각 스케일에서 가중치이다.

3. BPP

BPP는 압축된 이미지나 비디오 데이터에서 한 픽셀당 사용된 비트 수를 나타내는 지표이다. 이미지,비디오의 압축 정도를 평가할 때 사용되며, 값이 낮을수록 압축이 많이 이루어진 것을 의미한다.

수식

$BPP = \frac{\text{Total\ Bits}}{\text{Number\ of\ Pixels}}$

• Total Bits : 전체 이미지의 크기 (파일 크기)
• Number of Pixels : 이미지의 총 픽셀 수 = 가로 픽셀 수 x 세로 픽셀 수

이미지 압축 연구에서 양자화 & 엔트로피 코딩을 통해 생성된 비트스트림의 크기를 통해 BPP를 계산한다.