이미지/비디오 품질 평가 지표 (PSNR, SSIM, MOS, LPIPS)

KIMHYUNSU·2024년 12월 23일

LPIPS PSNR SSIM gan super resolution

이미지 합성 분야(GAN, Superesolution 등)에서 많이 쓰이는 지표

PSNR (Peak Signal-to-Noise Ratio)

PSNR은 원본 이미지와 복원된 이미지 간 픽셀 차이를 기반으로 품질 측정하는 지표임.
계산 공식:
- MAX: 픽셀 값의 최대값 (8비트 이미지라면 255임).
- MSE (Mean Squared Error): 평균 제곱 오차

𝐼는 원본 이미지, 𝐾는 복원된 이미지.

PSNR이 클수록 복원 품질이 좋음.

보통 30dB 이상이면 사람이 품질 차이를 느끼기 어렵다고 봄.

단점: 인간 시각적 특성을 반영하지 못함. PSNR이 높아도 실제 품질이 별로일 수 있음.

SSIM (Structural Similarity Index Measure)

SSIM은 구조적 유사성을 기반으로 품질 평가하는 지표임.
계산 공식:

SSIM은 0에서 1 사이의 값을 가지며, 1에 가까울수록 두 이미지가 더 비슷함.

구조, 밝기, 명암 대비를 평가해서 인간 시각적 민감도를 반영함.

PSNR에 비해 더 직관적으로 품질 평가 가능.

PSNR vs SSIM 비교

특징	PSNR	SSIM
평가 기준	픽셀 간 절대 차이	구조적 유사성, 밝기, 명암 대비
값의 범위	0 이상 (보통 20~40dB)	0~1 (1에 가까울수록 유사)
인간 시각 반영	반영 안 함	반영함
적합한 사례	기본 화질 평가	구조적 유사성이 중요한 경우

사용 사례

PSNR: 모델 학습 중 품질 비교에 적합함.

SSIM: 사용자 경험을 더 잘 반영하는 품질 평가에 적합함.

두 지표는 상호 보완적으로 사용하면 좋음.

표시된 PSNR / SSIM 값

Bicubic (양방향 보간법)
- PSNR: 21.59dB
- SSIM: 0.6423
SRResNet
- PSNR: 23.53dB
- SSIM: 0.7832
SRGAN
- PSNR: 21.15dB
- SSIM: 0.6868
Original (참조 이미지)
- PSNR / SSIM 없음 (원본이므로 비교 기준).

해석

PSNR
- SRResNet이 가장 높은 PSNR(23.53dB)을 기록함.
  이는 픽셀 간 차이를 줄이는 데 SRResNet이 더 잘 작동했음을 의미함.
- SRGAN은 PSNR(21.15dB)이 Bicubic(21.59dB)보다 낮음.
  이는 SRGAN이 PSNR 최적화 대신 시각적 품질(디테일 복원)에 집중했기 때문임.
SSIM
- SRResNet의 SSIM(0.7832)이 가장 높음.
  이는 구조적 유사성을 잘 유지했음을 보여줌.
- SRGAN은 SSIM(0.6868)이 Bicubic(0.6423)보다 약간 나은 수준.
시각적 품질
- SRGAN은 PSNR과 SSIM에서 낮은 점수를 보이지만, 시각적으로 디테일이 더 풍부하고 자연스러운 결과를 제공
  이는 SRGAN이 사람이 느끼는 품질에 더 초점을 맞춘 모델임을 나타냄.

결론

PSNR/SSIM 지표만 보면 SRResNet이 더 나은 성능을 보임.

하지만 시각적 품질 측면에서는 SRGAN이 더 좋은 디테일 복원을 보여줌.

PSNR과 SSIM은 정량적 평가 지표이며, SRGAN처럼 시각적 품질이 중요한 경우 MOS나 LPIPS 같은 평가가 더 적합할 수 있음.

MOS (Mean Opinion Score)

MOS는 주관적인 품질 평가 지표로, 사람이 직접 이미지를 보고 평가한 결과를 평균낸 값임. 주로 이미지나 비디오 품질의 시각적 품질을 평가할 때 사용됨.

MOS의 특징

평가 방식
- 사람들에게 테스트 이미지(또는 비디오)를 보여주고, 품질에 대해 점수를 매기도록 요청함.
- 평가 점수는 보통 1~5 사이의 범위를 가짐:
  - 1: 매우 나쁨
  - 2: 나쁨
  - 3: 보통
  - 4: 좋음
  - 5: 매우 좋음
평가 과정
- 여러 명의 평가자가 같은 이미지를 보고 점수를 매김.
- 모든 평가자의 점수를 평균내어 MOS를 계산함.
주관성
- 평가자가 느끼는 품질은 주관적이므로, 결과는 데이터셋, 평가 환경, 평가자 그룹에 따라 달라질 수 있음.
- 디테일 복원, 자연스러움, 색감 등 시각적 품질에 더 민감한 평가.

MOS의 활용

GAN 기반 모델 평가
MOS는 PSNR이나 SSIM 같은 정량적 지표로는 평가하기 어려운 시각적 디테일과 자연스러움을 측정하는 데 유용함.

시각 품질 향상이 중요한 경우
GAN 기반 모델(SRGAN, ESRGAN 등)은 MOS 점수를 높이는 데 초점이 맞춰짐. 이는 사람이 실제로 느끼는 품질을 개선하기 위함.

MOS vs PSNR/SSIM

특징	MOS	PSNR/SSIM
평가 방식	사람이 직접 평가	수학적 계산 기반
결과 범위	1~5 (또는 특정 범위 내 정규화)	PSNR(dB), SSIM(0~1)
평가 기준	주관적 (자연스러움, 디테일 복원 등)	객관적 (픽셀 차이, 구조적 유사성)
적합한 상황	시각적 품질이 중요한 경우 (GAN 모델 등)	정량적 품질 비교가 중요한 경우

LPIPS (Learned Perceptual Image Patch Similarity)

LPIPS는 딥러닝 기반으로 시각적 품질을 평가하는 지표로, 두 이미지 간의 유사성을 측정. 인간이 느끼는 시각적 품질과 유사한 기준으로 설계되었으며, 특히 GAN 기반 모델 평가에서 널리 사용.

LPIPS의 특징

동작 원리
- LPIPS는 두 이미지의 특징(feature)을 딥러닝 모델(예: VGG, AlexNet 등)로 추출한 뒤, 이 특징 간의 유사성을 비교함.
- 단순히 픽셀 차이를 보는 PSNR과 달리, 이미지의 고차원적 시각적 특징을 평가함.
공식

값의 범위
- LPIPS 값은 0~1 사이이며, 0에 가까울수록 두 이미지가 더 유사함.
특징
- PSNR/SSIM처럼 수학적으로 계산되지만, 시각적 품질과 더 밀접하게 관련됨.
- 특히 GAN 기반 모델이 복원한 이미지의 품질을 평가하는 데 적합함.

LPIPS vs PSNR/SSIM

특징	LPIPS	PSNR/SSIM
평가 방식	딥러닝 기반 특징 유사성	픽셀 차이(PNSR), 구조적 유사성(SSIM)
값의 범위	0~1 (작을수록 유사)	PSNR(dB), SSIM(0~1, 클수록 유사)
시각적 품질 반영	인간 시각 품질과 밀접	부분적으로만 반영
적합한 상황	GAN 및 시각 품질이 중요한 경우	정량적 품질 평가

LPIPS의 활용

GAN 기반 모델 평가
SRGAN, ESRGAN 같은 GAN 모델의 성능 평가에서 자주 사용됨.
시각적 품질 중심 평가
픽셀 차이나 구조적 유사성보다 자연스러움과 디테일 복원이 중요한 경우 적합함.
이미지 복원, 초해상도, 스타일 변환
다양한 비지도 학습 기반 이미지 변환 모델의 성능을 측정하는 데 활용됨.

LPIPS와 MOS 비교

특징	LPIPS	MOS
평가 방식	딥러닝 모델 기반 자동 평가	사람이 직접 평가
결과 범위	0~1 (작을수록 더 유사)	1~5 (주관적 점수)
평가 기준	시각적 특징 유사성	시각적 품질 (주관적 판단)
사용 편의성	자동화 가능 (반복적인 실험에 적합)	사람의 직접 평가 필요 (비효율적일 수 있음)

비교 요약

지표	평가 방식	초점	장점	단점
PSNR	픽셀 차이	정량적 차이	계산 간단	인간 시각 반영 X
SSIM	구조적 유사성	구조적 유사성, 밝기, 명암 대비	시각적 품질 반영	디테일한 품질 측정 X
MOS	사람의 주관적 평가	인간이 느끼는 품질	사용자 경험 직접 반영	시간, 비용 소모, 주관성 존재
LPIPS	딥러닝 특징 맵 비교	인간 시각에 가까운 품질 평가	디테일 복원과 시각적 자연스러움 평가	계산 복잡, 모델 의존성

결론

이 네 가지는 모두 이미지 및 비디오 품질 평가 지표로 사용 가능함.

정량적 비교가 필요하면 PSNR, SSIM 사용.

주관적 품질이 중요하면 MOS나 LPIPS가 적합.
특정 상황에 따라 PSNR + SSIM + MOS/LPIPS를 조합하여 활용하는 것이 최적의 방법임.

출처: https://arxiv.org/pdf/1609.04802