MetaIQA : Deep Meta-learning for No-Reference Image Quality Assessment

degull·2024년 5월 9일

paper analysis 논문분석

비참조 이미지 품질평가를 위한 고품질 메타러닝

→ 레퍼런스가 없는 이미지 품질 평가(No-Reference Image Quality Assessment, NR-IQA)를 위한 딥러닝 메타 학습 방법을 제안

딥러닝 기반 NR-IQA방법 : 주로 큰 데이터 셋에 의존하는 사전 학습된 네트워크 사용

→ 이미지의 다양한 왜곡 유형에 대해 일반화하는 데 한계가 있음

품질 평가 : 이미지가 얼마나 좋은지를 평가하는 것인데, 이를 위해 이미지의 품질을 수치화하는 지표가 필요

보통은 이미지의 품질을 평가하기 위해 다른 이미지나 참조 데이터가 필요한데, 이 논문에서는 참조 이미지 없이 이미지 품질을 평가하는 방법을 다룸

<메타학습> 다양한 작업을 수행하는 모델을 학습하는 기술 : 다양한 이미지 품질 평가를 수행하는 모델을 학습

이미지 품질을 평가할 때, 인간이 공유하는 메타-지식 학습 & 이를 이미지 왜곡에 쉽게 적응할 수 있는 메타-러닝 기반 모델 개발
이미지 특성 분석 & 그에 따라 이미지의 품질을 예측할 수 있도록 학습
새로운 작업에 대해 빠르게 적응할 수 있음
→ 참조 이미지 없이도 이미지 품질을 평가할 수 있는 능력을 갖추게 됨

Abstract

깊은 합성곱 신경망(Deep Convolution Neural Networks, DCNNs)을 이용해 레퍼런스가 없는 이미지 품질 평가(NR-IQA)에 관한 연구의 증가에 주목

→ DCNNs를 훈련시키는 것 : 대량의 주석이 달린 데이터에 크게 의존한다는 것이 널리 인정되고 있음

기존 이미지 품질평가(IQA)
주석이 달린 데이터 부족(즉, 전형적인 소량 샘플의 문제)
기존 DCNN 기반 IQA 측정항목 : 사전 훈련된 네트워크를 기반으로 작동
→ 사전에 훈련된 네트워크는 IQA 작업을 명시적으로 고려하지 않았기 때문에 다양한 유형의 왜곡을 평가할 때 일반화 문제 발생

무참조 IQA 메타러닝(레퍼런스X)
: 다양한 왜곡이 있는 이미지를 평가할 때, 인간들이 공유하는 메타-지식 학습 & 메타 지식을 포착
→ 알려지지 않은 왜곡에 쉽게 적응할 수 있도록 함 (이미지의 왜곡에 쉽게 적용할 수 있도록 함)
1. 다양한 왜곡에 대한 무참조 이미지(NR-IQA) 작업 수집
2. 메타-학습을 사용해 다양한 왜곡 사이 공유되는 선행지식(사전지식) 학습/추출
3. 품질 사전모델 : 특정 대상 NR-IQA 작업에 대해 빠른 품질 평가 모델을 얻기 위해 미세 조정함

∴ 광범위한 실험을 통해 제안된 메트릭이 기존 최신 기술보다 월등한 성능을 보여줌을 입증

∴ 합성 왜곡에서 학습된 메타-모델도 실제 왜곡에 쉽게 일반화 할 수 있음을 보여줌

→ IQA 메트릭이 실제 세계 응용 분야에서 매우 중요함

1. Introduction

1. 서론 (디지털 이미지의 품질 평가에 대한 필요성과 관련 연구의 진행 상황)

소셜 네트워크의 폭발적인 성장 → 대량의 이미지 생산됨

디지털 이미지 : 획득, 압축, 저장, 전송 단계에서 왜곡될 수 있음 → 시각적 정보의 손실 발생
따라서, 디지털 이미지의 신뢰 가능한 품질 평가 메트릭 필요함 & 사용자를 위해 높은 품질의 이미지를 선택하는 것이 중요함

이미지의 주관적 평가

정확하고 신뢰가능
but, 실제 응용프로그램에서는 시간과 노력 많이 필요
→ 인간의 행동을 모방해 이미지 품질을 자동으로 평가하는 객관적 이미지 품질평가(IQA) 필요

객관적 이미지 품질평가(IQA)

이미지 복원, 이미지 검색, 이미지 품질 모니터링 시스템 (다양한 응용 분야에서 활용)

이미지 품질 평가(IQA)

참조 이미지 품질 평가(FR-IQA)
축소 참조 IQA(RR-IQA)
비참조 IQA(NR-IQA)
- 필요한 정보의 양에 따라 다름
- FR-IQA / RR-IQA : 유망한 성능 달성 가능 (but, 실제 상황에서는 참조이미지 종종 사용 불가)
- NR-IQA가 최근 많은 관심을 받음 & 왜곡된 이미지에 직접 작동

비참조 이미지 평가 (NR-IQA)

초기 NR-IQA : 특정 왜곡 유형에 중점을 둠
- 차단 아티팩트, 흐림/링토 효과 등..
- 이러한 접근 방식의 전제조건 → 이미지에 하나의 알려진 유형의 왜곡만 있음
- but, 실제 응용 프로그램 : 왜곡 유형이 보통 알려져 있지 않기 때문에 NR-IQA 방법에 더 많은 관심이 기울어짐
- 비참조 이미지 평가(NR-IQA) : 수동/학습 기능을 통해 이미지 왜곡의 일반적인 특징을 지으려고 시도

딥 컨볼루션 신경망(DCNNs)

많은 컴퓨터 비전 작업에서 큰 성공을 이룸
몇 가지 DCNNs 기반의 NR-IQA 접근 방식을 유도함
대량의 매개변수로 구성 → 이미지 데이터와 인간이 인식하는 품질 간 복잡한 관계를 학습하는 데 도움이 됨
DCNNs를 교육하는 것 : 주석이 달린 데이터의 많은 양이 필요함을 보편적으로 인식
BUT, 인간에 의해 이미지 품질을 주석으로 달기에 비용↑, 시간↑
DCNNs 기반의 IQA 모델을 교육하기 위해 거대한 이미지 품질 데이터를 수집하는 것 어렵
∴ 기존의 주석이 달란 IQA 데이터베이스의 규모는 제한됨 & 쉽게 과적합 될 수 있음
∴ 일반적으로 대규모 훈련 데이터가 있는 사전 훈련된 네트워크 모델에 의존함
(예, ImageNet 이미지 분류작업) 과적합 문제 어느정도 해결O, 알려지지 않은 왜곡 이미지를 다룰 때 일반화 성능 불만족
→ 사전 훈련된 모델이 IQA 작업을 위해 설계되지 않았기 때문에 새로운 유형의 왜곡에 쉽게 적응하지 못함

🔥실제 상황에서 인간은 다양한 왜곡을 가진 이미지에서 품질 사전 지식을 쉽게 얻을 수 있음

🔥 다양한 왜곡으로 이미지 품질을 평가할 때, 인간들이 공유하는 사전 지식을 학습하는 것이 NR-IQA 방법에 중요

📖 딥 메타러닝 기반의 새로운 NR-IQA 메트릭을 제안

관련된 새로운 작업에 대한 상대적으로 적은 양의 교육 샘플을 통해 빠르게 학습하는 능력을 갖도록 함
여러 왜곡 유형에 대한 왜곡별 NR-IQA 작업을 기반으로 한 이중 경사 하강 전략 활용
왜곡별 NR-IQA 작업 : 실제로 특정 왜곡 유형(예: JPEG 또는 흐림)에 대한 IQA 작업
- 기존의 방법과 달리, 학습된 메타 모델 : 다양한 왜곡을 가진 이미지를 평가할 때, 인간들이 공유하는 메타-지식을 평가해, 알려지지 않은 왜곡에 대한 NR-IQA 작업에 빠르게 적응 가능

인간이 이미지의 품질을 평가할 때 다양한 왜곡에서 학습한 품질 사전 지식을 사용하여

→ 알려지지 않은 왜곡에 빠르게 적응하는 방법을 도식화한 일러스트레이션.

"Brighten", "White noise", "Motion blur"와 같은 다양한 이미지 왜곡 유형이 표시

→ 이러한 왜곡들로부터 학습된 품질 사전 지식이 "Unknown distortions"라고 표시된 알려지지 않은 왜곡에 적용되는 모습.

실제 상황에서 새로운 유형의 왜곡을 빠르게 평가할 수 있는 능력을 시각적으로 보여줌

→ NR-IQA 모델 : 이러한 품질 사전 지식을 학습해 높은 일반화 성능을 달성할 수 있도록 하는것이 필요

🔖 정리

딥 메타 러닝을 기반으로 한 비참조 이미지 품질 메트릭 제안
1. 다양한 왜곡을 가진 이미지의 품질을 평가할 때 인간이 공유하는 메타 지식을 학습
  1. 이를 알려지지 않은 왜곡에 쉽게 적용할 수 있도록 함
2. 다양한 왜곡에 대한 NR-IQA 작업을 수집
3. 메타러닝을 사용하여 다양한 왜곡 간에 공유되는 사전 지식을 학습
4. 품질 사전 모델을 목표 NR-IQA 작업에 미세 조정하여 품질 모델을 신속하게 얻음
5. 기존의 IQA 메트릭과 달리, 제안된 NR-IQA 모델 : 다양한 왜곡에 대해 잘 일반화 될 수 있는 능력을 갖춤
인간이 이미지 품질을 평가할 때 서로 다른 유형의 왜곡 간 공유하는 메타-지식 학습
1. 여러 왜곡별 NR-IQA 작업을 기반으로 한 이중 경사 최적화를 통해 달성
2. 메타-지식은 알려지지 않은 왜곡에 빠르게 적응하기 위한 이상적인 사전 훈련 모델로 작동
합성 및 실제 왜곡을 포함하는 다섯개의 공개 IQA 데이터베이스에 대해 광범위한 실험 수행
1. 결과 : 제안된 모델이 일반화 능력과 평가 정확도 측면에서 최신 NR-IQA 방법을 크게 능가

디지털 이미지의 중요성 증가: 소셜 네트워크의 성장으로 인해 대량의 이미지가 생성되고 있으며, 이러한 이미지는 생성, 저장, 전송 과정에서 다양한 왜곡 발생 가능. 이로 인해 시각 정보의 손실이 발생하고, 이를 평가하기 위한 효과적인 이미지 품질 평가(IQA) 방법의 필요성이 증가함
객관적 이미지 품질 평가(IQA)의 필요성: 인간의 주관적 평가는 정확하고 신뢰할 수 있지만, 시간이 많이 소요되고 실제 응용에서 비효율적일 수 있음. 따라서 이미지 복원, 검색 및 품질 모니터링과 같은 다양한 응용 분야에서 자동으로 이미지 품질을 평가할 수 있는 객관적인 방법이 요구됨.
IQA 방법의 분류: IQA 방법은 참조 이미지의 필요성에 따라 전체 참조 IQA(FR-IQA), 축소 참조 IQA(RR-IQA), 무참조 IQA(NR-IQA)로 분류. NR-IQA는 참조 이미지 없이 왜곡된 이미지만을 사용하여 품질을 평가하는 방법으로, 참조 이미지가 없는 실제 상황에서 유용함.
기존 NR-IQA 접근법의 한계: 초기의 NR-IQA 방법들은 특정 왜곡 유형에 초점을 맞추었지만, 실제 응용에서 왜곡 유형이 미리 알려져 있지 않은 경우가 많기 때문에 일반적인 왜곡에 대해 평가할 수 있는 방법이 필요함. 이러한 배경에서, 더 일반적인 NR-IQA 방법들이 개발되어 왔으며, 이들은 이미지 왜곡의 일반적인 규칙을 학습하려고 시도.

2.1. 무참조 이미지 품질 평가 (No-reference image quality assessment, NR-IQA)

✒️ NR-IQA의 정의와 중요성

: 참조 이미지 없이 이미지의 품질을 평가하는 방법

→ 실제 응용에서 참조 이미지가 없는 상황에서 특히 유용

✒️ 왜곡 특정 방법 (Distortion-specific methods)

: 특정한 왜곡 유형의 특성을 기반으로 이미지의 품질을 평가

인간의 지각과 높은 일치성을 보여줌
BUT, 실제 응용에서 왜곡 유형을 미리 알고 있어야 하는 한계가 있음 (적용범위가 제한적임)

✒️ 일반 목적 NR-IQA 방법 (General-purpose methods)

자연 장면 통계(Natural Scene Statistics, NSS) 기반 메트릭

: 자연 이미지는 특정 통계적 특성을 가지며, 이 특성들은 다양한 왜곡 하에서 변화함
- Moorthy et al : 블라인드 이미지 품질 평가를 위해 이산 웨이블릿 변환(DWT) 도메인에서 NSS 특징을 추출하는 방법 제안
- Saad et al : 이산 코사인 변환(DCT)의 통계적 특성을 활용해 이미지 품질을 추정
- Mittal et al. : 공간 영역에서 NSS 특징을 추출해 일반 목적 NR-IQA 메트릭을 제안하고 유망한 성능을 달성함
학습 기반 접근법

: 주관적 이미지 품질 점수를 예측하기 위해 머신러닝 모델 사용
- 코드북 표현 방식 : 지원 벡터 회귀(SVR) 모델을 사용하여 주관적 이미지 품질 점수를 예측
- Zhang et al. : 인간 시각 시스템에 영향을 미치는 의미 수준의 특성을 지역적 특성과 결합하여 이미지 품질을 추정

✒️ 딥러닝 기반의 일반 목적 NR-IQA 방법

: 최근 딥러닝 모델이 일반적인 NR-IQA 문제에서 우수한 예측 성능을 보여줌

사전 훈련된 네트워크 모델을 사용해 NR-IQA 작업에 적용하는 접근법이 흔함
BUT, 일반화 성능에 문제가 있을 수 있음
딥러닝의 문제 : 풍부한 레이블이 지정된 데이터 필요. BUT, IQA는 전형적인 소량의 샘플
Bianco et al. : 이미지 분류 작업에 대한 대규모 데이터베이스에서 사전 훈련된 딥러닝 모델을 먼저 훈련시키고 NR-IQA 작업에 대해 이를 미세 조정
Talebi et al. : 주관적 품질 의견 점수의 지각 분포를 예측하여 DCNNs 기반 모델을 제안했으며, 모델 매개변수는 ImageNet 데이터베이스에서 사전 훈련됨
Zeng et al. : IQA 데이터베이스에서 여러 인기 있는 사전 훈련된 딥러닝 CNN 모델을 미세 조정하여 확률적 품질 표현(PQR)을 학습.
- 이러한 방법은 이미지 분류 작업에서 학습된 깊은 의미적 특징을 사전 지식으로 사용하여 NR-IQA 작업의 학습을 지원. BUT 이미지 분류와 품질 평가는 성격이 매우 다르기 때문에 깊은 NR-IQA 모델의 일반화 문제를 야기함.
이러한 접근 방식과 대조적으로, 본 논문에서는 NR-IQA 작업을 위한 보다 효과적인 사전 지식을 탐색하기 위해 메타 학습 활용.

✒️ 메타 학습을 활용한 접근법

: 메타학습을 활용해 NR-IQA 작업을 위한 더 효과적인 사전 지식을 탐색함

메타학습을 통해 모델이 다양한 왜곡 유형에 대한 품질 평가를 빠르게 적응할 수 있도록 함

2.2. 딥 메타러닝 (Deep meta-learning)

메타러닝의 개념

: 사람이 새로운 작업을 배울 때 관련 작업에서 얻은 사전 지식을 활용하는 능력을 모방하여, 이를 통해 머신러닝 모델이 빠르고 효과적으로 새로운 작업을 배울 수 있도록 하는 지식 기반 학습 프레임워크
- 학습하는 방법에 대한 문제를 해결하려는 지식 기반 기계 학습(머신러닝) 프레임워크 → 어떻게 학습할 것인가
메타러닝의 세 가지 접근법:
- RNN 기반 메모리 방법 : 이전 작업에서의 경험을 메모리에 저장하여 새로운 작업을 학습하는 RNN 모델을 사용
- 메트릭 기반 방법 : 입력 데이터를 새로운 임베딩 공간으로 매핑하는 함수를 학습하고, 이 공간에서의 유사도 측정(가장 가까운 이웃 또는 선형 분류기)을 통해 분류 작업 수행.
- 최적화 기반 방법 : 새로운 작업에 빠르게 적응할 수 있도록 모델의 초기 매개 변수를 학습하고, 소수의 훈련 샘플로 빠르게 미세 조정.
최적화 기반 메타러닝의 적용

: 네트워크 구조에 제한이 없어 확장성이 높은 장점.
- NR-IQA 작업에서는 다양한 왜곡에 대한 공통된 사전 지식을 학습하여, 알려지지 않은 왜곡에 대한 평가에 빠르게 적응할 수 있도록 함.
딥 메타러닝의 구현

: 특히 NR-IQA와 같이 복잡한 작업에서는 이미지의 다양한 왜곡을 구체적으로 다룰 수 있도록 최적화된 그라디언트 기반 접근법을 사용하여, 효율적인 학습 및 빠른 적응이 가능하도록 딥 메타러닝 모델을 설계함.
- 특히 데이터가 제한적인 상황에서 빠르게 새로운 작업을 학습할 수 있는 능력 강조
- NR-IQA를 포함한 다양한 작업에 대한 적용 가능성을 탐색

3. Our Approach

무참조 이미지 품질 평가(NR-IQA)를 위한 딥 메타러닝 기반의 새로운 접근법 제시

→ 이를 통해, 이미지 왜곡의 일반화 문제를 해결하고자 함.

메타 학습을 사용해 여러 왜곡 별 NR-IQA 작업을 통해 이미지 왜곡의 일반적인 규칙을 탐색함
- 즉, 알려진 왜곡 유형을 가진 여러 NR-IQA 작업을 통해 공유 품질 사전 모델 학습
- → 알려지지 않은 왜곡에 대한 여러 NR-IQA 작업에 대해 미세조정

메타-트레이닝 (Meta-training):
- 목적: 이미지의 다양한 왜곡 유형에 대해 일반화된 품질 사전 모델을 학습.
- 방법
  
  : 여러 왜곡에 대한 특정 NR-IQA 작업을 수행하여 각각의 왜곡에 대한 공유 메타 지식을 학습.
  
  → 품질 사전 모델을 통해 다양한 이미지 왜곡에 대한 일반적인 규칙을 배우고, 이를 모델에 통합하는 과정을 포함.
- 프로세스: 각 작업에 대한 지원 세트와 쿼리 세트를 구성하고, 이중 수준의 그라디언트 하강 방법을 사용하여 지원 세트에서부터 쿼리 세트로 품질 모델을 반복적으로 최적화.
미세 조정 (Fine-tuning):
- 목적: 알려지지 않은 왜곡에 대한 NR-IQA 작업에 메타-트레이닝에서 학습된 품질 사전 모델을 적용하고 최적화.
- 방법
  
  : 메타-트레이닝을 통해 얻은 사전 모델을 기반으로, 새로운 NR-IQA 작업(알려지지 않은 왜곡을 포함하는)에 모델을 미세 조정.
  
  → 빠른 적응력과 높은 성능을 달성하기 위해 목표 NR-IQA 작업의 특성에 맞게 품질 모델을 조정하는 과정을 포함.
- 프로세스: 목표 작업의 훈련 이미지를 사용하여 품질 점수를 예측하고, 손실 함수를 최소화하기 위해 모델 매개 변수를 미세 조정.
품질 사전 모델을 대상 NR-IQA 작업에 대해 미세 조정하여 품질 모델을 얻음
- 메타 학습을 기반으로 한 이미지 품질 평가(MetaIQA)로 명명됨.
- 이미지 품질 평가(Meta-learning based Image Quality Assessment)에 기반한 메타러닝

이미지의 왜곡에 관한 일반적인 규칙 탐색
: 다양한 NR-IQA 작업에 대한 공유 품질 사전 지식을 학습하는 것을 목표로 함
→ NR-IQA 모델이 알려지지 않은 왜곡에 대해서도 빠르게 적용하고 효과적으로 평가할 수 있음

3.1. 품질 사전 모델을 위한 메타-트레이닝 (Meta-training for quality prior model)

왜곡된 이미지의 품질 평가를 위한 사전 지식 모델을 구축하기 위한 메타-트레이닝 수행하는 방법 설명

메타-트레이닝 : 다양한 왜곡 유형에 대한 품질 평가에 사용될 수 있는 공통된 품질 사전 지식을 학습하는 과정

사전지식 : 이미지 왜곡에 대한 일반적인 규칙을 배우고, 알려지지 않은 왜곡에 대해 빠르게 적응할 수 있는 모델을 개발

왜곡 간 공유된 품질 사전 지식 (Shared quality prior knowledge among distortions):
- 기존의 NR-IQA 방법 : 대부분 왜곡 인식이 가능하며 특정 이미지 왜곡 유형에 민감.
- 그러나 현재의 IQA 데이터베이스에 있는 훈련 데이터만으로는 효과적인 딥 NR-IQA 모델을 직접 훈련하는 데 한계가 있음.
- 우리는 이미지의 다양한 왜곡에서 얻은 품질 사전 지식 모델을 배우고, 이를 알려지지 않은 왜곡에 빠르게 일반화할 필요.
- → 이를 위해 메타러닝에서의 '학습을 배우기' 개념을 적용하여 최적화 기반 접근법을 도입.
이중 수준 그라디언트 최적화를 사용한 메타러닝 (Meta-learning with bi-level gradient optimization):
- 최적화 기반 메타러닝 방법 : 딥 네트워크를 사용하여 스토캐스틱 그라디언트 하강법을 적용→ 왜곡 특정 NR-IQA 작업을 수행하여 다양한 왜곡에서 공통된 모델을 학습.
- 각 NR-IQA 작업에 대한 훈련 데이터는 지원 세트와 쿼리 세트로 나뉨
- 지원 세트를 사용하여 모델 매개변수의 그라디언트를 계산하고 잠정적으로 업데이트.
- 그 후, 쿼리 세트를 사용하여 업데이트된 모델이 효과적으로 수행되는지 검증.
- 수준 그라디언트 최적화 방법은 지원 세트와 쿼리 세트에서 수행되는 그라디언트 업데이트 과정을 의미.
- 이를 통해 모델은 다양한 NR-IQA 작업 간에 빠른 일반화 능력을 학습.

목표 : NR-IQA 작업에서 다양한 왜곡 유형에 대해 공통된 품질 평가 모델을 학습하고, 이를 알려지지 않은 왜곡에 적용해 빠르게 적응할 수 있는 능력 개발

Figure 2. 무참조 이미지 품질평가(NR-IQA)를 위한 딥 메타러닝 접근 방법의 전반적인 프레임워크

Distortion-specific images(특정 왜곡 이미지) : 다양한 왜곡이 적용된 이미지들
- 이 이미지들은 메타-트레이닝 과정에서 사용되며, 각각의 이미지는 특정 왜곡 유형을 대표함
Meta-learning for Quaility Proir Model(품질 사전 모델을 위한 메타-트레이닝) : 여러 특정 왜곡 유형을 NR-IQA 작업을 통해 품질사전 지식 모델을 학습함.
- 메타-트레이닝 과정은 지원세트와 쿼리세트를 이용해 이중 수준 그라디언트 최적화 방식을 사용함.

Support set and Query set(지원 세트와 쿼리 세트) : 각 특정 왜곡 작업에 대한 데이터는 지원 세트와 쿼리 세트로 나뉨
- 지원세트 : 모델 매개변수를 최초로 업데이트하는 데 사용
- 쿼리세트 : 업데이트된 모델의 성능 검증
Bi-level Gradient Optimization(이중 수준 그라디언트 최적화)
- 지원세트에서 계산된 그라디언트를 바탕으로 초기 매개변수 업데이트
- 쿼리세트를 사용해 이 매개변수들을 다시 최적화
  -> 모델이 다양한 왜곡에 대해 빠르게 적응하는 능력을 개발하는 데 도움
Fine-tuning for unknown distortions(알려지지 않은 왜곡에 대한 미세 조정) : 메타-트레이닝을 통해 학습된 품질 사전 모델을 알려지지 않은 왜곡이 적용된 새로운 NR-IQA 작업에 미세 조정
- 품질 모델(Quality Model)을 최종적으로 얻는 과정
Quality Model(품질 모델)
- 최종적으로, 미세 조정을 통해 얻은 품질 모델 : 알려지지 않은 왜곡에 대한 이미지의 품질을 평가하는 데 사용
  -> 이미지에서 인식된 품질 점수를 예측함