SIPSA-Net: Shift-Invariant Pan Sharpening with Moving Object Alignment for Satellite Imagery
Author: Jaehyup Lee, Soomin Seo, Munchurl Kim*
Pan-sharpening은 고해상도(HR) PAN 이미지와 그에 대응하는 저해상도(LR) MS 이미지를 결합하여 HR-MS 이미지를 생성하는 과정입니다.
하지만 PAN이미지와 MS 이미지의 센서 위치, 특성, 촬영 시간의 차이로 인해 두 이미지 쌍은 종종 다양한 정도의 정렬 불일치(misalignment)를 가지게 됩니다.
기존의 딥러닝 기반 방법들은 이러한 정렬이 맞지 않은 PAN-MS 이미지 쌍으로 훈련되었기 때문에, 결과로 생성된 PAN-sharpened 이미지에서 이중경계, 흐름 아티팩트와 같은 다양한 왜곡이 발생하는 문제가 있습니다.
SIPSA-Net이라는 새로운 프레임워크를 제안합니다.
이 프레임워크는 이동 객체 영역의 큰 정렬 불일치를 고려한 첫 번째 PAN-Sharpening 방법입니다.
- SIPSA-Net의 기능정렬모듈(FAM)은 두 다른 도메인(PAN, MS)사이에서도 하나의 특징을 다른 특징에 맞추어 정렬할 수 있습니다.
- 더 나은 정렬을 위해, Shift-Invariant Spectral Loss가 새롭게 설계 되었습니다. 이 손실함수는 원래 MS 입력에 존재하는 고유한 정렬 불일치를 무시하며, 마치 잘 정렬된 MS 이미지에 대해 최적화된 것과 같은 효과를 냅니다.
광범위한 실험 결과, SIPSA-Net은 기존 SOTA와 비교하여 시각적 품질과 정렬 측면에서 놀라운 향상을 보여준다는 것이 입증되었습니다.
Introduction
위성 이미지는 환경 모니터링, 감시 시스템, 지도 서비스 등 다양한 분야에서 사용되고 있습니다. Google Earth™는 가장 널리 사용되는 가상 지구 애플리케이션 중 하나입니다.
이러한 고해상도 멀티스텍트럴(HR-MS)이미지는 저해상도 멀티스펙트럴(LR-MS)이미지와 고해상도 단일채널 파노크로매틱(PAN)이미지를 결합하는 상업용 PAN-Sharpening 소프트웨어를 통해 얻어집니다.
생성된 PAN-Sharpened(PS)이미지는 PAN이미지의 고주파 세부 정보와 MS 이미지의 유사한 색상을 가져야 합니다. 하지만 가상 지구의 PS이미지들을 원본 PAN및 MS 이미지와 비교하면, PS이미지의 세부 사항이 PAN 이미지처럼 선명하지 않거나, MS 이미지로부터 색상이 왜곡되는 현상이 관찰됩니다.
최근에는 많은 딥러닝 기반 PAN-Sharpening(PS)방법들이 제안되었으며, 이전 최첨단 PS 방법들보다 더 나은 성능을 보여줍니다. 그러나 이러한 방법들 대부분은 실제 ground-truth PS 이미지가 존재하지 않는 상태에서, 유사 ground-truth MS 이미지와 네트워크 출력 PS 이미지 간의 차이를 최소화하는 방식으로 훈련됩니다.
PS의 주요 문제 중 하나는 PAN과 MS 이미지 간에 존재하는 내재적 정렬 불일치입니다.
센서의 특성, 물리적 위치 및 촬영 시간의 차이로 인해 PAN과 MS 이미는 불가피하게 큰 Pixel 정렬 불일치를 가지며, 특히 고속도로 위 자동차와 같은 이동 객체의 경우 불일치는 더욱 심각해집니다.
이는 ps 이미지에서 이중경계(double-edge) 및 흐름(blurring)아티팩트를 일으킵니다.
이 논문에서는 SIPSA-Net이라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 PAN 이미지와 MS 이미지 간의 전역적인 정렬 불일치뿐만 아니라 이동 객체의 국소적 정렬 불일치 문제를 해결합니다. SIPSA-Net은 MS 이미지의 색상을 PAN 이미지의 구조에 맞게 정렬하는 Feature Alignment Module (FAM)을 포함하고 있습니다. 또한, Shift-Invariant Spectral Loss (SiS)를 활용해 원래 MS 입력의 정렬 불일치를 무시하면서도 최적의 색상 정보를 PAN 이미지의 구조에 맞게 전달합니다.
결과적으로 SIPSA-Net은 시각적 품질과 정렬 측면에서 매우 우수한 pan-sharpened 이미지를 생성하며, 이는 기존 최첨단 방법들과 비교했을 때 뛰어난 개선을 보여줍니다.
Method
Figure 2는 SIPSA-Net의 구조입니다.
SIPSA-Net은 두 단계의 PAN-Sharing(PS)구조로 구성되었으며, FAM 과 PSM으로 나눠집니다.
FAM: MS 이미지를 정렬하여 PAN 이미지의 구조와 일치하도록 만듭니다.
PSM: 정렬된 MS 이미지와 PAN 이미지를 결합하여 최종 PAN-Sharped 이미지를 생성합니다.
이 두 모듈은 Shift-Invariant Loss(SiS)와 Edge Detail Loss를 사용해 end-to-end training으로 최적화 됩니다.
Feature Alignment Module(FAM)
기존의 CNN 기반 PAN-Sharening 방법들은 정렬되지 않은 MS-PAN 이미지 쌍으로 훈련되기 때문에 색상번짐(color bleed)와 이중경계(double edges)같은 아티팩트를 생성합니다.
- PAN과 MS 이미지의 도메인 차이(신호 특성과 해상도가 다름) 때문에 직접적인 정렬이 어렵습니다.
- 따라서 FAM은 특징 도메인에서 정렬을 수행합니다.
FAM의 주요 단계:
- 정렬 특징 맵(Aligned Feature Map)생성:
- MS 입력 이미지를 PAN 이미지의 특징 구조에 맞게 정렬합니다.
- 이를 위해 PWPAC를 사용합니다.
- Feature Alignment과정:
- 입력 MS 이미지의 특징 맵과 PAN 이미지의 특징을 비교해 픽셀 오프셋확률맵(PWOPM)을 학습합니다.
- PWOPM은 각 픽셀 위치에 대한 정렬 오프셋 확률을 나타내며, 이 값을 기반으로 MS 이미지의 특징이 정렬됩니다.
- 최종적으로 정렬된 MS 이미지가 생성되어 PSM에 입력됩니다.
- 수식:
여기서 은 픽셀 오프셋 확률 맵이며, 이 수식은 MS 이미지의 특징을 확률적으로 정렬하는 과정을 설명합니다.
PAN-Sharpening Moudle(PSM)
PSM은 정렬된 MS이미지와 PAN이미지를 결합해 최종 PAN-Sharpened 이미지를 생성합니다.
- 첫 5개의 Residual Block을 통해 특징을 추출한 후, Pixel-Shuffle을 사용해 해상도를 4배로 업스케일링합니다.
- 이후 PAN이미지의 2D기울기를 추가로 결합해 고주파 세부 정보를 유지합니다.
결과: PSM은 PAN이미지의 구조적 세부 정보를 유지하면서 MS 이미지의 색상 정보를 전달하여 고품질의 PAN-Sharpened 이미지를 생성합니다.
Loss Function
-
Edge Detail Loss(경계 세부 손실):
- PAN 이미지의 경계 세부 정보를 유지하도록 설계되었습니다.
-
Shift-Invariant Spectral Loss(SiS Loss):
- PAN과 MS 이미지의 불일치 정렬 문제를 해결하기 위해 설계되었습니다.
Conclusions
SIPSA-Net은 멀티스펙트럴(MS)이미지와 PAN이미지 간의 Global, local 정렬 불일치를 효과적으로 처리할 수 있는 첫번째 방법으로 FAM이라는 모듈을 제안합니다.
- FAM은 PWPAC를 통해 추출된 MS 특징들을 PAN이미지의 구조에 맞게 정렬합니다.
- 이후 PSM은 정렬된 MS 이미지와 PAN이미지를 결합해 고품질의 PAN-Sharpened 이미지를 생성합니다.
SIPSA-Net을 더욱 효과적으로 훈련을 위해 두 가지 손실함수를 도입합니다.
- Edge Detail Loss: PAN 이미지의 세부 정보를 유지하면서 PS출력의 경계 세부 사항을 강화합니다.
- Shift-Invariant Spectral(SiS)Loss: MS 이미지와 PAN 이미지간의 정렬 불일치를 고려하면서도 안정적으로 색상 정보를 전달합니다.
느낌점
- 정렬 문제 해결: 기존의 방법들이 고려하지 않았던 PAN-MS 간의 불일치, 이동 객체의 문제를 해결한 최초의 시도
- 혁신적 구조: FAN과 SiS를 통해 불일치 문제를 정교하게 다룸
- 정량적/정성적 성능 개선: 실험을 통해 기존 SOTA 방법들을 능가하는 성능을 입증함
