Computational Image

Deep learning based computational imaging

1. In-camera pipeline

• 사진의 원리: 실제 장면에서 빛(Real world scene radiance)을 받아 렌즈(Optics)를 통해 카메라의 센서로 전달된다.
• 카메라의 센서는 색 필터 배열을 사용해 이미지 데이터를 수집하며, 이 데이터는 카메라의 이미지 신호 처리(Image Signal Processing, ISP)를 통해 여러 과정을 거쳐 최종 이미지로 변환된다.
• 이 과정에는 ISO 조정, 노이즈 제거, 색 공간 변환, sRGB 매핑, JPEG 압축 등이 포함된다.

2. Computational photography의 추가적인 요소

• Computational photography는 기존 카메라의 광학적 이미징 과정에 계산 과정을 추가하여 이미지 품질을 향상시키는 기술이다.
• Fourier plane(위상 마스크)와 같은 추가적인 렌즈 및 컴퓨터 알고리즘을 활용해 더 정교한 이미지를 얻는 것이 특징이다.

3. Computational photography의 응용 분야

• 이미지 복원과 향상 기술을 통해 저조도 이미지 개선, 슈퍼 해상도, 이미지 디블러링(흐린 이미지 선명화), 색상화 등의 다양한 응용이 가능하다.
• 이러한 응용 기술들은 저조도 환경에서의 노이즈 제거, 디테일 복원, 색상 보정 등의 상황에서 매우 유용하다.

4. 네 번째 이미지: 딥러닝 기반의 이미지 복원

• 딥러닝(DNN)을 활용한 이미지 복원 과정이 설명된다.
• 손상된(degraded) 이미지가 모델을 통해 복원되며, 이를 학습하기 위해 원본 이미지와의 차이(Loss)를 기준으로 모델을 최적화한다.
• 이 과정에는 모델의 아키텍처 설계와 감독 학습 데이터가 중요하게 사용된다.