Photo-realistic continuous digital zooming for an asymmetrical dual camera system

Inpainting

인페인팅 은 작품의 손상, 열화 또는 누락된 부분을 채워 완전한 이미지를 표현하는 보존 과정. 일반적으로 이미지 복원에 사용.

개요

듀얼 카메라를 사용한 디지털 줌 시스템은 이미지 품질 또는 샘플링 속도 등의 문제가 존재 -> Wide 이미지 위에 Tele 이미지를 Inpainting 하는 알고리즘 제작

내용

1. 전체 플로우 차트

1) 초고해상도 알고리즘 먼저 적용 -> 고해상도 이미지 예측
2) 재구성 되지 않은 잠재적 텍스처 영역 선택하고, band-inpainting 알고리즘 적용하여 복구

2. 밴드 인페인팅 알고리즘 파이프 라인

1) 와이드 뷰에서 찍은 화면을 세그멘테이션
2) 텔레뷰 이미지를 따로 획득
3) 두 이미지를 합성하여 인페인트 할 부분들(재구성이 필요한 부분)을 추출
4) 부분들 중 한 영역을 선택하여 밴드 인페인팅 진행
5) 다음 영역을 선택하여 밴드 인페인팅 진행

• image registration :
  1) 좌표등록 - 처음 촬영된 영상의 각 화소에 지상 좌표계의 좌표값을 부여
  2) 영상 정합 - 하나의 좌표계로 다른 세트의 데이터들을 바꾸는 과정
• band-inpainting : 밴드 매칭 인페인팅
  영상 인페인팅은 밴드매칭과 경계제거로 분류.
  밴드 매칭은 인페인팅할 영역을 둘러싸는 밴드와 그 외의 나머지 부분을 비교하여 차이가 가장 작은 영역을 채워 넣음
  +영역 분할 : 인페인팅 영역을 더 작게 나눠 각각을 밴드매칭 수행하여 가장 좋은 결과를 선택

결과

1. 기존 알고리즘 비해 고해상도의 줌이미지를 얻을 수 있음
2. 0.1초 미만의 이미지 처리 시간을 가짐
3. 줌 이미지 보간 방법 분야에서 참고 가능

• 초점 거리가 긴 카메라는 세부 정보가 풍부한 작은 시야(풍부한 직물 질감)를 제공하는 반면, 초점 거리가 짧은 카메라는 세부 정보가 부족한 넓은 시야(직물 질감 누락)를 제공

질문

1. 와이드 이미지랑 텔레 이미지를 동시에 따서 합성하는 개념?
2. 실시간 카메라가 아닌 이미지를 이용할 경우에도 가능?(줌을 하는 부분이 가장자리가 되는 경우 등)