Image Inpainting

개념

사진은 Omar Elharrouss, Noor Almaadeed, Somaya Al-Maadeed, Younes Akbari - [Image inpainting: A review]에서 발췌했습니다.
이미지의 특정 부분이 손상되었거나 원하는 부분이 어떤 것에 의해 가려진 상황 속에서 손상된, 가려진 부분을 복원, 생성하는 개념입니다.
예를 들어 사람들의 수 많은 얼굴을 학습한 모델로 얼굴을 인식해야 하는 상황에서 얼굴의 반쪽이 가려져 있거나, 마스크를 쓰고 있다면 모델은 얼굴을 제대로 인식하지 못할 것입니다.
결국 image inpainting은 손상된 이미지를 원래 이미지처럼 자연스럽고 그럴듯하게 이미지를 복원하는 개념이라고 볼 수 있습니다.

방법

1. Patch-based approach

Patch based approach는 이미지의 손상되지 않은 부분에서 손상된 부분과 잘 맞을 만한 부분을 patch 단위로 찾아서 채워 넣는 접근 방법 입니다.

2. Diffusion based approach

Diffusion based approach는 diffusion이라는 단어에 걸맞게 손상된 부분의 겉 테두리부터 내부영역까지 image content 에 대한 propagation을 수행해 채워나가는 방법입니다.

3. Deep learning based

Deep learning based는 크게 두 가지로 분류할 수 있는데, Convolution Neural Network(CNN)을 이용한 방법과, Generative Model을 이용한 방법들이 있습니다.

후에 각각의 방법에 대해 자세히 리뷰해보는 시간을 갖겠습니다.

참고자료)

David Josué Barrientos Rojas; Bruno José Torres Fernandes; Sergio Murilo Maciel Fernandes - [A Review on Image Inpainting Techniques and Datasets]

Omar Elharrouss, Noor Almaadeed, Somaya Al-Maadeed, Younes Akbari - [Image inpainting: A review]

딥러닝을 사용한 Image Inpainting 소개 - https://wandb.ai/authors/enriching-words-with-subwords/reports/-Image-Inpainting---Vmlldzo0NzU5Njg