# Image inpainting
Image inpainting(7)
"PEPSI : Fast Image Inpainting with Parallel Decoding Network" 논문을 리뷰해보는 시간을 갖겠습니다. Abstract & Introduction GAN을 기반으로 CAN(contextual attention module)을 사용하는 coarse-to-fine network가 image inpainting에서 좋은 결과를 내고 있음. 하지만 coarse-to-fine의 연산 비용이 너무 큰 문제점이 존재. 따라서 이 논문에서는 PEPSI(Parallel extended-decoder path for semantic inpainting)을 제시. PEPSI는 single encoding network와 parellel decoding network를 이용해 convolution 연산의 양을 효과적으로 줄였음. decoding network는 coarse path와 inpainting path, 이 두 가지 path가 pa
Image inpainting(6)
"Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting" 논문을 리뷰해보는 시간을 갖겠습니다. Abstract & Introduction High quality image inpainting은 missing area를 plausible(그럴듯한, 원본 이미지와 최대한 비슷하다는 의미의) content로 채워넣어야함. 이는 visual coherence, semantic coherence 모두 만족시킬 수 있어야 함. 현재 존재하는 inpainting technique들은 두 종류로 나눌 수 있음. 단순하게 image patches를 복사해서 집어넣는 경우 semantic coherence content 생성에 있어서 실패할 가능성이 높음 앞 선 문제를 해결하기 위해 semantic context를 encode해서 얻은 latent feature를 이용해 patch를 genera
Image inpainting(5)
"Context Encoders: Feature Learning by Inpainting” 논문을 리뷰해보는 시간을 갖겠습니다. Abstract context-based pixel 예측을 통해 unsupervised visual feature learning algorithm을 제시. Context Encoder라는 이름의 모델이고, 임의의 Image의 어떤 region을 주변 context를 이용해 예측, 생성하는 convolution neural network. 위 task를 수행하기 위해서는, 모델이 두 가지 역할을 수행해야함. 전체 이미지의 content에 대한 이해. missing part(region)에 대한 그럴듯한 예측 context encoder를 학습 시킬 때, reconstruction loss만을 사용한 것과 adversarial loss를 함께 사용한 것을 비교 실험을 했고, 후자가 더 좋은 성능을 보였음. 또한 context e
Image inpainting(3)
**A. A. Efros and W. T. Freeman, “Image quilting for texture synthesis and transfer”** 논문을 리뷰 해보는 시간을 갖겠습니다. Abstract 이미지들의 작은 패치들을 이용해 한땀한땀 바느질 하듯이 새로운 이미지를 synthesis 하는 방법 - Image quilting 을 제시하고 있습니다. > 1. Wide range Image를 synthesis 할 수 있다. synthesis 뿐만 아니라 texture transfer 에도 확장시킬 수 있다. 위와 같은 특징들을 말하고 있으며, 3D Information 같은 다른 정보 없이 이미지 자체적으로 수행될 수 있다고 말하고 있습니다. Introduction Texture synthesis 에서는 주로 실제 세계에서 small patch들을 떼 와서 그걸 바탕으로 synthesize 하는 것이 대부분이고, scratch 부터 recreate
Image inpainting(2)
Texture Synthesis by Non-parametric Sampling A. A. Efros and T. K. Leung, "Texture Synthesis by Non-parametric Sampling" 논문을 요약, 정리해보는 시간을 갖겠습니다. Abstract Texture synthesis는 초기의 기준점(seed)을 이용해 한번에 한 픽셀씩 합성(생성)시켜 새로운 이미지를 만들어내는 것을 의미합니다. 논문에서는 마르코프 랜덤 필드(MRF)를 이용하고, synthesize할 픽셀의 주변 값들과 유사한 이미지 패치를 샘플 이미지에서 모두 찾아 픽셀의 조건부 분포(conditional distribution)를 추정합니다. 무작위 정도(만들어지는 이미지의 무작위 정도; 규칙적인 texture로 이루어져 있는가 아닌가)는 인간의 인지능력에 직관적인 파라미터 하나만을 이용해 조절합니다. 논문에서는 Non-parametric method를 제
Image inpainting(1)
Image Inpainting 개념 사진은 Omar Elharrouss, Noor Almaadeed, Somaya Al-Maadeed, Younes Akbari - [Image inpainting: A review]에서 발췌했습니다. 이미지의 특정 부분이 손상되었거나 원하는 부분이 어떤 것에 의해 가려진 상황 속에서 손상된, 가려진 부분을 복원, 생성하는 개념입니다. 예를 들어 사람들의 수 많은 얼굴을 학습한 모델로 얼굴을 인식해야 하는 상황에서 얼굴의 반쪽이 가려져 있거나, 마스크를 쓰고 있다면 모델은 얼굴을 제대로 인식하지 못할 것입니다. 결국 image inpainting은 손상된 이미지를 원래 이미지처럼 자연스럽고 그럴듯하게 이미지를 복원하는 개념이라고 볼 수 있습니다. 방