Image Inpainting with Learnable Bidirectional Attention Maps 제1부

Image Inpainting with Learnable Bidirectional Attention Maps

Abstract

Most convolutional network (CNN)-based inpainting methods adopt standard convolution to indistinguishably treat valid pixels and holes, making them limited in handling irregular holes and more likely to generate inpainting results with color discrepancy and blurriness. Partial convolution has been suggested to address this issue, but it adopts handcrafted feature re-normalization, and only considers forward mask-updating. In this paper, we present a learnable attention map module for learning feature renormalization and mask-updating in an end-to-end manner, which is effective in adapting to irregular holes and propagation of convolution layers. Furthermore, learnable reverse attention maps are introduced to allow the decoder of U-Net to concentrate on filling in irregular holes instead of reconstructing both holes and known regions, resulting in our learnable bidirectional attention maps. Qualitative and quantitative experiments show that our method performs favorably against state-of-the-arts in generating sharper, more coherent and visually plausible inpainting results. The source code and pre-trained models will be available at: https://github.com/Vious/LBAM_ inpainting/.

대부분의 컨볼루션 네트워크(CNN) 기반 인페인팅 방법은 표준 컨볼루션을 채택하여 유효한 픽셀과 홀을 구별할 수 없게 처리하여 불규칙한 홀을 처리하는 데 한계가 있으며 색상 불일치 및 흐림이 있는 인페인팅 결과를 생성할 가능성이 더 높다. 이 문제를 해결하기 위해 부분 컨볼루션이 제안되었지만 수작업 기능 재 정규화를 채택하고 전방 마스크 업데이트만 고려한다. 본 논문에서는 불규칙한 구멍에 적응하고 컨볼루션 레이어를 전파하는 데 효과적인 기능 재정규화 및 마스크 업데이트를 종단 간 방식으로 학습하기 위한 학습 가능한 주의 맵 모듈을 제시한다. 또한, U-Net의 디코더가 구멍과 알려진 영역을 모두 재구성하는 대신 불규칙한 구멍을 채우는 데 집중할 수 있도록 학습 가능한 역방향 주의 맵이 도입되어 학습 가능한 양방향 주의 맵이 생성된다. 정성적 및 정량적 실험은 우리의 방법이 그림에서 더 날카롭고 일관적이며 시각적으로 그럴듯한 결과를 생성하는 데 있어 최첨단에 비해 유리한 성능을 발휘한다는 것을 보여준다. 소스 코드 및 사전 교육된 모델은 https://github.com/Vious/LBAM_ inpainting/에서 제공됩니다.

Introduction

• A learnable attention map module is presented for image inpainting. In contrast to PConv, the learnable at irregular holes and propagation of convolution layers.
• 이미지 인페인팅을 위해 학습 가능한 주의 지도 모듈이 제시된다. PConv와 대조적으로 불규칙한 구멍과 컨볼루션 레이어의 전파에서 학습할 수 있다.

• Forward and reverse attention maps are incorporated to constitute our learnable bidirectional attention maps, further benefiting the visual quality of the result.
  정방향 및 역방향 주의 맵이 통합되어 학습 가능한 양방향 주의 맵을 구성하여 결과의 시각적 품질에 더욱 도움이 된다.
• Experiments on two datasets and real-world object removal show that our method performs favorably against state-of-the-arts in hallucinating shaper, more coherent and visually plausible results.
  두 개의 데이터 세트와 실제 객체 제거에 대한 실험은 우리의 방법이 환각적인 형태, 더 일관성 있고 시각적으로 그럴듯한 결과에서 최첨단에 비해 유리하게 수행된다는 것을 보여준다.