딥러닝을 이용한 왜곡 보정에 관한 논문 두 가지를 간략하게 리뷰해보는 시간을 갖겠습니다.

논문 조사는 Computer vision foundation(CVF) open access에서 distortion, rectification이라는 키워드를 통해 조사했습니다.

딥러닝 이용 방법(Deep learning based)

저번 포스팅에서 언급한 딥러닝, 인공신경망을 이용해 왜곡을 보정하는 논문 두 가지를 소개하겠음.

Multi-Level Curriculum for Training A Distortion-Aware Barrel Distortion

해당 논문은 barrel distortion(radial distortion의 한 종류)에 대해 보정하는 방법에 관한 연구이며 ICCV 2021에서 발표.

이 논문 이전의 딥러닝 이용 방식들은 왜곡 계수에 대해 학습 후 예측을 하거나, non-linear한 mapping function을 이용해 모델이 왜곡 보정 이미지를 생성했었음.

이런 방식은 불명확한 학습 과정을 갖고 있어서 모델이 왜곡에 대해 깊은 인지를 할 수 없음.

논문에서는 curriculum learning(인간의 학습 방식을 모방한 모델 학습 방식, 쉬운 데이터를 먼저 학습시킨 후 어려운 데이터를 학습, simple to complex)에서 영감을 받아 왜곡 보정이라는 task에 점진적 방식으로 접근함.

보정 task를 세 가지 단계로 나누었는데

1. structure recovery - 이미지의 구조적인 보정
2. Semantics embedding - 이미지의 의미론적 보정
3. texture rendering - 보정된 structure와 semantics를 이용해 texture를 rendering

으로 나누었고, Semantics embedding의 경우 structure보다 조금 더 넓은, 큰 의미라고 생각됨.

또한 모델 학습 전략에 있어서 모델의 초기 학습을 좀 더 촉진시키고 빠르게 converge할 수 있도록 하는 pre-training 전략도 제시 (pre-training 전략의 경우 모델이 왜곡 정도를 왜곡 계수가 아닌 왜곡 레벨, distortion level을 이용해 판단하게 하는 전략인 것 같은데 구체적으로는 이해가 되지 않음..).

Towards Complete Scene and Regular Shape for Distortion Rectification by Curve-Aware Extrapolation

해당 논문 또한 radial distortion의 보정에 관한 연구이며 ICCV 2021에서 발표.

논문 이전의 왜곡 보정 방법의 경우 이미지를 보정할 때 특정 형태(동서남북이 움푹 들어간 형태)로 결과물이 생성됨.

본 논문에서는 rectification outpainting 이라는 방법을 제시

해당 방법은 이미지의 semantic 특성을 이용해 앞서 언급한 움푹 파인 부분을 최대한 현실에 있을 법하게 채워 넣는 방법

이를 위해서는 모델의 보정 module이 이미지 geometry에 대해 깊은 인지가 있어야 하며, 해당 인지를 통해 움푹 파인 부분을 채워 넣어야 함.

이미지 geometry에 대해 깊은 이해를 위해 논문에서는 왜곡 이미지의 왜곡 level과 보정 이미지의 곡률(동서남북으로 움푹 파인 부분의 곡률)의 상관관계를 파악함.

그렇게 얻은 geometry에 대한 깊은 인지와 이미지의 semantic 특성을 이용해 움푹 파인 부분을 채워 넣는 방법으로 볼 수 있음.

마무리

딥러닝을 이용한 왜곡 보정 연구 두 가지에 대해 알아보았습니다.

다음 포스팅은 딥러닝을 사용하지 않은 전통적인 왜곡 보정 연구를 알아보는 시간을 갖겠습니다.

감사합니다.