[계산사진학] What is Computational Photography?

계산사진학 내용은 개인적인 공부를 위해서 정리하는 용도이다. 개인적으로 인터넷을 통해서 공부한 내용을 포함하여 POSTECH의 조성현 교수님의 계산사진학 강의를 기반으로 정리할 것이다.

계산사진학, 영어로 computational photography에 대해서 시작해보려고 한다. 이 학문은 이름에서부터 사진, 즉 이미지와 관련이 있기에 카메라라는 아주 강력한 도구로부터 시작하게 된다. 그렇다면 우리는 카메라를 이용해서 사진을 찍게 되었을 때, 이 사진들을 어떻게 이용할 수 있을까? 사진들은 보통 일상 생활을 기록하는 용도로 사용이 되거나 혹은 일상 생활의 범주를 넘어서는 다양한 분야에 사용이 될 것이다. 대표적인 예시로는 예술가들의 사진전이나 작품 등이 있다.

카메라의 등장으로 사진이라는 하나의 기록물이 생기기 시작했다. 그렇지만, 어떠한 장면을 남길 수 있는 장점에도 불구하고 사진에는 여러 단점이 존재하기 마련이다. 예를 들어, 물리적인 제한으로 인해서 생기는 문제점들이 있다. 장기간의 노출로 인하여 사진이 흔들리는 경우 정확한 사진을 남기기가 어렵다. 혹은 제한적인 빛의 강도에 의해서 사진이 어둡게 보이거나 혹은 너무 밝게 보일 수 있다. 또 다른 문제점으로는 카메라로 사진을 찍었을 때, 우리가 원치않는 물체가 사진에 함께 찍힐 수도 있다. 즉, 카메라를 이용하여 사진을 찍게 되었을 때 원하지 않은 경치나 물체를 우리가 컨트롤 할 수 없다는 점이다.
이러한 문제점들이 있어서 우리는 사진에 컴퓨터의 힘을 빌리는 새로운 학문이 나오게 된 것이다. 그것이 바로 앞으로 공부하게 될 computational photography인 것이다. 카메라로 사진을 남긴 후에 적절하게 원하는 방향으로 컴퓨터의 힘을 빌려서 계산을 시키게 되면 점차 진화된 사진을 얻을 수 있게 되는 것이다.

What is Computational Photography?

그렇다면 이제부터 본격적으로 computational photography에 대해서 알아볼 것이다. 이 분야는 컴퓨터의 영역인 computation과 카메라의 영역인 photography가 합쳐져서 만들어졌다. 간단하게 말하면, 사진을 컴퓨터적 계산을 이용해서 새로운 사진으로 만드는 작업이라 생각하면 된다. 그리하여 기존의 전통적인 카메라들로 찍어낸 사진의 문제점을 극복할 수 있으며, 새로운 종류와 가치를 더한 이미지를 만들어내는 작업이 가능해진 것이다.
아마 이 분야를 computer vision과 graphics를 공부한 사람이면 어느 쪽에 해당하는지 알 수 있을 것이다. 정확히는 두 분야 어느 한 곳에 속하는 것이 아닌, 두 분야와 사진 전반적인 내용을 합쳐 새롭게 나온 분야이다.
그래픽스라는 분야는 필요한 이미지 등을 생성해내는 작업인 반면에 비전이라는 분야는 기존의 데이터를 기반으로하여 정보를 추출해내는 작업이다. 하지만, 계산사진학이라는 분야는 이미지를 이해함과 동시에 이해한 내용을 바탕으로 필요한 이미지를 생성해내는 일종의 복합 과정인 것이다. 그래서 그래픽스는 어떤 모델로부터 이미지를 만들어내는 작업이고, 비전은 이미지로부터 모델을 만들어내는 작업이다. 하지만, 계산사진학 같은 경우에는 이미지들로부터 또 다른 이미지를 만들어내는 작업으로 어찌보면 비슷하지만 다른 성질을 지니고 있다.

간략하게 computational photography에서 다루는 내용들을 보면 deblurring, high dynamic range imaging, panorama, image matting, inpainting, video stabilization, video editing and manipulation 등의 주제들이 있으며 실제로는 이보다 더 많은 주제들이 존재한다.

그리고 사진을 만들어내는 카메라도 요즘은 예전과는 다르게 용도에 맞게 다양해지거나 성능이 월등하게 좋아진 경우가 많이 있다. 흔히 인간이 360도를 다 못보는 것처럼 카메라도 어느 특정 방향의 풍경만 볼 수 있도록 설계가 되었었다. 하지만, 요즘은 360도 촬영이 가능한 카메라도 등장하였으며, 카메라의 개수도 1개에서 2개 이상으로 늘려서 더욱 정확하고 다양한 촬영이 가능해졌다. 요즘 스마트폰에는 기본적으로 카메라가 2개 이상으로, 카메라 별로 촬영하는 범위를 다르게 하여 더욱 완성도 높은 사진과 영상을 찍을 수 있도록 해준다.
대표적으로 듀얼 카메라와 같은 경우 하나의 카메라는 depth 정보를 인식하도록 해서 out focus 기능을 사용할 수가 있다. 이는 우리가 원하는 타겟을 제외하고는 blur 처리를 시켜 더욱 타겟을 돋보이게 찍는 것이 가능하다.