[영상처리] 카메라 캘리브레이션

카메라 캘리브레이션이란?

실제 3차원 공간을 카메라로 촬영하면 2차원의 이미지가 된다. 3차원의 상이 이미지에 맺힐때에는 카메라의 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서와의 각도등의 카메라 내부 구조에 의해 영향을 받는다. 이미지에서 3차원으로 복원하거나, 3차원 상이 투사된 이미지 내의 위치를 알기 위해서는 내부 파라미터를 알아야 가능한데, 이러한 내부 파라미터를 구하는 과정이 카메라 캘리브레이션이다.

캘리브레이션 개요

$s\begin{bmatrix}x \\ y \\ 1\end{bmatrix} = \begin{bmatrix}f_x & skew\_cf_x & c_x\\ 0 & f_y & c_y \\ 0 & 0 &1\end{bmatrix} \begin{bmatrix}r_{11} & r_{12} & r_{13} & t_1\\ r_{21} & r_{22} & r_{23} & t_2 \\ r_{31} & r_{32} & r_{33} & t_3\end{bmatrix} \begin{bmatrix}X \\ Y \\ Z \\ 1\end{bmatrix} = A \begin{bmatrix}R|t\end{bmatrix} \begin{bmatrix}X \\ Y \\ Z \\ 1\end{bmatrix}$
$(X,Y,Z)$는 월드 좌표계상의 3D 좌표이고, $[R|t]$는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 Rotation Matrix, Translation Vector 이 합쳐진 회전/이동 변환행렬이다. A와 비교하여 Extrinsic Parameter 라고도 한다. A는 Intrinsic Parameter로 카메라 내부 파라미터로 이루어진 행렬이다. A와 $[R|t]$를 합쳐서 Camera Matrix, Projection Matrix라고도 한다.
외부 파라미터는 카메라 외부 공간과의 관계를 나타내는 파라미터이고, 내부 파라미터는 카메라의 초점거리, aspect ratio, 이미지 면의 중심점 등 카메라 내부의 파라미터를 의미한다.

카메라 내부 파라미터(Intrinsic Parameters)

1. 초점 거리(Focal Length) : fx, fy

카메라 모델에서의 초점 거리는 렌즈 중심(혹은 핀홀)과 이미지센서(이미지 플레인)와의 거리이다. 초점 거리는 mm로 표현되거나 픽셀단위로 표현된다. 픽셀은 이미지 센서의 셀의 크기로, 셀의 크기가 0.1mm이고 초점거리 f = 300 pixel로 표현되면 f = 30mm 가 된다. 초점 거리를 픽셀단위로 표현하는 것은 영상에서의 해석을 용이하게 하기 위함이다.
카메라 모델에서 초점 거리를 fx, fy로 표현하는 경우는 이미지 센서의 물리적인 셀이 가로와 세로의 길이가 같지 않을 수 있기 때문인데, fx는 셀의 가로에 대한 초점 거리의 비, fy는 셀의 세로에 대한 초점 거리의 비가된다. 일반적인 카메라는 셀의 가로,세로 크기가 같아 f = fx = fy로 생각할 수 있다.
초점 거리와 픽셀 크기와의 관계를 통해 해상도에 따른 초점거리에 대해 알 수 있다. 캘리브레이션을 수행했을 때, 이미지 해상도를 $\frac{1}{2}$로 하였을 때 초점 거리도 $\frac{1}{2}$배가 된다. 해상도를 $\frac{1}{2}$로 낮추면 $2\times 2$의 픽셀이 한 픽셀이 되므로 픽셀의 가로,세로가 2배가 되는것과 동일하므로 초점 거리는 $\frac{1}{2}$배가 된다.

• 이미지 센서의 셀이라는 것은 집적되어있는 광학 다이오드를 말하는데, 일정 시간동안 축적된 광량을 전기적 값으로 변환한다.

2. 주점(Principal Point) : cx, cy

주점은 렌즈 중심(혹은 핀홀)에서 이미지 플레인에 내린 수선의 발의 영상좌표로 단위는 픽셀이다. 일반적인 영상 중심과는 다른 의미로 카메라가 오차로 인해 렌즈와 이미지 센서의 수평이 어긋나면 주점과 영상 중심은 달라지게 된다.

3. 비대칭계수(Skew Coefficient) : skew_c = $tan\alpha$

비대칭계수는 이미지 센서의 셀 배열(이미지 플레인)의 y축이 기울어진 정도를 나타낸다. 최근의 카메라 모델에서는 비대칭 오류가 거의 없어 skew_c = 0으로 생각할 수 있다.

카메라 내부 파라미터(Extrinsic Parameters)

카메라 외부 파라미터는 카메라를 어떤 위치에 어떤 방향으로 설치했는지에 따라 다르고, 월드 좌표계를 어떻게 정의했는지에 따라 달라진다. 외부 파라미터(Rotation, Translation)을 구하려면 캘리브레이션을 통해 내부 파라미터를 구한 후, 3D월드좌표-2D영상좌표 매칭 쌍들을 이용하여 구할 수 있다.

핀홀(Pinhole) 카메라 모델

핀홀 카메라 모델은 하나의 바늘구멍(Pinhole)을 통해 상이 이미지로 투영되는 모델이다. 여기서 핀홀이 렌즈 중심, 상이 맺히는 평면과의 거리가 초점거리가 된다. 영상처리에서 영상에 대한 기하학적 해석은 핀홀 카메라 모델을 바탕으로 이루어지지만, 이상적인 모델로 실제로는 렌즈에 대한 왜곡등도 고려해야한다.