카메라 캘리브레이션은 카메라 변수로 부터 시작된다.

다시 식을 적어보자면, 이미지에 투영된 점의 동차좌표(Homogeneous coordinate)를 $\tilde U$라고 하고 현실의 동차 좌표를 $\tilde {x_w}$라고 하면 다음과 같은 수식을 적을 수 있다.

$A$는 카메라 내부 변수로, 초점거리($\alpha, \beta$), 비대칭 계수($\gamma$), 카메라 이미지 평면의 원점($u_0, v_0$)를 포함한다.

전통적인 Camera Calibration 방법

전통적인 방법은 3D 좌표를 알 수 있는 큐브등의 도구를 사용하는 것이다.
하지만 이는 높은 정밀도를 요구하며 따라서 비용이 많이 들고, 유연하지 못하다는 단점이 있다.

Zhang's Method

Zhang's Method에서는 3D 물체가 아닌 평면을 사용한다.

종이에 패턴을 프린트하여 카메라에 여러 구도로 몇번 비추면 파라미터를 추정할 수 있다.

장점은 싸고, 유연하며 Robust라는 것이다.

원래 world 좌표에서 카메라 이미지 plane에 투영되는 과정의 수식은 다음과 같다.

zhang's method에서는 평면 이미지를 사용하여 캘리브레이션하기 떄문에 $z=0$ 이라고 가정한다. 그러면 다음과 같이 수식이 수정된다.

여기서 $H$는 Homography라고 하며, Homograpy를 추정하여 카메라 파라미터들을 추정할 수 있다.

Homography의 추정

위의 식을 다음과 같이 나타내보겠다.

$p', p$는 알고 있는 값이며 모르는 변수인 $H$를 추정하게 된다.

1. 선형방정식 설정

$p'=Hp$를 $||Ah||=0 \ (||h||=1, h=\begin{bmatrix} a,b,c,\dots ,i \end{bmatrix}^T)$ 꼴로 만들어 푼다.

우선 양번에 $\frac{p'}{s}$을 외적한다.

$p'\times$는 $skew(p')$으로 바꿔 표현할 수 있고, 다음과 같이 전개할 수 있다.

$p'\times Hp \\ = skew(p')Hp \\ =\begin{bmatrix} 0&-1&y'\\ 1& 0&-x'\\ -y'&x'&0 \end{bmatrix} \begin{bmatrix} h_1^T\\ h_2^T\\ h_3^T \end{bmatrix} \begin{bmatrix} x\\ y\\ 1 \end{bmatrix}\\ =\begin{bmatrix} 0&-1&y'\\ 1& 0&-x'\\ -y'&x'&0 \end{bmatrix} \begin{bmatrix} h_1^Tp\\ h_2^Tp\\ h_3^Tp \end{bmatrix}\\ =\begin{bmatrix} -h_2^Tp+h_3^Tpy'\\ h_1^Tp-h_2^Tpx'\\ -h_1^Tpy'+h_2^Tpx' \end{bmatrix} = \begin{bmatrix} 0^T&-p^T&y'p^T\\ p^T& 0^T&-x'p^T\\ -yp^T&x'p^T&0^T \end{bmatrix} \begin{bmatrix} h_1\\h_2\\h_3 \end{bmatrix}=0$

$Ah=0$꼴로 만들었는데, 여기서 $A$는 $3\times9$행렬이고 $h$는 $9\times1$행렬이다.

$h_1^T$는 $H$의 첫번째 행이고 따라서

$h_1^T=\begin{bmatrix} a&b&c \end{bmatrix}\\ h_1^T=\begin{bmatrix} d&e&f \end{bmatrix}\\ h_1^T=\begin{bmatrix} g&h&i \end{bmatrix}\\$
가 된다.

2. N개의 이미지에서 얻은 A를 행으로 배열

캘리브레이션을 위해 찍은 이미지가 여러장이므로 N장의 이미지에서 얻은 A를 행으로 배열해서 최종 A를 얻는다. 여기서 A는 카메라 내부 파라미터가 아닌 1번에서 설정한 선형방정식 $Ah=0$을 풀기위한 A이다.

3. $A=USV^T$(Singluar Value Decomposition)

2에서 구한 행렬 A에 SVD(특이값 분해)를 적용한다.

4. h는 V의 마지막열

A를 특이값 분해하여 나온 $USV^T$에서 $V$의 마지막 열이 h가 된다.

b와 v 행렬 구하기

($A$는 카메라 내부 파라미터)
여기서 사용할 $h_1, h_2, h_3$ 은 위에서와 다르게 $H$의 열벡터이다.

한쪽변에 $[R\ t]$만 남겨놓는다고 하면 $\frac{1}{\lambda}A^{-1}\begin{bmatrix} h_1&h_2&h_3 \end{bmatrix}=\begin{bmatrix} r_1&r_2&r_3 \end{bmatrix}$이고, $r_i=\frac{1}{\lambda}A^{-1}h_i$이다. ---(식1)

그리고 $r_1, r_2$의 직교성에서 부터 한 이미지에서 다음 두 식을 얻을 수 있다.

이 두식에 식1을 대입하면 다음 두 수식을 얻을 수 있다.

우선 $B=A^{-T}A^{-1}= \begin{bmatrix} B_{11} & B_{12} & B_{13} \\ B_{21} & B_{22} & B_{23} \\ B_{31} & B_{32} & B_{33} \\ \end{bmatrix}$이라고 하자.

$B$는 대칭행렬이므로 $b=\begin{bmatrix} B_{11} & B_{12} & B_{22} & B_{13} & B_{23} & B_{33} \end{bmatrix}$을 알면 $B$ 행렬을 알 수 있다.

($*X^TX$는 대칭행렬)

$h_i^TBh_j=v_{ij}^Tb$로 쓸 수 있고,

$Vb=0$의 해는 $V^TV$의 가장 작은 고유값으로 구성된 고유벡터이다.

내부 파라미터

$B=\lambda A^{-T}A^{-1}$로 부터 내부 파라미터를 구할 수 있고 다음과 같다.

외부 파라미터

$H=\begin{bmatrix} h_1&h_2&h_3 \end{bmatrix}=\lambda A \begin{bmatrix} r_1&r_2&r_3 \end{bmatrix}$로 부터 외부 파라미터를 구할 수 있다.

현실 좌표에서 이미지

$X_w$에 외부 파라미터($R, t$)를 적용하면 카메라 좌표($X_c$)를 얻을 수 있고, 내부파라미터를 적용하면 이미지 좌표($U$)를 얻을 수 있고, 렌즈 왜곡을 적용하면 최종적으로 $U_d$를 얻을 수 있다.

Fine-Tunning

$A, R, t, k$를 구할 수 있고, 회전 행렬을 Euler Angle로 변환하면 14개의 변수를 다음과 같이 표현할 수 있다.

N개의 이미지로 부터 구한 내부 파라미터와 외부 파라미터를 Fine-Tunning를 하기 위해 cost function을 정의한다.

$N$은 이미지 개수, $K_i$는 feature의 개수, $f_{ik}$는 $i$번째 이미지의 $k$번째 feature, $p_i(x_w^{(k)},y_w^{(k)})$는 $i$번째 이미지의 투영이다.

이런 cost function을 가지고 Nonlinear optimization을 하면 Camera calibration이 끝난다.