Camera calibration

윤준영·2026년 7월 7일

Computer Vision

목록 보기

14/15

카메라 캘리브레이션은 카메라의 parameter를 추정하는 과정이다. 이는 실세계의 3D point와 이미지 상의 2D 좌표 간의 정확한 관계를 결정하는데 필요한 카메라의 모든 정보를 의미한다.

전체적인 흐름은 아래 그림과 같다.

한 물체를 구멍에 관통시키면 이미지 형태로 이미지 평면에 맺히게 되고, 이 물체의 임의의 한 점을 $\bold{P}$ 라고 하자. 이 그림에서 세상 좌표계와 카메라 좌표계가 나오는데, 세상 좌표계는 우리가 임의의 한 지점 및 해당 지점에서의 x축, y축, z축을 정해서 정의할 수 있고, 카메라 좌표계 또한 카메라의 렌즈가 놓인 지점에서 마찬가지로 정의할 수 있다. 세상 좌표계, 카메라 좌표계 각각에서 $\bold{P}$ 를 향해 측정해서 얻은 3차원 위치를 각각 $\bold{x_w}$ , $\bold{x_c}$ 로 정의하고, 세상 좌표계 기준에서 카메라의 3차원 위치를 $\bold{c_w}$ 라 정의하자. $f$ 는 focal length로 카메라의 렌즈에서 이미지 평면까지의 거리이다.

Intrinsic parameters

우선 $\bold{P}$ 를 이미지 평면에 투영하면, 이미지 좌표계에서의 $\bold{P}$ 의 좌표인 $\bold{x_i}$ 를 얻을 수 있다. 이는 삼각형의 닮음 성질을 이용하여 구할 수 있다.

\frac{x_i}{f}=\frac{x_c}{z_c}, \frac{y_i}{f}=\frac{y_c}{z_c}

x_i=\frac{fx_c}{z_c},y_i=\frac{fy_c}{z_c}

현실 세계에서 이미지를 촬영하기 위해 이미지 센서를 사용하는데, 이미지 평면에서는 평면의 중점을 원점으로 놓는 반면 이미지 센서에서는 평면의 좌상단을 원점으로 놓는다.

이를 고려해서 최종적으로 이미지 좌표계에서의 물체의 좌표 $(u,v)$ 는 다음과 같이 구해진다.

u=\frac{fx_c}{z_c}+o_x, v=\frac{fy_c}{z_c}+o_y

여기서 $f$ , $o_x$ , $o_y$ 가 카메라의 내부 파라미터 (intrinsics)가 된다.

하지만 이 식은 비선형적이다는 것을 알 수 있다. Estimation을 더 쉽게 하려면 선형 모델을 사용해야 한다. 선형 모델로 바꾸기 위해 동차 좌표계 (homogeneous coordinate)을 사용한다.

동차 좌표계는 $n$ 차원에서의 좌표를 $n+1$ 차원으로 표현해주는 것이다. $uv$ 평면이 있다고 가정했을 때, 이 평면에 대해 $\tilde{u}\tilde{v}\tilde{w}$ 좌표계를 정의하자. 이때 $uv$ 평면은 $\tilde{w}=1$ 일 때의 평면이 된다. 원점과 $\bold{u}$ 를 지나는 직선의 모든 점이 $\bold{u}$ 의 동차 좌표를 나타낸다. 이 동차 좌표계를 사용해서 2차원에서 3차원으로 자유롭게 변환할 수 있다.

\begin{bmatrix} z_cu\\ z_cv\\ z_c \end{bmatrix}=\begin{bmatrix}u\\ v\\ 1\end{bmatrix}=\begin{bmatrix} fx_c+z_co_x\\ fy_c+z_co_y\\ z_c \end{bmatrix}=\begin{bmatrix}f & 0 & o_x & 0\\ 0 & f & o_y & 0\\ 0 & 0 & 1 & 0\end{bmatrix}\begin{bmatrix}x_c\\ y_c\\ z_c\\ 1\end{bmatrix}

Extrinsic parameters

세상 좌표계에서 정의된 점 $\bold{P}$ 를 카메라 좌표계로 mapping하려면, 세상 좌표계에서 정의된 카메라의 위치 $\bold{c_w}$ 와 세상 좌표계와 카메라 좌표계 사이의 회전변환 $R$ 을 알아야 한다. 여기서 $\bold{c_w}$ 와 $R$ 이 카메라의 외부 파라미터 (extrinsics)가 된다. $\bold{x_c}$ 와 $\bold{x_w}$ 사이의 변환 관계는 다음과 같이 정의할 수 있다.

\bold{x_c}=R(\bold{x_w}-\bold{c_w})

이 식을 풀어쓰면 다음과 같은 식을 얻을 수 있고, 동차좌표계를 사용해서 회전변환 $R$ 과 이동행렬 $\bold{c_w}$ 를 모두 포함한 행렬로 나타낼 수 있다.

\bold{x_c}=\begin{bmatrix}x_c\\y_c\\z_c\end{bmatrix}=\begin{bmatrix}r_{11} & r_{12} & r_{13}\\r_{21} & r_{22} & r_{23}\\r_{31} & r_{32} & r_{33}\end{bmatrix} \begin{bmatrix}x_w\\y_w\\z_w\end{bmatrix} + \begin{bmatrix}t_x\\t_y\\t_z\end{bmatrix}

\begin{bmatrix}x_c\\y_c\\z_c\\1\end{bmatrix}=\begin{bmatrix}r_{11} & r_{12} & r_{13} & t_x\\r_{21} & r_{22} & r_{23} & t_y\\r_{31} & r_{32} & r_{33} & t_z\\ 0 & 0 & 0 & 1\end{bmatrix} \begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix}

즉, 내부 행렬과 외부 행렬을 이용해서 세상 죄표계에서 정의된 3차원 점을 이미지 좌표계에 투영할 수 있게 된다. 여기서 이 내부 행렬과 외부 행렬의 곱을 projection matrix라고 한다.

\begin{bmatrix}\tilde{u}\\ \tilde{v}\\ \tilde{w}\end{bmatrix}=\begin{bmatrix}f & 0 & o_x & 0\\ 0 & f & o_y & 0\\ 0 & 0 & 1 & 0\end{bmatrix}\begin{bmatrix}r_{11} & r_{12} & r_{13} & t_x\\r_{21} & r_{22} & r_{23} & t_y\\r_{31} & r_{32} & r_{33} & t_z\\ 0 & 0 & 0 & 1\end{bmatrix} \begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix} \\ =\begin{bmatrix}p_{11}&p_{12}&p_{13}&p_{14}\\p_{21}&p_{22}&p_{23}&p_{24}\\p_{31}&p_{32}&p_{33}&p_{34}\end{bmatrix}\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix}

Camera calibration

카메라 캘리브레이션은 이 projection matrix를 estimate하는 과정이다. 절차로는 우선 우리가 상대적으로 위치를 알고 있는 물체의 사진을 찍고, 다음으로 이 물체의 3D 위치와 2D 좌표를 대응시킨다. 다음으로 이 좌표들과 projection matrix를 이용해 방정식을 세우고, 마지막으로 이를 이용해 projection matrix를 구하면 된다.
카메라 캘리브레이션을 위해 보통 촬영하는 물체는 체커보드 형태의 물체이다.

체커보드는 균일한 격자무늬를 가져서 세상 좌표계 기준으로 3차원 위치를 쉽고 정확하게 측정할 수 있다. 큐브의 코너 한 곳에 세상 좌표계를 정의하고, 이 큐브의 이미지를 촬영한다.

이제 세상 좌표계에서의 3차원 위치와 이미지 상에서의 2차원 좌표를 대응시킨다. 위 그림에서 보라색 점을 예시로 들자. 우선 체커무늬 간격을 1cm라고 하면, $\bold{x_w}=\begin{bmatrix}0\\3\\4\end{bmatrix}$ , $u=\begin{bmatrix}56\\115\end{bmatrix}$ 로 구할 수 있다.
이러한 점들을 여러개 대응시키면 방정식을 세울 수 있다.

\begin{bmatrix}u^{(i)}\\v^{(i)}\\1\end{bmatrix}=\begin{bmatrix}p_{11}&p_{12}&p_{13}&p_{14}\\p_{21}&p_{22}&p_{23}&p_{24}\\p_{31}&p_{32}&p_{33}&p_{34}\end{bmatrix}\begin{bmatrix}x_w^{(i)}\\y_w^{(i)}\\z_w^{(i)}\\1\end{bmatrix}

u^{(i)}=\frac{p_{11}x_w^{(i)}+p_{12}y_w^{(i)}+p_{13}z_w^{(i)}+p_{14}}{p_{31}x_w^{(i)}+p_{32}y_w^{(i)}+p_{33}z_w^{(i)}+p_{34}} \\ v^{(i)}=\frac{p_{21}x_w^{(i)}+p_{22}y_w^{(i)}+p_{23}z_w^{(i)}+p_{24}}{p_{31}x_w^{(i)}+p_{32}y_w^{(i)}+p_{33}z_w^{(i)}+p_{34}}

이 식을 한 쪽으로 몰아서 다음과 같이 정의할 수 있다.

2D - 3D 대응쌍을 통해 우리는 $A\bold{P}=0$ 꼴의 행렬을 도출할 수 있다. 여기에서 $A$ 의 SVD (singular value decomposition) 값을 구하게 되면 이 때 제일 작은 고유값에 대응되는 고유벡터 $\bold{P}$ 값이 되기 때문에 SVD 결과의 $V$ 행렬의 마지막 열벡터가 $\bold{P}$ 가 된다. 이 $\bold{P}$ 를 다시 행렬 형태로 나타내면 우리가 구하고자 하는 projection matrix가 된다.

이제 이 projection matrix를 분해해서 카메라 파라미터들을 구할 수 있다. 이는 QR 분해를 통해 구할 수 있다.

윤준영

AMC AI research engineer

이전 포스트

MedSAM2 : Segment Anything in 3D Medical Images and Videos

다음 포스트

Camera calibration

Computer Vision

Intrinsic parameters

Extrinsic parameters

Camera calibration

MedSAM2 : Segment Anything in 3D Medical Images and Videos

Efficiently Reconstructing Dynamic Scenes One D4RT at a Time

0개의 댓글