Iron View (1) - Camera Calibration

한준호·2023년 1월 23일

IronVision 영상처리 컴퓨터비전

컴퓨터비전 - Iron View

목록 보기

1/5

카메라 캘리브레이션(Camera Calibration)이란

실제 눈으로 보는 3차원 세상 -> '카메라' -> 2차원 이미지

3차원의 점들이 이미지 상에서 어디에 맺히는지 결정하는 요인

영상을 찍을 당시의 카메라의 위치 및 방향

카메라 내부의 기구적인 부분

사용된 렌즈
렌즈와 이미지 센서와의 거리
렌즈와 이미지 센서가 이루는 각

3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌표를 복원할 때에는 이러한 내부 요인을 제거해야하만 정확한 계산이 가능한다. 따라서 이러한 내부요인의 파라미터 값을 구하는 과정을 카메라 캘리브레이션이라 부른다.

투영(Projection)

카메라 영상은 3차원 공간상의 점들을 2차원 이미지 평면에 투사(Perspective Projection)함으로써 얻어집니다.

Pin-hole Camera Model

실제: 상하좌우 반전

편의를 위한 좌표계 일치 = 실제

이미지센서는 실제로는 렌즈 뒤쪽에 있지만, 기하학적 연산을 단순화하기 위해 위 그림처럼 앞쪽에 위치시키는 것이 일반적이다

Ideal Perspective Projection

핀홀(Pinhole) 카메라 모델에서 변환 관계

+) 현대의 카메라의 초점거리는 fx=fy로 계산해도 무방하다
+) 현대의 카메라의 비대칭계수 skew=0으로 계산해도 무방하다

카메라 외부 파라미터 (Extrinsic Parameter)

카메라의 설치 높이, 방향(팬, 틸트) 등 카메라와 외부 공간과의 기하학적 관계에 관련된 파라미터이다

카메라 내부 파라미터 (Intrinsic Parameter)

카메라의 초점 거리, aspect ratio, 중심점 등 카메라 자체의 내부적인 파라미터를 의미한다.

렌즈 왜곡 (Lens Distortion)

Zhang's Camera Calibration

Perspective Projection

Principal Point offset

3차원의 점을 2차원의 이미지 Plane으로 투영
Calibration Matrix

Zhang's Method: 2차원의 체커보드 판 위에 점을 2차원의 Plane으로 투영
-> Calibration Matrix

평면 위에 점을 투영하기 때문에 z=0이 되기 때문에 r1과 r2를 구하고 각 회전축은 수직인 성질을 이용하여 r1과 r2의 외적은 r3이다

$r1 * r2 = r3$

위 식에서 구한 H = [h1 h2 h3] 라 할 때,

여기서 λ는 Scale (스케일에 따라 위 식이 하나로 정의 안되기 때문에 λ는 스칼라)

위 식에서

$h_1 = λ*A*r1$
-> $r_1 = (1/λ)*A^{-1}*h_1$
-> $r^T_1 = (1/λ)*h^{T}_1*A^{-T}$

$h_2 = λ*A*r2$
-> $r_2 = (1/λ)*A^{-1}*h_2$
-> $r^T_2 = (1/λ)*h^{T}_2 * A^{-T}$

$h_3 = λ*A*t$