Camera Calibration(2)

지난 포스팅 Camera Calibration(1) 에 이어 포스팅 하겠습니다.

좌표계(coordinate system)

지난 포스팅의 수식 관련 설명이 부족하다 생각하여 기초적인 좌표계에 대한 설명을 추가하겠습니다.

Image geometry에는 4가지 좌표계 존재.

World coordinate system(월드 좌표계)

물체의 위치를 표현할 때 기준으로 삼는 좌표계

단순히 물체의 위치를 표현하기 위함이므로 필요에 따라 임의로 잡아서 사용할 수 있음(단위 또한 임의, 미터, 피트 등)

예) 방 안에 있는 곰인형의 좌표를 구하고 싶을 때, 방 구석의 모서리를 (0, 0, 0)으로 잡고 표현할 수 있음.

$P = (X, Y, Z)$

위와 같이 표현할 수 있음.

Camera coordinate system(카메라 좌표계)

월드 좌표계의 경우 우리가 직접 임의로 기준을 설정한 좌표계이지만, 카메라 좌표계의 기준은 카메라 초점을 원점으로 좌표계가 존재.

원점 : 초점
$z$축 : 카메라의 정면 방향
$y$축 : 카메라의 아래쪽 방향
$x$축 : 카메라의 오른쪽 방향

카메라 좌표계의 단위는 월드 좌표계와 동일

$P_c = (X_c, Y_c, Z_c)$

위와 같이 표현 가능

Pixel coordinate system(Image coordinate system, 픽셀(영상) 좌표계)

보통 영상 좌표계라고 불림.

우리가 눈으로 보는 영상에 대한 좌표계.

원점 : 이미지 왼쪽 상단
$x$축 : 오른쪽 방향
$y$축 : 아래쪽 방향

이 좌표계에 의해 결정되는 평면을 Image plane(이미지 평면)이라고 부름.

$P_{img} = (x,y)$

위와 같이 표현 가능

이미지 = 3D 공간의 한 점 $P(X,Y,Z)$이 2D 공간의 한 점$P_{img} = (x,y)$으로 투영된 것.

Normalized image coordinate system(정규 이미지 좌표계)

위에 언급한 좌표계들과 달리 정규 이미지 좌표계의 경우 편의상 도입된 개념.

정규 이미지 좌표계는 카메라를 통해 물체를 이미지로 투영시키는 과정에서 카메라 내부 파라미터(Camera Calibration(1) 참고)의 영향이 없을 경우 투영되는 공간에 대한 좌표계임.

특징

• 좌표계의 단위가 존재하지 않음(정규화가 되었다는 의미)
• 카메라 초점과의 거리가 1인 가상의 이미지 평면(정규 이미지 평면)을 정의

원점 : 정규 이미지 평면의 중심

• 픽셀 좌표계와 원점이 다름(픽셀 좌표계의 경우 원점이 이미지 좌측 상단)

$p' = (u,v)$

위와 같이 표현 가능

Coordinate system 정리

이 모든 좌표계를 그림으로 나타내면

위 그림으로 설명할 수 있음.

Camera Calibration(1) 에서 등장한 수식인

는

위 수식의 우변 두번째 세번째 행렬을 $[R|t]$ 하나의 행렬로 합친 것.

이 수식 우변의 행렬들은

• 첫번째 행렬 : 카메라 내부 파라미터 행렬 = 정규 이미지 좌표계에서 픽셀 좌표계로 변환하는 역할

• 두번째 행렬 : 카메라 좌표계에서 정규 이미지 좌표계로 투영하는 역할

• 세번째 행렬 : 카메라 외부 파라미터 행렬 = 월드 좌표계에서 카메라 좌표계로 투영하는 역할

로 정리할 수 있음.

다음 포스팅에는 opencv를 이용해 직접 calibration을 구현한 코드를 공유하고 설명하는 포스팅을 진행하겠습니다.

감사합니다.

참고자료
https://www.cse.psu.edu/~rtc12/CSE486/ - lecture 12, 13

https://darkpgmr.tistory.com - 좌표계, 이미지 투영