원근 투영(Perspective Projection)
u ′ = f x z u'=\frac{fx}{z} u ′ = z f x z : x = f : u ′ z:x = f:u' z : x = f : u ′ v ′ v' v ′ v ′ = f y z v'=\frac{fy}{z} v ′ = z f y
현실좌표를 원점이 광축이 지나가는 점인 image plane에 투영
실제세계의 좌표 ( x , y , z ) T (x,y,z)^T ( x , y , z ) T ( u ′ , v ′ ) = ( f x z , f y z ) (u', v')=(\frac{fx}{z},\frac{fy}{z}) ( u ′ , v ′ ) = ( z f x , z f y )
( x y z 1 ) → ( U ′ V ′ S ′ ) = ( f x f y z ) = ( f 0 0 0 0 f 0 0 0 0 1 0 ) ( x y z 1 ) \begin{pmatrix}x\\y\\z\\1 \end{pmatrix} \rightarrow \begin{pmatrix} U'\\V'\\S' \end{pmatrix}=\begin{pmatrix}fx\\fy\\z\end{pmatrix}=\begin{pmatrix}f&0&0&0 \\ 0&f&0&0\\0&0&1&0\end{pmatrix}\begin{pmatrix}x\\y\\z\\1\end{pmatrix} ⎝ ⎜ ⎜ ⎜ ⎛ x y z 1 ⎠ ⎟ ⎟ ⎟ ⎞ → ⎝ ⎜ ⎛ U ′ V ′ S ′ ⎠ ⎟ ⎞ = ⎝ ⎜ ⎛ f x f y z ⎠ ⎟ ⎞ = ⎝ ⎜ ⎛ f 0 0 0 f 0 0 0 1 0 0 0 ⎠ ⎟ ⎞ ⎝ ⎜ ⎜ ⎜ ⎛ x y z 1 ⎠ ⎟ ⎟ ⎟ ⎞ u ′ = U ′ S ′ , v ′ = V ′ S ′ , S ′ = z u'=\frac{U'}{S'}, v'=\frac{V'}{S'}, S'=z u ′ = S ′ U ′ , v ′ = S ′ V ′ , S ′ = z
동차좌표계란 원래의 좌표에 한차원을 추가한 좌표계이다.
( x y z 1 ) \begin{pmatrix}x\\y\\z\\1 \end{pmatrix} ⎝ ⎜ ⎜ ⎜ ⎛ x y z 1 ⎠ ⎟ ⎟ ⎟ ⎞ ( 3 6 3 3 ) \begin{pmatrix}3\\6\\3\\3 \end{pmatrix} ⎝ ⎜ ⎜ ⎜ ⎛ 3 6 3 3 ⎠ ⎟ ⎟ ⎟ ⎞ ( 1 2 1 1 ) \begin{pmatrix}1\\2\\1\\1 \end{pmatrix} ⎝ ⎜ ⎜ ⎜ ⎛ 1 2 1 1 ⎠ ⎟ ⎟ ⎟ ⎞ ( 2 4 2 2 ) \begin{pmatrix}2\\4\\2\\2 \end{pmatrix} ⎝ ⎜ ⎜ ⎜ ⎛ 2 4 2 2 ⎠ ⎟ ⎟ ⎟ ⎞ f f f
식을 다시 써보면, ( U ′ V ′ S ′ ) = [ f 0 0 0 f 0 0 0 1 ] [ 1 0 0 0 0 1 0 0 0 0 1 0 ] ( x y z 1 ) \begin{pmatrix}U'\\V'\\S'\end{pmatrix}=\begin{bmatrix}f&0&0\\0&f&0\\0&0&1\end{bmatrix}\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\end{bmatrix}\begin{pmatrix}x\\y\\z\\1\end{pmatrix} ⎝ ⎜ ⎛ U ′ V ′ S ′ ⎠ ⎟ ⎞ = ⎣ ⎢ ⎡ f 0 0 0 f 0 0 0 1 ⎦ ⎥ ⎤ ⎣ ⎢ ⎡ 1 0 0 0 1 0 0 0 1 0 0 0 ⎦ ⎥ ⎤ ⎝ ⎜ ⎜ ⎜ ⎛ x y z 1 ⎠ ⎟ ⎟ ⎟ ⎞
U ~ = P X c ~ \tilde{U}=P\tilde{X_c} U ~ = P X c ~ P = d i a g ( f , f , 1 ) [ I 0 ] P=diag(f,f,1)\begin{bmatrix}I&&0\end{bmatrix} P = d i a g ( f , f , 1 ) [ I 0 ] 좌상 원점 좌표계로 변환
위에서는 현실세계의 좌표를 카메라의 광축(optical point)를 지나는 점을 원점으로 하는 image plane에 투영시켰다. ( u ′ , v ′ ) (u',v') ( u ′ , v ′ ) ( u , v ) (u, v) ( u , v )
( u , v ) = ( u ′ + u 0 , v ′ + v 0 ) = ( U ′ S ′ + u 0 , V ′ S ′ + v 0 ) (u,v)=(u'+u_0, v'+v_0)=(\frac{U'}{S'}+u_0, \frac{V'}{S'}+v_0) ( u , v ) = ( u ′ + u 0 , v ′ + v 0 ) = ( S ′ U ′ + u 0 , S ′ V ′ + v 0 ) 이를 동차 좌표계로 나타내보자.
( U V S ) = ( u S v S S ) = ( ( u ′ + u 0 ) S ( v ′ + v 0 ) S S ) = [ f 0 u 0 0 f v 0 0 0 1 ] [ 1 0 0 0 0 1 0 0 0 0 1 0 ] ( x y z 1 ) \begin{pmatrix}U\\V\\S\end{pmatrix}=\begin{pmatrix}uS\\vS\\S\end{pmatrix}=\begin{pmatrix}(u'+u_0)S\\(v'+v_0)S\\S\end{pmatrix} = \begin{bmatrix}f&0&u_0\\0&f&v_0\\0&0&1\end{bmatrix}\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\end{bmatrix}\begin{pmatrix}x\\y\\z\\1\end{pmatrix} ⎝ ⎜ ⎛ U V S ⎠ ⎟ ⎞ = ⎝ ⎜ ⎛ u S v S S ⎠ ⎟ ⎞ = ⎝ ⎜ ⎛ ( u ′ + u 0 ) S ( v ′ + v 0 ) S S ⎠ ⎟ ⎞ = ⎣ ⎢ ⎡ f 0 0 0 f 0 u 0 v 0 1 ⎦ ⎥ ⎤ ⎣ ⎢ ⎡ 1 0 0 0 1 0 0 0 1 0 0 0 ⎦ ⎥ ⎤ ⎝ ⎜ ⎜ ⎜ ⎛ x y z 1 ⎠ ⎟ ⎟ ⎟ ⎞ U ~ = A [ I 0 ] X c ~ \tilde{U} = A[I0]\tilde{X_c} U ~ = A [ I 0 ] X c ~ A = [ f 0 u 0 0 f v 0 0 0 1 ] A=\begin{bmatrix}f&0&u_0\\0&f&v_0\\0&0&1\end{bmatrix} A = ⎣ ⎢ ⎡ f 0 0 0 f 0 u 0 v 0 1 ⎦ ⎥ ⎤ 이때 A는 camera matrix로, intrinsic parameter로 구성되어있다.
intrinsic parameter는 카메라 렌즈와 센서에 의해 결정되는 값들로, 카메라마다 다른값을 가지고 있다고 생각하면 될 것같다.
좌표계의 회전과 이동
지금까지 현실세게 좌표라고 불렀던 X c X_c X c X c X_c X c
X c ~ = [ R t ] X w ~ \tilde{X_c}=\begin{bmatrix}R&t\\\end{bmatrix}\tilde{X_w} X c ~ = [ R t ] X w ~ X c ~ \tilde{X_c} X c ~ X w ~ \tilde{X_w} X w ~ U ~ = A [ I 0 ] X c ~ \tilde{U} = A[I0]\tilde{X_c} U ~ = A [ I 0 ] X c ~
U ~ = A [ R t ] X w ~ \tilde{U} = A\begin{bmatrix}R&t\\\end{bmatrix}\tilde{X_w} U ~ = A [ R t ] X w ~ Camera Matrix
위에서 camera matrix는 A = [ f 0 u 0 0 f v 0 0 0 1 ] A=\begin{bmatrix}f&0&u_0\\0&f&v_0\\0&0&1\end{bmatrix} A = ⎣ ⎢ ⎡ f 0 0 0 f 0 u 0 v 0 1 ⎦ ⎥ ⎤
이를 해결하기 위해 mm 단위를 pixel로 바꿔주는 행렬을 앞에 곱해주게 된다.
A = [ k u 0 0 0 k v 0 0 0 1 ] [ f 0 u 0 0 f v 0 0 0 1 ] = [ α u 0 k u u 0 0 α v k v v 0 0 0 1 ] A=\begin{bmatrix}k_u&0&0\\0&k_v&0\\0&0&1\end{bmatrix}\begin{bmatrix}f&0&u_0\\0&f&v_0\\0&0&1\end{bmatrix}=\begin{bmatrix}\alpha_u&0&k_uu_0\\0&\alpha_v&k_vv_0\\0&0&1\end{bmatrix} A = ⎣ ⎢ ⎡ k u 0 0 0 k v 0 0 0 1 ⎦ ⎥ ⎤ ⎣ ⎢ ⎡ f 0 0 0 f 0 u 0 v 0 1 ⎦ ⎥ ⎤ = ⎣ ⎢ ⎡ α u 0 0 0 α v 0 k u u 0 k v v 0 1 ⎦ ⎥ ⎤ 최종적으로
U ~ = P X w ~ \tilde{U}=P\tilde{X_w} U ~ = P X w ~ P = A [ R t ] P=A\begin{bmatrix}R&t\\\end{bmatrix} P = A [ R t ] A = [ α 0 k u u 0 0 β k v v 0 0 0 1 ] A=\begin{bmatrix}\alpha&0&k_uu_0\\0&\beta&k_vv_0\\0&0&1\end{bmatrix} A = ⎣ ⎢ ⎡ α 0 0 0 β 0 k u u 0 k v v 0 1 ⎦ ⎥ ⎤ Lens Distortion Model
카메라 렌즈에 의해 실제 사물보다 이미지에서 왜곡이 생긴다. 이를 보정하는 모델이 있다.
Brown Model
u = u d + ( u d − u 0 ) ( k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m u = u_d+(u_d-u_0)(k_1r^2+k_2r^4)+tangential \ term u = u d + ( u d − u 0 ) ( k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m v = v d + ( v d − v 0 ) ( k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m v = v_d+(v_d-v_0)(k_1r^2+k_2r^4)+tangential \ term v = v d + ( v d − v 0 ) ( k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m ( u , v ) (u,v) ( u , v ) ( u d , v d ) (u_d,v_d) ( u d , v d ) r x = ( u d − u 0 ) α u , r t = ( v d − v 0 ) α v r_x=\frac{(u_d-u_0)}{\alpha_u}, r_t=\frac{(v_d-v_0)}{\alpha_v} r x = α u ( u d − u 0 ) , r t = α v ( v d − v 0 ) r = r x 2 + r y 2 r=\sqrt{r_x^2+r_y^2} r = r x 2 + r y 2
Fitzgibborn Model
브라운 모델보다 정확하다고 한다.s ( r x r y 1 ) = R ( x w y w z w ) + ( t x t y t z ) , r = r x 2 + r y 2 s\begin{pmatrix}r_x\\r_y\\1\end{pmatrix}=R\begin{pmatrix}x_w\\y_w\\z_w\end{pmatrix}+\begin{pmatrix}t_x\\t_y\\t_z\end{pmatrix}, r=\sqrt{r_x^2+r_y^2} s ⎝ ⎜ ⎛ r x r y 1 ⎠ ⎟ ⎞ = R ⎝ ⎜ ⎛ x w y w z w ⎠ ⎟ ⎞ + ⎝ ⎜ ⎛ t x t y t z ⎠ ⎟ ⎞ , r = r x 2 + r y 2
1. ( u d v d 1 ) = A ( r x ( 1 + k 1 r 2 + k 2 r 4 ) r y ( 1 + k 1 r 2 k 2 r 4 ) 1 ) 1. \begin{pmatrix}u_d\\v_d\\1\end{pmatrix} = A\begin{pmatrix}r_x(1+k_1r^2+k_2r^4)\\r_y(1+k_1r^2k_2r^4)\\1\end{pmatrix} 1 . ⎝ ⎜ ⎛ u d v d 1 ⎠ ⎟ ⎞ = A ⎝ ⎜ ⎛ r x ( 1 + k 1 r 2 + k 2 r 4 ) r y ( 1 + k 1 r 2 k 2 r 4 ) 1 ⎠ ⎟ ⎞
2. u d − u 0 = ( u − u 0 ) ( 1 + k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m 2. u_d -u_0 = (u-u_0)(1+k_1r^2+k_2r^4)+tangential \ term 2 . u d − u 0 = ( u − u 0 ) ( 1 + k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m v d − v 0 = ( v − v 0 ) ( 1 + k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m v_d-v_0 =(v-v_0)(1+k_1r^2+k_2r^4)+tangential \ term v d − v 0 = ( v − v 0 ) ( 1 + k 1 r 2 + k 2 r 4 ) + t a n g e n t i a l t e r m
