Goal: Mapped to a Pixel Coordinate

world coordinate는 3d, pixel coordinate는 2d
어떻게 3d->2d로 변환할지 알아보기

Coordinate Systems 종류

좌측 위에 있는 index에 따라서 이게 어떤 좌표계(coordinate system)인지 알 수 있다.
index를 읽을 때,
from 오른쪽아래 index로부터 왼쪽위 index로!

image plane은 camera coordinate system(k)로부터 camera constant만큼 떨어져 있음

즉, camera constant는 image plane이 나의 카메라의 prediction center로부터 얼만큼 떨어져 있는지 알려줌

그리고 image plane 다음으로는 sensor가 있음

image plane -> camera는 Z축으로 shift한 것

World->Sensor로 가는 과정

ideal projection(3D->2D)에서는 몇몇 정보들을 잃고 있다는 것을 의미

Extrinsic & Intrinsic

• extrinsic parameter: outside the camera
  ex) 카메라 이동, 회전
• intrinsic parameter: inside the camera
  ex) sensor가 prediction center로 부터 얼마나 솟아있는지

---

Extrinsic Parameters

이 과정에서 사용되는 것이 바로 extrinsic parameter

world/object 좌표계 => camera 좌표계

총 6개의 parameter가 필요함
Point P와 Center O

Translation & Rotation

동차좌표계로 표현한 형식
두가지 방식으로 쓸 수 있다

---

Intrinsic Parameters

inside the camera에서 일어나기 때문에 camera를 이동시키거나 회전해도 영향을 받지 않는다.
k->c는 not invertible하지만
나머지 transformation들은 invertible하다
(화살표 방향을 제대로 살펴보면 되지)
세 단계로 쪼개서 설명할 수 있다.

자 이제 central projection에 대해 알아볼 시간 :D

[1] Ideal Perspective Projection

Camera Constant

In Homogenous Coordinates

3D에서 2D로 바뀌었다고 생각하면 됨

Verify the Result

$Z_p$로 나누면 오른쪽벡터가 되는 것을 확인할 수 있음

Extrinsic과 Intrinsic을 모두 사용하여 표현한 행렬

---

Calibration Matrix

Euclidian Coordinates

---

[2] Mapping to the Sensor

(without non-linear errors)

이제 image plane -> sensor로 가는 과정을 알아볼 것

New Calibration Matrix

DLT: Direct Linear Transform

---

[3] Non-Linear Errors

이제 마지막 단계를 해볼 차례