Camera Model
좌측은 실제의 모습, 우측은 CV에서 가정하는 Camera model의 모습이다.
원래는, Image Plane (사진이 사영되는 공간) 이 Focal Point(렌즈의 중심) 의 뒷면에 있는것이 정상이다.
Orthographic Projection
빛이 물체에 Image Plane과 수직으로 닿을 경우, Orthographic projection이 발생한다.
그림자를 생각해보면 쉬운데, 빛을 물체에 정면으로 벽에 수직인 방향으로 쏘면 그림자가 아주 똑바르게 생긴다.
딱 그런 상황이라고 생각하면 된다.
아래 행렬연산을 통해 쉽게 Orthographic Projection을 수행할 수 있다.
단순히 Z component를 떨궈주는 것과 같다.
여기서, 1로 되어있는 엔트리들이 s라는 factor로 바뀌면 Scaled orthography 라는 projection이 된다.
Perspective Projection
위처럼 특수케이스가 아니라면, 대부분의 경우에는 Perspective projection에 해당될 것이다.
Focal Length:
렌즈의 중심과, 이미지 플레인까지의 거리이다. 위에서 f로 표현되어있는 위치이다.
삼각형의 닮음비를 사용해서, xs, xc간의 비율을 구할 수 있다.
여기서 xc는 실제 물체가 있는 위치, xs는 Image Plane에 사영된 위치를 의미한다.
위에서 삼각형 닮음비를 통해, 구한 비율을 적용하면 위 행렬로 표현이 가능해진다.
Principal Point Offset
음수 픽셀을 없애기 위한 방법이다.
아래 그림처럼, 좌표에 해당하는 픽셀들이 음수를 가지지 않도록 조정해준다고 이해하자.
그리하여 아래와 같은 최종 행렬이 나온다.
Calibraion Matix (K)
Camera Intrinsic을 담당하는 행렬이고, intrinsic이라는 말 그대로, 카메라 내부의 속성을 뜻한다.
focal length라든지, s로 표현된 skewed 라든지, c에 대응되는 Principal point 가 포함된다.
이러한 Calibration Matrix는 보통 K로 표현한다.
Camera Extrinsic
여기에 만약, Extrinsic요소를 더한다면 어떻게 될까?
아래는 R(회전)과 t(이동)을 포함시킨 카메라 외부적인 요소를 결정하는 행렬까지 고려한 형태이다.
먼저, xw라는 기존의 위치가 있다고 했을때, Extrinsic 행렬을 좌측에 곱하고, 좌측에 Calibration matrix를 곱한다.
보통 아래와같은 full rank 4x4 projection Matrix의 형태가 선호된다고 한다.
Inverse Depth
개념: 객체의 깊이를 표현하는 방법중 하나로, 거리의 역수로 표현. 무한대에 가까운 깊이도 효과적으로 표현이 가능하다.
위의 행렬 연산식에서 xs에 해당하는 점은, Image plane위의 점이다. (편의상 점이라 표현)
그 지점의 Homogeneous coordinates에 해당하는 좌표를 augmented vector로 표현하면 아래와 같다.
위 식에서 4번째 요소를 inverse depth라고 한다.
만약 이 값을 알고, 우리가 Camera Intrinsic, Extrinsic matrix를 안다면 원래의 좌표를 구할 수 있다. 그러나 inverse depth를 정확히 알지 못하면, 정확한 복구는 불가능하다.
