1. Bundle Adjustment

triangulation

2개의 2D image가 있는 상태에서 각 이미지의 2d-2d correspondence와 두 이미지 간의 R|t를 이용해 3D-point를 유추해 내는 것.

Bundle Adjustment

n개의 프레임들이 있고 각 프레임들 간의 R|t 값을 알고 2d-2d correspondence를 알고있다고 할때 3d point(x,y,z)를 유추해 내는 것.
각각의 랜드마크는 2개 이상의 2d-3d correspondence를 가지고 있다.

하지만 프레임들간 R|t와 2d-2d correspondence는 오차가 존재한다. -> reprojection error

이 오차를 줄여서 최적의 3d-point를 찾게끔 하는 것이 BA이다.

SLAM에서 BA의 사용처

1. Loop closure

• 루프가 감지되면 그동안의 카메라 포즈와 랜드마크의 위치를 최적화 하여 drift를 해소하는 것.

2. Sliding-window optimization

• 최근 N개의 키프레임들을 통해 카메라 포즈와 랜드마크의 위치를 최적화 하여 실시간으로 정확한 포즈값을 찾도록 하는 기법.

2. Nonlinear optimization

BA는 reprojection error가 최소가 되는 state vector가 무엇인가를 찾는 문제이다. 이를 풀기 위해 least squares optimization을 사용하고 noise는 Gaussian 형태로 존재한다는 전제를 가진다.