Least Squares Optimization을 왜 할까요?

이 게시글은 장형기님의 SLAM 기술면접 질문 100선에 대한 제 나름대로의 답을 정리한 게시글입니다.

---

Least Square Optimization은 주어진 데이터에서 모델과 관측값 사이의 오차 제곱합을 최소화하는 최적화 기법입니다.

모델 $f(x,\theta)$가 있을 때 관측 데이터 y와 가장 잘 맞도록 parameter를 조정한다고 하면

$e_i = y_i - f(x_i,\theta)$를 이용하여
$J(\theta) = \Sigma_{i=1}^Ne_i^2 = \Sigma_{i=1}^N(y_i-f(x_i,\theta))^2$를 작게 최적화를 하는 것입니다.

우리의 model의 출력값이 실제 데이터와의 오차가 작으면 얼추 실제와 비슷하게 잘하고 있다는 뜻이니
최적화를 잘했다고 생각할 수 있습니다.

Least Square Optimization의 장점과 단점

• 장점

1. 효율성: 계산이 비교적 간단합니다.

2. 유연성: 비선형 모델에도 적용이 가능합니다.

• 단점

1. 큰 오차 민감성: 노이즈나 Outlier에 취약합니다.

2. 비선형 문제: 반복적 최적화가 필요하며, 초기값에 따라 성능이 크게 달라질 수 있습니다.

Maximum-a-posteriori (MAP)와 Maximum likelihood (MLE) 문제가 SLAM에 어떻게 적용되는지 설명해주세요.

MAP와 MLE는 관측값을 토대로 현재 위치를 추정할 때 사용됩니다.

Posteror식은 bayes rule을 적용하여 likelihood가 포함된 식을 만들 수 있습니다.

관측값 X를 통해 Z를 추정하는 과정에서 MAP, MLE를 활용할 수 있습니다.

• MLE

두개의 likelihood를 최대화 시키면서 우리가 관측한 Z에 맞는 상태값 X를 찾는 것이 Maximum likelihood문제입니다.

• MAP

  MLE와는 달리 P(X|Z)를 최대화 시키는 것이 MAP 방식입니다. 이것은 무엇이 다를까요?
  우리는 관측한 Z가 있고 이것을 통해 상태 X를 추정하려는 것입니다.
  P(X|Z)가 맞는거 아니야? 라는 생각이 저절로 들 것입니다.
  하지만 이것을 구하는 것은 쉽지 않습니다.
  likelihood의 경우 분포의 결과값을 우리가 가지고 있기 때문에 답을 보고 풀이 과정을 푸는 것이라고 생각하시면 됩니다.
  하지만 엄밀하게 우리가 구하려는것은 Posterior이기 때문에 MLE로는 찜찜한 면이 있지만 간단하기도 하고 대충 맞기 때문에 MLE를 사용합니다.
  MAP는 P(X)도 계산에 넣어서 Optimization을 해주는 것입니다.

  $X^* = argmax_XP(X|Z)$

  Bayes Rule을 활용하여

  $P(X|Z) \propto P(Z|X) \cdot P(X)$

  이렇게 나타내어 계산을 합니다.

  MAP, MLE 비교

  그렇다면 무조건 MAP가 좋은 것일까요??
  꼭 그런 것은 아닙니다. 관측 데이터만 많다면 MLE만으로도 정확한 추정을 할 수 있습니다.
  또 계산이 빠르고 편리하다는 장점도 있기 때문에 상황에 따라 마음에 드는 것을 사용하시면 되겠습니다.

  ---