Bayesian (Recursive) Estimation

김민재·2024년 4월 29일

ML

목록 보기

5/17

Bayesian Estimation을 설명하기 위한 몇가지 이론들을 먼저 보자.

Example. Door open?

문이 하나 존재하고, 문의 상태를 $X$ , 센서의 관측을 $Z$ 라 하면

X = \left \{ \text{open , closed}\right \} \qquad Z = \left \{ \text{sensor{\_}open , sensor{\_}closed}\right \}

다음처럼 나타낼 수 있다.
문은 외력이 작용하지 않는다고 하고, 센서의 성능은 다음과 같다고 하자.

\begin{aligned} &p(\text{sensor{\_}open} | \text{open}) = 0.7, \;\; p(\text{sensor{\_}open} | \text{closed}) = 0.2 \\ &p(\text{sensor{\_}closed} | \text{open}) =0.3 \;\ \; p(\text{sensor{\_}closed} | \text{closed}) = 0.8 \end{aligned}

이제 처음에 문의 상태를 모르므로 uniform하게 확률을 설정하고, 우리가 구해야 하는 것은 센서가 열렸다는 관측이 주어졌을때, 실제로 문이 열렸는지를 알고 싶은것이다.

그렇다면 베이즈 룰에 의해 다음과 같은 식을 얻을 수 있다.

p(x_j|z) = \frac{p(z|x_i)p(x_j)}{\sum_{i=1}^n p(z|x_i)p(x_i)} = \eta\ \cdot p(z|x_j)p(x_j)

위의 식에 아까의 확률을 곱하여 계산해보면 센서 관측이 열렸다고 주어졌을때, 실제로 문이 열렸을 확률 $p(\text{open}|\text{sensor{\_}open}) = \frac{7}{9}$ 임을 알 수 있다.

이를 간단하게 행렬 계산으로도 나타낼 수 있다

\begin{bmatrix} 0.7\times0.5 & 0.3\times 0.5\\ 0.2 \times0.5 &0.8\times0.5 \end{bmatrix} =\left ( \begin{bmatrix} 0.7 & 0.2\\ 0.3 & 0.8 \end{bmatrix}^T \right ) \odot \begin{bmatrix} 0.5\\0.5 \end{bmatrix}

그리고 1열의 결과를 normalize하면 된다.

여기서, 센서의 성능에 따라 결정되는 행렬을 Measurement Model 이라고 한다.

아마 이 그림이 HMM을 가장 잘 표현하는 그림일 것이다.

여기서는 중요한 2가지 가정이 존재한다.

HMM에는 여러가지 경우가 있는데, 먼저 위에서 예제로 보았던 Measurement model만 있는 경우를 먼저 보겠다.

아까의 예시에서 좀더 나아가, 이번엔 센서의 관측이 2번 들어온다고 해보자

p(\text{open} | \text{sensor{\_}open , sensor{\_}open})

예를 들자면 이러한 경우이다.

여기서 HMM의 강력한 점이 등장하는데, 오직 현재 상태는 이전 상태에만 dependent하기 때문에,

p(\text{open} | \text{sensor{\_}open , sensor{\_}open}) = p(\text{open} | \text{sensor{\_}open})

이렇게 된다는 것이다.

HMM에 시간에 따른 State Transition ( $x_t$ )과 Measurement ( $z_t)$ 가 있는 경우이다.

$x_1$ 에서 $x_2$ 로 state transition이 일어났고, 그때의 관측을 $z_2, z_1$ 이라 하면, $\begin{aligned} p(x_2|z_2,z_1) = &\eta_2 \ p(z_2|x_2,z_1)p(x_2|z_1)\\ = & \eta_2 \ \underbrace{p(z_2|x_2)}_1\underbrace{p(x_2|z_1)}_2 \end{aligned}$