Markov Decision Process

1. 모든 State와 Action은 Random Variable이다

• $s_1$일때 $a_1$을 구하려면 굳이 $s_0$과 $a_0$는 알 필요가 없다.
• 왜? 이미 $s_1$에 반영이 되어있으니까. 따라서 아래와 같이 다시 표현할 수 있다

• 그럼 아래와 같은 경우 어떨까
  $p(s_2|s_0,a_0,s_1,a_1)$
• $s_2$를 알기 위해서는 $s_1$과 $a_1$이 모두 필요하다
• $s_1$에는 $s_0$, $a_0$는 이미 반영이 되어있다
• 따라서 아래와 같이 다시 표현할 수 있다

• Sufficient Statistics -> https://velog.io/@kbc-1315/DetnEst-5.-General-MVUE#sufficient-statistics

2. Policy

• 상태 $s$에서 어떤 행동 $a$를 하는 분포

• 얘는 Trainsition or 전이

---

강화학습에서는 Return을 Maximize한다 -> 정확히는 Expected Return

• Action $a_t$를 했을때 넘어간 State에서 받는 Reward : $R_t$
• 따라서 Expected Return$E[G_t]$을 Maximize하는 Policy를 찾는다

원본 출처[혁펜하임 유튜브] : https://www.youtube.com/watch?v=DbbcaspZATg&list=PL_iJu012NOxehE8fdF9me4TLfbdv3ZW8g&index=3