Today I Learned

오늘은 수식에 쓰이는 기호들과 베이즈정리, 조건부 확률에 대해서 헷갈리는 개념들을 정리했다.

수식 정리

수식에서 쓰이는 기호들 일반적인 의미

$\hat{y}$ : y hat. 실제값 y의 추정값. 벡터에 씌우면 방향만 나타내는 단위벡터
$f'(x)$ : 도함수. 변화율. 미분해서 접선의 기울기를 구한 것.
$\bar f$ : bar. 함수의 평균값.
$\tilde f$ : 함수의 근사치. 비정규화된 함수, 변환된 함수

• i.i.d. : independent and identically distributed.
  각 샘플이 독립적이고 동일한 확률분포를 따르는 데이터.

• PDF : Probability Density Function. 확률 밀도 함수. (cdf의 미분)
  CDF : Cumulative Distribution Function. 누적 분포 함수. (pdf의 적분)

베이즈 정리 복습

• p(z|x) : 사후(posterior) 확률
  q(z) : 근사 분포
  p(z,x) : 결합 확률 = $p(x|z) \cdot p(z)$ = likelihood * prior 확률
  p(x) : 정규화상수, z에 대해 모든 가능한 값에 대해 결합확률을 적분한 값

• q(z)를 p(z|x)와 최대한 가깝게 근사하는 방법이 KL발산.

• 위의 식에서 정규화상수 p(x) = $\int p(z,x)dz$를 직접 구하는게 어렵다.
  따라서 아래의 샘플링 방법들을 사용한다.

조건부 확률 정리

• P(A,B) = P(A n B) : A, B가 동시에 발생할 확률, 결합확률(joint p~)

• P(A|B) = $\tfrac{P(A \cap B)}{P(B)}$: 조건부 확률.(conditional p~) B가 발생한 조건하에 A가 발생할 확률. 이 경우 B는 자연적으로 발생하거나 관찰된 사건이다.
  연관성(association)을 알아볼 때 사용

• P(A|do(B)) : B를 외부에서 인위적으로 강제로 수행한 조건 하에서 A가 발생할 확률.
  인과적 효과(causal effect)를 측정할 수 있다.