[확률] Expectation & Variance

• 필요한 distribution
  • bernoulli(p)
    • PMF/PDF : $p^{X}(1-p)^{1-X}$
  • binominal(n, p)
    • PMF/PDF : $nCx *p^{X}(1-p)^{n-X}$ = $n!/(n-x)!x! * p^{X}(1-p)^{n-X}$
  • possion($\lambda$)
    • PMF/PDF : $\lambda^{x} e^{-\lambda}/x!$
  • normal($\mu, \sigma^2$)

Expectation

• 의미
  • Expected Value = mean = first moment
  • E(x), $\mu$ : sum or integral of x*f(x)
    • f(x) : PMF(discrete) or PDF(continuous)
    • sum/integral은 x들에 대한 것
• property of expectation
  • The Rule of the Lazy Statisticain
    
  • for multivariate variables
    
  • sum (independent 아니어도 됨)
    
  • product (모든 X는 independent 이어야 한다)
    
• 대표적 예
  • Bernoulli(p) : E(x) = p
  • Binominal(n, p) : E(x) = np
  • Poisson($\lambda$) : E(x) = $\lambda$

Variance

• 정의
  • variance
    
  • standard deviation
    
• Property
  
• 대표적 예
  • Bernoulli(p) : V(X) = p(1-p)
  • Binomial(n, p) : V(X) = np(1-p)
  • Poisson($\lambda$) : V(X) = $\lambda$

대표적인 RVs (다 외울 필요 x)

Covariance & Correlation

• definition

  • covariance (두 RV의 variance 합침, 둘 사이의 관계)
    
  • correlation (covariance 표준화)
    

• Property

  • Cov 구하기
    • X, Y가 독립이면 0 이 된다.(관계 없음)
  • Cor 범위
    
  • Cov 합
    • V(X + Y) = V(X) + V(Y) + 2Cov(X, Y)
    • V(X - Y) = V(X) + V(Y) - 2Cov(X, Y)

Multivatiate RVs

• Definition
  
  일 때,

  • mean $\mu$
    

  • Variance $\sum$ (Covariance Matrix form)

    • symmetric

      symmetric 이란?
      $V^T = V$, 즉 대각선을 기준으로 대칭

• Property

  • a : vector 일 때
    
  • a : matrix 일 때
    

Conditional Expectation & Variance

• Conditional Expectation

  • Definition
    • These are functions of y, RVs of Y
  • Property
    

• Conditional Variance

  • definition
    
  • Property
    

Monte-Carlo Simulation

• 목적
  • 많은 경우, X의 distribution만 알고 있을 때, E(f(X))와 V(f(X)) 를 계산하기 어렵다.
  • Computer Simulation을 통해 이 문제를 해결한다.
• 방법
  • X를 random으로 B번 생성한다.
  • 생성한 X들로 f(X)를 구한다.
  • 구한 f(X) 값들의 mean, variance를 구한다.