[확률통계] 확률론 기초 및 확률 분포

권유진·2023년 1월 12일
0

수학

목록 보기
1/2

01. Basic Probability

Chance Events

  • 무작위성(Randomness)은 우리 주변에 있다.
  • 확률론(Probability)은 우연한 사건을 논리적으로 분석할 수 있게 한다.
  • 확률은 특정 사건이 발생할 것 같음을 숫자로 나타낸다.
    • 이 숫자는 0과 1 사이이다.
    • 0은 불확실함, 1은 확실함을 나타낸다.
  • 동전 던지기가 가장 유명한 확률의 예시이다.
    • 동전의 위, 아래가 나올 확률은 각각 12\frac{1}{2}
      • 하지만 실제로 실험해보면 위 확률이 나오지 않는다.
      • 하지만 수행 횟수가 높아질 수록 위 확률에 가까워진다.
    • 하지만 만약 동전의 무게가 불균형적이라면, 동전의 위, 아래가 나올 확률이 달라진다.
      • 이럴 경우, 실제 확률이 조정될 수 있도록 가중치나 분포를 조정해야 한다.
      • 확률 변수(random variable)로 설정

Expectation

  • 확률 분포의 중앙을 포착하려는 의도를 갖고 있는 숫자이다.
    • 중앙성(centrality)를 측정한 값
  • 주어진 분포에서 많은 독립 표본의 평균으로 해석
    • 확률 변수의 모든 값의 가중 합으로 정의: E[x]=ΣxXxP(x)E[x] = \Sigma_{x\in X} xP(x)

Variance

  • 확률 분포 내에서 얼마나 넓게 퍼져있는 지를 정량화
  • 기대값과 모든 확률 변수 사이의 차이를 제곱한 값의 평균: Var(X)=E[(XE[X])2]Var(X) = E[(X-E[X])^2]

02. Compound Probability

Set Theory

  • 집합(set): object의 모음
  • 확률론에서 누적된 사건을 특정화하기 위해 집합 사용
    • 집합의 대수(algebra)에 익숙해지는 것이 중요
      • 대수(algebra): 일련의 공리들을 만족하는 수학적 구조들의 일반적인 성질을 연구하는 분야

Counting

  • 특정 조건을 만족하는 집합이나 순서의 수를 세보는 것은 어렵다.
  • 예제: 가방에 여러 가지 색의 공이 들어 있을 때, nn번 공을 꺼내는 경우
    • 어떤 순서로 무슨 색의 공을 꺼냈는지? \rarr 순열(permutations): nPr_nP_r
    • 어떤 색의 공들이 선택되었는지? \rarr 조합(combinations): nCr_nC_r

Conditional Probability

  • 조건부 확률(Conditional Probability)는 우리가 관심있는 정보들에 대해 설명한다.
    • 우리가 갖고 있는 정보와 관련된 정보에 대해 설명
  • 예시: 오늘 구름이 꼈을 때, 내일 비가 올 확률
    • 오늘 구름이 낀 것을 알고 있을 때(우리가 보유한 정보), 내일 비가 올 확률
  • 조건부 확률 계산은 우리가 갖고 있는 sample의 차원을 줄인다.
    • 비가 온 날의 sample에서 전 날에 비가 온 sample만 추려야 하기 때문

03. Probability Distributions

  • 모든 가능한 결과의 상대적인 우도를 나타냄

Random Variables

  • 확률 변수는 확률 공간에서 각 결과에 실수를 할당하는 함수이다.
  • 주어진 확률 공간에서, 표본(sample)을 추출해가며 경험적으로(empirical) 분포를 찾는다.

Discrete and Continuous

  • Discrete Random Variable(이산 확률 변수)
    • 유한하거나 모든 가능한 경우를 셀 수 있는 변수
    • XX가 확률 변수라면, 음수가 아닌 아래의 함수 존재
      • P(X=x)=f(x)P(X=x) = f(x)
        • f(x)f(x): 확률 질량 함수(probability mass function)
      • P(X<x=F(x)P(X < x = F(x)
        • F(x)F(x): 누적 확률 분포 함수(cumulative distribution function)
    • Bernoulli Distribution(베르누이 분포)
      • 값이 1일 확률이 pp 이고 값이 0일 확률이 1p1-p 인 분포
      • 주로 이진 실험을 할 때 사용
      • f(x;p)={p                    if,  x=11p        if,x=0f(x;p) = \begin{cases} p \;\;\;\;\;\;\;\;\;\; if,\; x=1 \\ 1-p \;\;\;\; if, x=0 \end{cases}
    • Binomial Distribution(이진 분포)
      • nn개의 독립적인 Bernoulli 분포의 합
        • 파라미터 pp 보유
      • 동일한 이진 실험을 여러번 수행해 성공 횟수를 측정할 때 사용
      • f(x;n,p)=(nx)px(1p)(nx)f(x;n,p) = \begin{pmatrix} n \\ x \end{pmatrix} p^x(1-p)^{(n-x)}
        • xx: 성공 횟수
    • Geometric Distribution(기하 분포)
      • 성공 확률이 pp 인 독립적인 수행을 할 때 1번 성공할 수행 횟수의 분포
      • 특정 사건을 관찰하기 위해 특정 작업을 수행해야하는 횟수를 측정할 때 사용
      • f(x;p)=(1p)xpf(x;p)=(1-p)^xp
        • xx: 수행 횟수
    • Poisson Distribution(포아송 분포)
      • 특정 사건의 평균 발생률이 λ\lambda 일 때, 고정된 시간 간격이나 공간에서 특정 사건의 발생 홧수의 분포
      • 축구 경기에서 골을 넣을 확률을 측정할 때 사용
      • f(x;λ)=λxeλx!f(x;\lambda) = \frac{\lambda^x e^{-\lambda}}{x!}
    • Negative Binomial Distribution(음이항분포)
      • rr 번의 실패가 발생하기 이전의 파라미터 pp 를 보유한 독립적인 베르누이 분포의 성공 횟수
      • 동전 던지기에서 3번의 밑면이 나오기 전에 윗면이 나온 수를 추정할 때 사용
      • f(x;n,r,p)=(x+r1x)px(1p)xf(x;n,r,p) = \begin{pmatrix} x+r-1 \\ x \end{pmatrix} p^x(1-p)^x
  • Continuous Random Variable(연속 확률 변수)
    • 가능한 경우의 수가 셀 수 없이 무한한 확률 변수
    • XX가 확률 변수라면, 음수가 아닌 아래의 함수 존재
      • P(aXb)=abf(x)dxP(a \le X \le b) = \int^b_a f(x) dx
        • f(x)f(x): 확률 밀도 함수(probability density function)
      • P(X<x)=F(x)P(X<x) = F(x)
        • F(x)F(x): 누적 확률 분포 함수(cumulative distribution function)
    • Uniform Distribution(균등 분포)
      • 모든 값이 동일한 확률을 보유한 분포
        • ex) 사람의 탄생 날짜, 시간 - 1년에 모든 날짜, 시간은 동일하게 존재하므로
      • f(x;a,b)={1ba      for  x[a,b]0              otherwisef(x;a,b)=\begin{cases} \frac{1}{b-a} \;\;\; for \; x \in[a,b]\\ 0 \;\;\;\;\;\;\; otherwise \end{cases}
        • a,ba,b: xx 값 범위의 하한값, 상한값
    • Normal(Gaussian) Distribution(정규 분포)
      • 종 모양의 분포
      • 과학에서 많은 요인들에 의해 추가적으로 생성된다고 가정되는 실제 값을 나타내는 것에 사용
        • ex) 사람들의 몸무게 - 많은 유전적, 환경적 요인의 영향을 받기 때문
      • f(x;μ,σ)=12πσ2e(xμ)22σ2f(x;\mu,\sigma) = \frac{1}{\sqrt{2\pi \sigma^2} }e^{-\frac{(x-\mu)^2}{2\sigma^2}}
    • Student T Distribution(T 분포)
      • sample의 크기가 작거나 표준 분포를 모를 때 정규 분포의 평균을 추정하기 위해 사용
      • f(x)=ZUk,      ZN(0,1),Uχkf(x) = \frac{Z}{\sqrt{\frac{U}{k}} },\;\;\; Z\sim N(0,1), U \sim \chi_k
    • Chi Squared Distribution(카이 제곱 분포)
      • kk 자유도를 값는 카이 제곱 분포: kk개의 독립적이고 동일하게 분포한 표준 정규 확률 변수 제곱의 합
      • 신뢰 구간 측정에 사용
      • f(x)=Σi=1kZi2,      Zii.i.d.N(0,1)f(x) = \Sigma^k_{i=1}Z_i^2,\;\;\; Z_i\sim^{i.i.d.} N(0,1)
    • Exponential Distribution(지수 분포)
      • 기하 분포의 연속적인 형태
        • 1번째 성공할 때까지 발생하는 시간
      • 주로 모델링 대기 시간 계산에 사용
      • f(x;λ)={λeλx      if,  x00                    otherwisef(x;\lambda) = \begin{cases} \lambda e^{-\lambda x} \;\;\; if,\; x\ge 0 \\ 0 \;\;\;\;\;\;\;\;\;\; otherwise \end{cases}
    • F(Fisher-Snedecor) distribution(F 분포)
      • 검정 통계량의 귀무 분포(null distribution)
      • 주로 분산 분석에서 사용
    • Gamma Distribution(감마 분포)
      • 연속 확률 분포의 일반적인 계열
      • 지수 분포와 카이 제곱 분포는 감마 분포의 특별한 케이스
    • Beta Distribution(베타 분포)
      • 0과 1사이의 값을 갖는 연속 분포의 일반적인 계열
      • 두 매개변수(모수) α,β\alpha, \beta에 따라 정의됨
      • 베이지안 통계학에서 conjugate prior distribution으로 자주 사용
        • 사전 정보가 없는 상황에서 베타분포 많이 가능
          • 모수에 따라 다양한 형태로 변형 가능하기 때문

Central Limit Theorem

  • sample의 수가 클 수록, 확률 변수는 정규 분포를 따른다는 이론

추가적인 공부

Dirichlet Distribution

  • 연속 확률분포 중 하나로 kk 차원의 실수 벡터 중 벡터의 요소가 양수이며, 모든 요소의 합이 1인 경우에 대한 확률값 정의하는 분포
    • 다중 분류에서 softmax를 통과한 마지막 vector 형태라고 봐도 될 듯?
    • k=2k=2인 경우, 베타 분포 형태를 가짐(이진 분류 느낌?)
      • 디리슐레 분포는 베타 분포의 일반화된 형태!!!!
  • 베이즈 통계학에서 다항 분포에 대한 사전 켤레확률(conjugate prior distribution)

Weibull distribution

  • 연속 확률 분포 중 하나
  • 분포가 유연해 수명 데이터 분석에 자주 사용
    • 정상분포나 지수분포 같은 다른 통계 분포 흉내 가능
    • 부품이 고장날 확률이 시간이 지나면서 높아지는 경우와 줄어드는 경우 모두 추정 가능
  • 사용 예시
    • 부품의 수명 추정 분석
    • 어떤 제품의 제조와 배달에 걸리는 시간 추정
    • 날씨 예보
    • 신뢰성 공학에서 실패 분석
  • f(x;k,λ)={kλ(xλ)k1e(xλ)2,      x00,                                              x<0f(x;k,\lambda) = \begin{cases} \frac{k}{\lambda}(\frac{x}{\lambda})^{k-1}e^{-(\frac{x}{\lambda})^2}, \;\;\; x\ge 0 \\0, \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; x<0 \end{cases}
    • k>0k>0: shape parameter, λ>0\lambda>0: scale parameter
    • k=1k=1: 지수 분포
  • xx: 실패 횟수, kk: power plus one
    • k<1k<1: 시간이 지날수록 실패율 감소
    • k=1k=1: 시간이 지나도 실패율 동일
    • k>1k>1: 시간이 지날수록 실패율 증가
  • 유연하기 때문에 데이터 분석이나 품질 관련 분야에서 매우 큰 인기를 얻음!!!!!!!!

Reference

  1. Seeing Theory
  2. Dirichlet distribution - Wikipedia
  3. Weibull distribution - Wikipedia
profile
데이터사이언스를 공부하는 권유진입니다.

0개의 댓글