01. Basic Probability
Chance Events
- 무작위성(Randomness)은 우리 주변에 있다.
- 확률론(Probability)은 우연한 사건을 논리적으로 분석할 수 있게 한다.
- 확률은 특정 사건이 발생할 것 같음을 숫자로 나타낸다.
- 이 숫자는 0과 1 사이이다.
- 0은 불확실함, 1은 확실함을 나타낸다.
- 동전 던지기가 가장 유명한 확률의 예시이다.
- 동전의 위, 아래가 나올 확률은 각각 21
- 하지만 실제로 실험해보면 위 확률이 나오지 않는다.
- 하지만 수행 횟수가 높아질 수록 위 확률에 가까워진다.
- 하지만 만약 동전의 무게가 불균형적이라면, 동전의 위, 아래가 나올 확률이 달라진다.
- 이럴 경우, 실제 확률이 조정될 수 있도록 가중치나 분포를 조정해야 한다.
- 확률 변수(random variable)로 설정
Expectation
- 확률 분포의 중앙을 포착하려는 의도를 갖고 있는 숫자이다.
- 주어진 분포에서 많은 독립 표본의 평균으로 해석
- 확률 변수의 모든 값의 가중 합으로 정의: E[x]=Σx∈XxP(x)
Variance
- 확률 분포 내에서 얼마나 넓게 퍼져있는 지를 정량화
- 기대값과 모든 확률 변수 사이의 차이를 제곱한 값의 평균: Var(X)=E[(X−E[X])2]
02. Compound Probability
Set Theory
- 집합(set): object의 모음
- 확률론에서 누적된 사건을 특정화하기 위해 집합 사용
- 집합의 대수(algebra)에 익숙해지는 것이 중요
- 대수(algebra): 일련의 공리들을 만족하는 수학적 구조들의 일반적인 성질을 연구하는 분야
Counting
- 특정 조건을 만족하는 집합이나 순서의 수를 세보는 것은 어렵다.
- 예제: 가방에 여러 가지 색의 공이 들어 있을 때, n번 공을 꺼내는 경우
- 어떤 순서로 무슨 색의 공을 꺼냈는지? → 순열(permutations): nPr
- 어떤 색의 공들이 선택되었는지? → 조합(combinations): nCr
Conditional Probability
- 조건부 확률(Conditional Probability)는 우리가 관심있는 정보들에 대해 설명한다.
- 우리가 갖고 있는 정보와 관련된 정보에 대해 설명
- 예시: 오늘 구름이 꼈을 때, 내일 비가 올 확률
- 오늘 구름이 낀 것을 알고 있을 때(우리가 보유한 정보), 내일 비가 올 확률
- 조건부 확률 계산은 우리가 갖고 있는 sample의 차원을 줄인다.
- 비가 온 날의 sample에서 전 날에 비가 온 sample만 추려야 하기 때문
03. Probability Distributions
Random Variables
- 확률 변수는 확률 공간에서 각 결과에 실수를 할당하는 함수이다.
- 주어진 확률 공간에서, 표본(sample)을 추출해가며 경험적으로(empirical) 분포를 찾는다.
Discrete and Continuous
- Discrete Random Variable(이산 확률 변수)
- 유한하거나 모든 가능한 경우를 셀 수 있는 변수
- X가 확률 변수라면, 음수가 아닌 아래의 함수 존재
- P(X=x)=f(x)
- f(x): 확률 질량 함수(probability mass function)
- P(X<x=F(x)
- F(x): 누적 확률 분포 함수(cumulative distribution function)
- Bernoulli Distribution(베르누이 분포)
- 값이 1일 확률이 p 이고 값이 0일 확률이 1−p 인 분포
- 주로 이진 실험을 할 때 사용
- f(x;p)={pif,x=11−pif,x=0
- Binomial Distribution(이진 분포)
- n개의 독립적인 Bernoulli 분포의 합
- 동일한 이진 실험을 여러번 수행해 성공 횟수를 측정할 때 사용
- f(x;n,p)=(nx)px(1−p)(n−x)
- Geometric Distribution(기하 분포)
- 성공 확률이 p 인 독립적인 수행을 할 때 1번 성공할 수행 횟수의 분포
- 특정 사건을 관찰하기 위해 특정 작업을 수행해야하는 횟수를 측정할 때 사용
- f(x;p)=(1−p)xp
- Poisson Distribution(포아송 분포)
- 특정 사건의 평균 발생률이 λ 일 때, 고정된 시간 간격이나 공간에서 특정 사건의 발생 홧수의 분포
- 축구 경기에서 골을 넣을 확률을 측정할 때 사용
- f(x;λ)=x!λxe−λ
- Negative Binomial Distribution(음이항분포)
- r 번의 실패가 발생하기 이전의 파라미터 p 를 보유한 독립적인 베르누이 분포의 성공 횟수
- 동전 던지기에서 3번의 밑면이 나오기 전에 윗면이 나온 수를 추정할 때 사용
- f(x;n,r,p)=(x+r−1x)px(1−p)x
- Continuous Random Variable(연속 확률 변수)
- 가능한 경우의 수가 셀 수 없이 무한한 확률 변수
- X가 확률 변수라면, 음수가 아닌 아래의 함수 존재
- P(a≤X≤b)=∫abf(x)dx
- f(x): 확률 밀도 함수(probability density function)
- P(X<x)=F(x)
- F(x): 누적 확률 분포 함수(cumulative distribution function)
- Uniform Distribution(균등 분포)
- 모든 값이 동일한 확률을 보유한 분포
- ex) 사람의 탄생 날짜, 시간 - 1년에 모든 날짜, 시간은 동일하게 존재하므로
- f(x;a,b)={b−a1forx∈[a,b]0otherwise
- a,b: x 값 범위의 하한값, 상한값
- Normal(Gaussian) Distribution(정규 분포)
- 종 모양의 분포
- 과학에서 많은 요인들에 의해 추가적으로 생성된다고 가정되는 실제 값을 나타내는 것에 사용
- ex) 사람들의 몸무게 - 많은 유전적, 환경적 요인의 영향을 받기 때문
- f(x;μ,σ)=2πσ21e−2σ2(x−μ)2
- Student T Distribution(T 분포)
- sample의 크기가 작거나 표준 분포를 모를 때 정규 분포의 평균을 추정하기 위해 사용
- f(x)=kUZ,Z∼N(0,1),U∼χk
- Chi Squared Distribution(카이 제곱 분포)
- k 자유도를 값는 카이 제곱 분포: k개의 독립적이고 동일하게 분포한 표준 정규 확률 변수 제곱의 합
- 신뢰 구간 측정에 사용
- f(x)=Σi=1kZi2,Zi∼i.i.d.N(0,1)
- Exponential Distribution(지수 분포)
- 기하 분포의 연속적인 형태
- 주로 모델링 대기 시간 계산에 사용
- f(x;λ)={λe−λxif,x≥00otherwise
- F(Fisher-Snedecor) distribution(F 분포)
- 검정 통계량의 귀무 분포(null distribution)
- 주로 분산 분석에서 사용
- Gamma Distribution(감마 분포)
- 연속 확률 분포의 일반적인 계열
- 지수 분포와 카이 제곱 분포는 감마 분포의 특별한 케이스
- Beta Distribution(베타 분포)
- 0과 1사이의 값을 갖는 연속 분포의 일반적인 계열
- 두 매개변수(모수) α,β에 따라 정의됨
- 베이지안 통계학에서 conjugate prior distribution으로 자주 사용
- 사전 정보가 없는 상황에서 베타분포 많이 가능
- 모수에 따라 다양한 형태로 변형 가능하기 때문
Central Limit Theorem
- sample의 수가 클 수록, 확률 변수는 정규 분포를 따른다는 이론
추가적인 공부
Dirichlet Distribution
- 연속 확률분포 중 하나로 k 차원의 실수 벡터 중 벡터의 요소가 양수이며, 모든 요소의 합이 1인 경우에 대한 확률값 정의하는 분포
- 다중 분류에서 softmax를 통과한 마지막 vector 형태라고 봐도 될 듯?
- k=2인 경우, 베타 분포 형태를 가짐(이진 분류 느낌?)
- 디리슐레 분포는 베타 분포의 일반화된 형태!!!!
- 베이즈 통계학에서 다항 분포에 대한 사전 켤레확률(conjugate prior distribution)
Weibull distribution
- 연속 확률 분포 중 하나
- 분포가 유연해 수명 데이터 분석에 자주 사용
- 정상분포나 지수분포 같은 다른 통계 분포 흉내 가능
- 부품이 고장날 확률이 시간이 지나면서 높아지는 경우와 줄어드는 경우 모두 추정 가능
- 사용 예시
- 부품의 수명 추정 분석
- 어떤 제품의 제조와 배달에 걸리는 시간 추정
- 날씨 예보
- 신뢰성 공학에서 실패 분석
- f(x;k,λ)={λk(λx)k−1e−(λx)2,x≥00,x<0
- k>0: shape parameter, λ>0: scale parameter
- k=1: 지수 분포
- x: 실패 횟수, k: power plus one
- k<1: 시간이 지날수록 실패율 감소
- k=1: 시간이 지나도 실패율 동일
- k>1: 시간이 지날수록 실패율 증가
- 유연하기 때문에 데이터 분석이나 품질 관련 분야에서 매우 큰 인기를 얻음!!!!!!!!
Reference
- Seeing Theory
- Dirichlet distribution - Wikipedia
- Weibull distribution - Wikipedia