2024.01.09 TIL

확률과 확률 변수

• 통계학 : 여러 사건들을 수학적으로 모델링하고, 이를 분석하는 것

• 사건은 근본적으로 발생하기 전에는 알 수 없기 때문에 불확실성을 내포

• 동전 두번 던지기를 예시로 하면

  • Experiment: 동전를 던지는 행위
  • Sample: experiment의 결과(동전의 앞/뒤)
  • Sample space: experiment로 인해 발생하는 모든 Sample의 집합
  • Event: sample space의 부분 집합으로, 어떤 조건을 만족하는 특정한 표본점들의 집합
  • sample space S = {(앞,앞), (앞,뒤), (뒤,앞), (뒤,뒤)}

• 확률 : 실험을 실시했을 때, 나올 수 있는 모든 경우의 수 내에서 특정 사건이 발생하는 비율

  

  • 동전 앞면이 나올 확률 = 1 / 2
  • 확률의 성질
    1. 사건 A가 발생할 확률은 0과 1사이 값
    2. Sample space내 모든 사건의 확률의 합은 1이다

---

• 변수 : 특정 조건에 따라 변하는 값

  • 확률 변수는 확률에 따라 변하는 값

• 독립 변수(x, feature) : 다른 변수에 영향을 받지 않고, 종속 변수에 영향을 주는 변수

• 종속 변수(y, label) : 독립변수의 영향을 받아서 변화하는 변수

💡 독립변수를 조정할 때 종속 변수가 어떻게 변하는지를 알아내는 것이 중요

• 확률 변수 : 무작위 실험을 했을 때, 특정 확률로 발생하는 각각의 결과를 수치적 값으로 표현하는 변수

• 이산 확률 변수(Discrete random variable): 확률 변수 X가 이산값(정수) 값을 택하는 변수

  • 주사위를 3번 던질 때 1이 몇번 나오는가

• 연속 확률 변수(Continuous random variable): 확률 변수 X가 어떤 구간의 모든 실수값을 택하는 변수

  • 각 반별 학생의 평균 키

확률 분포

• 확률 분포 : 확률 변수의 모든 값과 그 확률이 어떻게 분포하는지를 의미

• 동전을 두번 던져서 앞이 나오는 확률 변수 일때, x가 가질 수 있는 값 = {0,1,2}
  확률 분포는

x	0	1	2
P(x)	0.25	0.5	0.25

• 확률 함수 : 확률 변수 x를 확률값에 대응시키는 함수 P(x)

  • P(x=1) = 0.5

• 확률 변수와 확률 함수를 이용해 sample spcae내 사건의 확률을 얻을 수 있음

  • 실험의 sample space → [확률 변수 X] → 실수공간 → [확률 함수 f(x)] → 확률

• 주사위를 두번 던져서 나온 합이 5 이상 7 이하인 확률은?

  • X 가 가지는 sample space = {2,3,..,12}
  • 구하고자 하는 확률
    • P(5≦X≦7) = P(X=5) + P(X=6) + P(X=7)
    • = 4/36 + 5/36+ 6/36 = 5/12

• 연속 확률 변수의 경우, 사건이 발생하는 구간의 넓이를 계산하는 것

  

확률 함수

• 확률질량함수

  • 이산확률변수 x가 취할 수 있는 값의 각각에 대해, 확률값을 대응시켜주는 확률함수X

• 확률질량함수의 성질

  1. 모든 확률은 0 이상이다
  2. 전체 집합에 대한 확률의 합은 1이다
  3. 특정 값 x에 대한 확률은 P(X = x)로 표현

• 누적분포함수 : F (x)=P(X≤a)

---

• 확률밀도함수

  • 연속확률변수 x가 취할 수 있는 값의 범위 [a, b]에 대하여 확률값 P(a≦X≦b) 를 대응시켜주는
    확률함수 X의 확률질량함수 f(x)

• 연속확률변수의 확률은 범위의 면적

• 누적분포함수 : F(b) - F(a)

• 확률밀도함수로 곡선을 그리고 범위 내 곡선 아래의 면적을 구한다

모집단,모수,표본

• 모집단

  • 통계학에서 관심의 대상이 되는 모든 개체 값의 집합
  • 대한민국 고등학생의 평균 키를 알고 싶다 → 대한민국 모든 고등학생들의 키 값

• 모수

  • 모집단의 특성을 나타내는 통게적인 특성치
  • μ(평균)과 σ2(표준편차)

• 통계적 추론

  • 모집단에서 추출한 표본들의 특성을 분석하여, 모수에 대해 추론하는 과정

• 표본

  • 전체 모집단에 대해서 샘플링을 통해 뽑히는 값, 모집단의 부분 집합을 의미
  • 대한민국 고등학생 중 100명을 뽑아 카를 조사 → 100개의 sample에서 얻은 통계랑을 이용해 모수를 추론

1. 모집단이 갖는 분포를 가정
2. sample을 추출
3. 뽑힌 sample을 통해 얻어진 통계량이 지닌 성질을 이용해 모수를 추정

🔥 모집단의 모수를 잘 추정하기 위해서는 표본을 잘 추출하는 것이 중요

1. 모집단에서 sample이 뽑힐 가능성을 모두 동일하게 부여, 객관적으로 무작위 추출해야함
2. sample들은 서로 독립적이며, 동일한 분포, i.i.d를 따라야 한다

독립적: sample들이 추출될 때 서로 영향을 미치지 않음
동일한 분포: sample들이 동일한 모집단으로부터추출됨

여러번의 추출을 통해 얻어진 여러 통계량 값의 발생 분포를 그려보면 통계량을 확률 변수로 하는 확률 분포를 얻을 수 있고, 통계량의 확률 함수와 확률 분포를 이용하여 모수를 추정할 수 있게 된다.

기대값과 분산

• 기대값

  • 어떤 확률적 사건이 평균적으로 가질 수 있는 값(=평균값)
  • 이산확률변수의 기대값 :$E$($x$)=∑$x$$X$$f$($x$)
  • 연속확률변수의 기대값 :$E$($x$)=∑$X$$f$($x$)$dx$

• 기댓값의 성질

  1. E(X + Y) = E(X) + E(Y)
  2. 임의의 실수 a, b, c에 대해서 E(aX+b) = aE(X)+b
  3. E(aX2 + bX + c) = aE(X2) + bE(X) + c
  4. E(aX + bY) = aE(X) + bE(Y)
  5. 서로 독립인 두 확률변수 X, Y에 대해서 E(XY) = E(X)E(Y)

---

• 분산

  • 분포가 평균값으로부터 얼마나 산포되어있는지 $Var(x)$
  • Var(X) = E[(X-E(X))$^2$] = E[X$^2$] - E[X]$^2$
  • 이산확률변수의 분산: $Var(x) = \sum x(x-E(x))^2f(x)$
  • 연속확률변수의 분산 : $Var(x) = \int(x-E(x))^2f(x)dx$

• 표준편차 $\sigma$

  $\sigma = \sqrt{Var(x)}$

  $\sigma^2 = Var(x)$
  

• 분산의 성질
  1. 서로 독립인 두 확률 변수 X,Y에 대해서 $Var(X + Y) = Var(X) + Var(Y)$
  2. 임의의 실수 a, b, c에 대해서
     1. $. Var(aX+b) = a^2Var(X)$
     2. $Var(aX+bY) = a^2Var(X)+ b^2Var(Y)$

---

• 결합확률 분포
  • 두개의 확률변수 X, Y에 대해 P(X=x, Y=y) = f(x,y)를 만족하는 f(x,y)
  • 이산확률변수의 결합확률 $P[(x,y]\in A)]$
  • 연속확률변수의 결합확률은 $P[(x,y]\in A)]$

🔥 확률변수 X와 Y가 서로 독립이면 $f(x,y) = fx(x)fy(y)$

공분산

• 두개의 확률변수 X와 Y에 대해 X가 변할 때 Y가 변하는 정도를 나타내는 값

  • X와 Y가 같이 변하는 정도를 나타내는 값
  • $Cov(X, Y) = E[(X-μX )(Y-μY )]$, 편차의 곱의 기댓값
  • $(X-μX ), (Y-μY )$는 편차

• 이산확률 변수의 공분산 = $\sum_{x}\sum_{y}(x-\mu_{x})(y-\mu_{y})f(x,y)$

• 연속확률변수의 공분산 = $\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(x-\mu_{x})(y-\mu_{y})f(x,y)dydx$

• 기댓값의 성질을 이용해 공분산을 유도해보면

  • $Cov(X,Y) = E[(X-\mu_x)(Y-\mu_y)] = E[XY -\mu_yX-\mu_xY +\mu_x\mu_y]$
  • $E[XY] - E[X]E[Y]$

🔥 X와 Y가 서로 독립이면 $Cov(X,Y) = 0$

베르누이분포, 이항분포

• 베르누이 시행
  • 어떤 시행의 결과가 1(성공) or 0(실패)인 실험
  • 베르누이 시행에서 확률변수 x=1일 확률이 p, x=0일 확률이 q = 1-p 인 경우
    확률변수 x는 베르누이 분포를 따른다

$f(x) = p,x = 1 / (1-p),x = 0$

• 동전을 던져 앞이 나오면 1, 뒤가 나오면 0인 확률변수 X ~ Bernoulli(p=0.5)

---

• 이항 분포

  • 이항확률변수
    • 베르누이 시행을 n번 반복했을 때, 성공 횟수를 값으로 갖는 확률 변수 x
  • 이항분포
    • 베르누이 시행을 n번 반복했을 때 나타나는 확률분포

• 이항확률변수 X에 대한 pmf는 $f(x) = _nC_xp^x(1-p)^{n-x}$

  • 동전을 5번 던져서 2번 앞이 나올 확률
  • $_5C_2 = (0.5)^2(1-0.5)^3$

포아송분포, 균등분포

• 포아송 분포에서 모수 λ는 ‘단위시간/단위공간에서의’ 평균 발생횟수

  • 1시간 동안 버스가 정류장에 도착하는 횟수

• 단위시간/단위공간에서 어떤 사건이 발생하는 횟수를 확률변수 X라 할때, X는 포아송 분포를 따른다.

• 포아송 분포의 전제 조건

  1. 독립성 : 단위 시간/공간에서 발생한 결과는 중복되지 않은 다른 시간/공간에서 발생한 결과와 독립이다
  2. 일정성 : 단위 시간/공간에서 발생한 평균발생횟수는일정하다
  3. 비집락성 : 매우 짧은(즉, 같은) 시간/공간에서 두 개 이상의 결과가 동시에 발생할 확률은 0이다

• 포아송 분포의 기대값과 분산은 모두 λ

---

• 균등분포
  • 모든 확률변수값에 대해 균일한 확률을 갖는 확률 분포
  • 모든 확률의 합은 1이므로 구간 [a, b] 사이의 모든 확률의 합은 1
  • 균등분포의 기댓값 $E[X] = a+b/2$
  • 균등분포의 분산 $Var(X) = (b-a)^2 / 12$

정규분포

• 정규분포 (Normal distribution, Gaussian distribution)

  • 가장 일반적으로 발견되는 양방향 대칭의 종 모양으로 생긴 분포

    

• 모수 : 평균과 분산

• 평균 : 분포가 모이는 중심

• 분산 : 평균을 중심으로 데이터들이 퍼진 정도 보통 $N(\mu,\sigma^2)$

• 정규분포에서의 확률은 $P(a<=x<=b)$

---

• 이항분포의 정규분포 근사

  • 이항분포의 pmf $f(x) = _nC_xp^x(1-p)^{n-x}$ $n->\infty$ 극한으로 보낼 경우

  • 동전을 던졌을 때 앞이 나오는 경우 X = 1인 확률변수 X의 경우 X~Bin(n,p)

  • X의 확률을 그리면 N(np, np(1-p))의 분포에 가까워지는 것을 알수 있다.

    

---

• 표준 정규 분포

  • 서로 다른 파라미터를 가진 집단들을 비교하기 위해 정규분포를 표준화한 분포

  • 즉 평균이 0이고 표준편차가 1인 분포로 표준화

    

  • 확률 변수 X가 정규분포를 따른다는 가정 하에 표준화를 통해서 z값을 구한 다음
    표준 정규 분포표를 이용해 P(Z<z) 확률값을 구할 수 있다.

  • 표준화된 개별 데이터는 z-score라고 부르며, 평균으로부터표준편차의 z배정도 떨어져있다를 의미

  • P(Z<1.96) = 0.975 P(Z>1.96) = 0.025 정규분포는 평균값 기준 양쪽 대칭이므로
    P(Z<-1.96) = 0.025 따라서 P(-1.96<Z<1.96) = 1- P(Z>1.96) - P(Z<-1.96) = 0.95

---

• 표본 평균과 표본 분산
  • 모집단으로부터 ramdom sample을 n개 추출했을 때
    n개의 random sample들의 평균과 분산을 각각 표본평균/표본분산 이라고 함

---

• 추정량 : 모수를 추정하기 위한 표본 통계량
• 불편향 : 표본 추정량의 기댓값이 모수와 같다

🔥 표본분산을 n이 아닌 n-1 로 나눠주는 이유 n으로 나눠지면 표본분산은 불편추정량이 아니게 되서 n-1로 나눈다

---

• 중심극한정리
  • 표본 크기가 충분히 크다면 모든 확률분포에 대해 표본 평균의 분포가 정규분포에 가까워진다는 정리
  • 표본 평균은 n이 커질수록 정규분포에 근사한다
  • 표본들의 합에 대해서도 중심극한정리가 적용

기술통계

df.describe()

• 요약통계 : 전반적인 주요 통계를 확인할 수 있음
• count : 데이터 개수
• mean : 평균
• std : 표준편차
• 25%, 50%, 75% : 25분위, 50분위, 75분위

df.describe(include='object')

• 문자열 칼럼 통계
• unique : 고유 데이터의 값 개수
• 가장 많이 출현한 데이터
• 가장 많이 출현한 데이터의 빈도수

df.count()

• (column당) 데이터의 개수

df.mean()

• (column당) 데이터의 평균

df.median()

• 중앙값(50분위수)
• 데이터를 오름차순 정렬하여 중앙에 위치한 값
• 이상치가 존재하는 경우 mean 보다 median을 대표값으로 더 선호

df.sum()

• 합계
• 문자열은 모든 데이터가 붙어서 출력

df.var()

• 분산구할때 쓰는 함수

df.std()

• 표준편차 구할때 쓰는 함수

df.agg([통계함수1, …])

#ex

df['age'].agg(['min', 'max', 'count', 'mean'])

df[['age', 'fare']].agg(['min', 'max', 'count', 'mean'])

• 복수의 통계 함수 적용할때 사용하는 함수

df.quantile()

#ex

df['age'].quantile(0.1) # 10%의 지점

• 주어진 데이터를 동등한 확률구간으로 분할하는 지점을 표현

df.mode() # 최빈값

df.core() # 상관관계

가설검정

• 통계적 추정
  • 모집단의 모수를 표본들의 통계값을 이용해서 추정하는 방법
  • 편향 : 추정량의 기댓값과 모수의 차이
  • 평균제곱오차 : 추정값과 실제값 사이의 차이를 나타내는 지표

---

• 최대우도 추정량
  • 우도함수 : 결합확률밀도함수가모수에 대한 함수일때 우도함수라고 한다
  • 최대우도 추정량 : 주어진 관찰값을 가장 잘 설명하는 모수 추정량

---

• 구간추정
  • 점추정량은 추정된 값이 실제 모수와 얼마나 가까운지 알 수 없다
  • 모수가 있을 것으로 예상되는 구간을 정해놓고, 해당 구간에 실제 모수가 있을 것으로
    예상되는 확률을 구하는 것
  • 신뢰도 : 설정한 구간에 실제로 모수가 있을 확률

---

• 카이제곱 분포

  • 정규분포를 따르는 확률변수의 제곱들의 합에 대한 분포

  • $2^{k/2}Γ(k/2)1​x^{k/2−1}e−^{x/2}$

    

  • $x^2$분포를 따르는 n개의 표본의 합은 n이 커질수록 정규분포를 따른다

T-분포

• 정규분포에서 추출한 작은 크기의 표본에 대한 통계적 추론에서 사영되는 확률분포
• 보통 표본 크기가 작거나 모집단의 분산을 알지 못할 때, t-분포를 사용
• 좌우 대칭 이며 종 모양
• 자유도라는 파라미터에 의존

F-분포

• 두 모집단 분산 비율을 비교하거나 회귀 분석에서 모델의 적합도를 평가하는 등 다양한 통계적 검정에서 사용
• 왼쪽으로 긴 꼬리를 가진 비대칭 분포
• 두 개의 자유도 파라미터를 가지며, 두 자유도는 두 분산에 해당
• 확률변수 F가 자유도 도 (v1, v2)인 F-분포를 따를 때,1/F는 자유도 (v2, v1)인 F-분포를 따른다

---

구간추정

• 모평균 구간추정

  • 가장 많이 사용하는 95% 신뢰구간의 경우 0.5α = 0.025, z0.5α=1.96

• 모분산 구간추정

• 모비율 구간추정

가설검정

• 대한민국 남성 100명을 대상으로 키를 sampling했을 때 표본평균 = 173이 나왔다고 하자.
  대한민국 남성 평균 키가 모표준편차가 12인 경우 170cm 이상이라고 할 수 있는지 알아볼 수
  있는 가설은H0: μ = 170, H1: μ > 170

• 유의수준 : 귀무가설이 실제로는 맞지만 틀리다고 할 수 있는 확률

• 임계값 : 유의수준이 주어졌을 때 귀무가설의 채택과 기각 의사를 결정하는 기준이 되는 값

• 위 상황에서 유의수준 α=0.05를 기준으로 임계값을 구해보면 표준 정규분포표를이용해
  (1-α)=0.95에 해당하는 값을 찾으면 z = 1.645 임계값 C.V는 약 171.974

• 임계값 171.974를 기준으로 표본평균은 173, 임계값보다 큽니다 (채택영역에 들어오지 못함)
  따라서 귀무가설은 기각되고, 대립가설이 채택

---

• 가설검정의 오류

• 제 1종 오류 : 귀무가설이 참임에도 이를 기각하는 오류

• 제 2종 오류 : 귀무가설이 거짓임에도 이를 채택하는 오류

---

• 단측검정과 양측검정

• 단측검정 : 대립가설 H1이 어떤 특정값 이상 / 이하 라고 설정되는 경우의 검정

• 양측검정 : 유의 수준을 반으로 나누고 기각영역을 양쪽에 설정

---

• 모평균 가설검정

  • 모평균의 구간 추정과 같이 모분산을 아는 경우와 모르는 경우로 나눠서 접근

• 모분산을 아는 경우

  • 단측검정인 경우 $Z > z_α$이거나 $Z < -z_α$면 귀무가설 기각
  • 양측검정인 경우 $|Z| > z_0.5α$이면 귀무가설 기각