QA/QC 내일 배움 캠프 26일차

1. 통계학 기초

1. 기술 통계

• 평균, 중앙값, 분산, 표준 편차 등을 사용하여 데이터를 대표값으로 요약하는 통계.
• 대략적으로 파악할 수 있지만, 전부를 파악한 것은 아니며 항상 예외가 존재.

• 언제 사용하는가? - 현재 가지고 있는 데이터를 있는 그대로 요약할 때 활용.

  * 평균, 중앙값, 분산, 표준 편차는 어떻게 표현하는 가?

평균:

• 데이터의 대표값을 나타내는 가장 기본적인 값으로, 데이터의 일반적인 경향을 파악가능.
  $\bar{x},\mu={\displaystyle\sum_{i=0}^{n}{x}\over n}$
  n= 데이터의 크기 , x= 변수, $\mu=모평균, \bar{x}= 표본의 평균$
  

중앙값:

• 데이터 셋을 크기 순서대로 정렬했을 때 중앙에 위치하는 값.
• 홀수 일때:
  $\tilde x={x+1\over 2}$
• 짝수 일때:
  $\tilde x={x\over 2}$

분산

• 데이터 값이 평균으로부터 얼마나 떨어져 있는지를 나타내는 척도 혹은 데이터의 흩어짐.
  $\sigma^2={\displaystyle\sum_{i=0}^{n}{(x-\bar{x})}^2\over n}\\ s^2={\displaystyle\sum_{i=0}^{n}{(x-\bar{x})}^2\over n-1}$
  $\sigma^2=모분산, s^2= 표본의 평균$

표준편차

• 분산과 같이 데이터 값의 평균으로 부터의 흩어짐을 의미.
  $\sigma =\sqrt{\displaystyle\sum_{i=0}^{n}{(x-\bar{x})}^2\over n}=\sqrt{\sigma^2} \\ s =\sqrt{\displaystyle\sum_{i=0}^{n}{(x-\bar{x})}^2\over n}=\sqrt{s^2}$

2. 추론 통계

• 표본 데이터를 통해 모집단의 특성을 추정하고 가설을 검정하는 통계 방법.
• 이때, 모집단의 데이터를 표본을 통해 추정하기 위해 가설 검정과 신뢰구간을 활용

• 언제 사용하는가? 모집단의 크기가 너무커서 전체를 측정하기 힘들때, 표본을 구해서 전체 모집단의 특성을 추정.

* 신뢰구간이란?

• 모집단의 평균이 특정 범위 내에 있을 것이라는 확률
• 일반적으로 사용되는 95%의 신뢰구간은 표본에서 구한 구간 내에 모집단이 존재할 확률이 95%임을 의미.(+장기적으로 5%의 경우에는 평균을 포함하지 못한다는 것을 의미)

• 또다른 의미: 표본의 평균이 모집단의 평균에서 얼마나 떨어질 수 있는지를 확률적으로 설명.

  $P\left(\left|\bar{x} - \mu\right| \le z \cdot \frac{\sigma}{\sqrt{n}}\right) = 0.95$
  *P는 확률을 의미.
  
  해당 그림은 표본 평균을 표준화 시킨 것임.
  ($Z = \frac{\bar{x} - \mu}{\sigma / \sqrt{n}}$) <-표준화 식.

* 가설 검증이란?

• 모집단에 대한 가설을 검증하기 위해 사용.
• 일반적으로 귀무가설(H0)과 대립가설(H1)이 존재.(귀무가설, 대립가설 채택 여부는 p-value에 의해 정해짐.

* 귀무가설: 검증하고자 하는 가설이 틀렸음을 나타내는 기본 가설(변화X, 효과X)

* 대립가설: 검증하고자 하는 가설(변화O, 효과O)

ex) 새로운 교육 프로그램이 들어왔을 때,
귀무가설- 전형 영향이 없다.
대립가설- 눈에 띄는 영향이 있다.

P-value(유의확률)란 무엇인가?

• 귀무가설을 전제로 했을 때, 관찰된 결과가 우연인지 아니면 유 의미한지를 보여주는 값.(결과의 이상한 정도를 숫자로 표현)
  
  만일 해당 이미지가 평균 70의 학교 성정이라고 보았을 때, 교육의 변화로 75점이 되었다고 해보자.($\sigma=10, n=25$)라고 할 때, $Z = \frac{75 - 70}{10 / \sqrt{25}}$ 이므로 $Z=2.5$가 된다. 이때,
  $P(Z \ge 2.5) = 1 - 0.9938 = 0.0062$
  이므로, 여기다가 p_value=2P이므로 $p-value=2*0.0062= 0.0124$이므로, 95% 신뢰구간에서 0.0124는 0.05(95%신뢰 구간의 기각역)에 있으므로 유의미한 변화라고 볼 수 있다.