📖 학습한 내용

• 모집단 &표본
• 분포 : 정규분포
• 표본평균의 분포
• 가설검정 : 귀무가설, 대립가설, 유의수준, 유의확률
• 일표본 검정
• 코딩으로 활용

📖 핵심내용

📌 모집단 & 표본

1. 분석의 목표

• 분석을하는 목표는 모집단의 특성을 알아내는 것.
• 이번에 배운 것은 모집단 평균을 알아보는 것이 목표

2. 표본(일부)를 가지고 전체를 추론(inference)하는것

• 추론은 추정과 가설검정으로 나뉜다.
  1) 추정
  - 예를들어 평균을 알고 싶을 때 이것을 알아내는 과정을 추정이라고 한다
  - 점추정 : 하나의 값으로 추정을 한 것 -> 점추정은 매우 위험
  - 구간추정 : 어떤 값에서 +-a 플러스마이너스 알파를 한것
  2) 가설검정

📌 분포 : 정규분포

1. 히스토그램으로 보는 정규분포

• 중심이 가장 많고
• 중심에서 멀어질수록 0에 가까워지고
• 중심을 기준으로 좌우대칭

2. 정규 분포의 성질

• 모든 분포의 넓이는 1이된다.
• 정규분포, 균등(균일)분포 평균보다 작은쪽의 확률은 0.5이다.
• 정규분포의 평균기준으로 양쪽 좌우 1시그마의 확률은 0.6826 (68퍼센트)
• 정규분포의 평균기준으로 양쪽 좌우 2시그마의 확률은 0.9544 (95퍼센트)
• 정규분포의 평균기준으로 양쪽 좌우 3시그마의 확률은 0.9974 (99퍼센트)
• 3시그마 바깥쪽은 각각 0.0013, 0.0013 지점이다. → 현실적으로 나오면, 확률적으로 나오기 어려우므로 놀란다

📌 표본평균의 분포

• 모집단이 정규분포일때 표본집단의 평균은 정규분포를 따른다.
• 표본을 표준화 하는 이유
  - 모양을 통일 시킨다.
  - 단위 간의 비교를 할 수 있어야한다.
  - 예측성능이나 분류 성능을 높이기 위해서

📌 가설검정

• 귀무가설, 대립가설, 유의수준, 유의확률

1. 가설이란?

• 모집단에 대한 입장, 모수에 대한 입장
  → 우리는 모집단을 모두 알 수 없기 때문에 사실을 알 수 없다.
• 귀무가설H0 : 모집단에 대한 기존의 입장
• 대립가설H1 : 모집단에 대한 새로운 입장
• 무엇이 맞는지 찾는 과정을 가설검정이라고 한다.

2. 검정 방법

• 모집단에서 표본을 뽑고 데이터를 뽑았을 때, 데이터가 귀무가설에 아주 가까운 값이라면 귀무가설을 지지하고, 데이터가 대립가설에 가까운 값이라면 대립가설을 지지한다.
• 이를 위해서 어디까지가 가까운지 판단을 위한 기준이 필요하다 (유의수준)

3. 에러 - 유의수준

• 알파 에러 : 사실 귀무가 참인데 결론을 대립이라한 경우 에러
• 베타 에러 : 사실 대립이 참인데 결론을 귀무라고 한 경우 에러
• 가설검정에서는 α의 오류를 더 중요하게 생각한다
• α가 작아지면 β는 커진다. β가 작아지면 α가 커진다.
  -> α가 최대한 작고 β가 적당히 큰값으로 설정
  -> α = 0.05 (유의수준 0.05, 5%)
  -> 사실은 귀무가설이 맞는데 대립가설을 선택하는 오류를 보통 5프로로 허용하겠다

4. 유의확률(p-value)

• 표본에서 관찰된 값이, 귀무가설 하에서 일어날 확률
• 귀무가설을 가정하였을때, 어떤 표본을 만났다면 그 표본 나올 수 있는 확률
• 정규분포에서 표본이 나오는 지점까지의 확률을 계산한다.
• 계산된 값이 곧 p-value 유의확률이다.
• 유의 확률이 작다는 것의 의미
  - 표본에서 관찰한 값이 귀무가설이 맞다는 가정하에서, 일어나기 어려운 사건인데 일어남
  -> 유의수준보다 작다면, 귀무가설을 기각하고, 대립가설을 채택!
• 유의확률이 크다는 것의 의미
  - 표본에서 관찰한 값이 귀무가설이 맞다는 가정하에서, 일하나기 쉬운 사건인데 일어남
  -> 유의수준보다 크다면, 귀무가설을 채택!
  

📌 t분포

1. 표본평균의 표준화

• 관찰할 수 있는 값
  n → 표본안에있는 데이터수 알고 있는 상태
  σ → 표본이 아닌 모집단의 표준편차이기 때문에 알 수 없다
  s → 표본의 표준편차
  μ → 귀무가설이 맞다는 가정이 있기때문에 모집단의 평균은 알고있는 상태

2. t분포

• 모집단의 파라미터가 정규분포를 따를 때, 정규분포와 비슷한 t분포를 사용할 수 있다.
• 표준화 Z 값에서 모표준편차를 모르기 때문에, 식에 모표준편차 대신 표본의 표준편차를 대입한 것을 t값이라고한다.
  

3. 일표본 t검정 (one sample t -test)

• 모수적 방법 (Parametric Method)
• 표본의 p-value가 유의수준과 비교하여, 귀무가설을 기각하는 방식으로 진행

📌 윌콕슨의 부호 순위 검정

• wilcoxon signed rank test
• 일표본 검정의 종류 중 하나
• 비모수적 방법 (NoN - Parametric Method)

1. 프로세스

• 1단계 원데이터에서 평균을 빼준다

• 2단계 : 1단계 값을 절대값을 씌워준다

• 3단계 : 2단계 값을 오름차순정렬한다.

• 4단계 : 순위를 매긴다

• w+ : (데이터 - 평균) 이 + 였던 것들의 순위를 모두 더한다

• w- : (데이터 - 평균) 이 - 였던 것들의 순위를 모두 더한다

• 결론

  • w+ 와 w- 가 비슷하다면 귀무가설이 맞다고 여겨진다
  • w+ 와 w- 가 비슷하지 않다면 대립가설이 맞다고 여겨진다

📌 일표본 검정

• one sample t-test
• 어떤 값이 사실이라고 여기어질때, 그것을 반박하기위해 쓰이는 것 같다.

1. 프로세스
   1) 정규성을 따르는지 확인
   - 정규성을 따른다면, 일표본 t검정을 실행
   - 정규분포를 따르지 않는다면, 윌콕슨의 부호 순위 검정 실행
   

2. 정규성 검정

• shapiro-wilk test : n < 5000 일때 실행
• Anderson-Darling 검정 : n > 5000 일때 실행

📖 흥미로운 점 / 새로 알게된 점

• 통계적인 방법을 사용한다면 값에 집중하지말고 그 데이터가 따르는 분포 먼저 살펴봐야한다는 것을 알게되었다. 왜냐하면 그 값이 어떤 분포를 따르는지를 알아야지 나머지 파라미터들을 알 수 있기 때문이다. 절대적인 것은 없고 모두 다 상대적인 것이기 때문에, 평균값 분산 따위의 파라미터를 알아야 그 데이터를 이해하기 때문이다.
  무의식적으로 머릿속에서 정규분포를 따른다 생각하지 말고, 어떤 분포를 따르는지 생각하는 습관을 가져야한다는 것을 알았다. 강의 내내 쎄오님이 강조했던 사항이라 좀 더 기억에 남는다. 한마디로 섣부른 판단 금지!

📖 이후 학습 계획

• 통계학 책을 마저 완독하고, 책에 나오는 기법들을 공부할 것이다.

📖 기타

• 문제를 어떻게 정의하느냐가 꾸준히 현업자들한테 나오는 이야기다. 결과가 너무 뻔하고 직관적이거나, 쉽고 단시간에 해결할 수 일을 하는데 인공지능을 이용하는거는 말이 안되기 때문인 것 같다. 그 많은 데이터를 활욜하는데 드는 시간이 아쉽기 때문이다. 어디에도 사용할 수 있을 것 같지만, 생각보다 적재적소에 적용하기 어려운 것 같다. 일의 현장에서 진짜 원하는 것을 알기 위해서 조달청의 나라장터 같은 곳에 실제 해결을 필요로하는 문제가 무엇인지 살펴보고, 문제 정의 능력을 기르는게 중요한 것 같다. 이런 점을 꾸준히 노력하다보면 좋은 전문가가 될것이라고 생각한다.

• 인공지능은 정말 유용한 도구이기 때문에 많은 곳에 도움을 줄 수 있다. 하지만 이것을 현업에 종사하는 사람에게 설득하기란 정말 쉽지 않다는 것을 알았다. 나도 기계설계일을 하면서 현장 사람들과 정말 많이 부딪혀봤다. 그때마다 참 의견조율하기 어려웠는데, 이런 문제가 그대로 따라올지는 몰랐다. 제조업에서는 그래도 일단은 현장의 의견이 상당히 중요하기 때문에 많은 의견을 반영했었는데, 인공지능 모델을 짤때도 마찬가지일 것 같다.
  이러한 점을 설명하려면 인공지능 분야에서는 통계적인 지식을 활용해야된다는 것을 알았다. 그렇기에 통계적인 개념을 쉽게 남에게 전달할 수 있을 정도로, 또는 전달하는 방식으로 공부를 진행해야겠다.

• 쎄오님이 설명을 정말 잘해주셔서, 머릿속에서 떠다니던 개념들이 퍼즐 맞듯이 정리되는 느낌이였다. 통계 공부를 하면서 어려웠던 것이, 이전 단계 수준을 넘지 않으면 다음 단계에서 어려움을 겪었던 점이다. 이번 특강을 바탕으로 한단게 더 통계쪽 지식을 레벨업 할 수 있을 것 같다.