기본 개념 이해
데이터 유형
수치형numerical / 양적quantitative 데이터
이산형 discrete, 연속형 continuous
범주형categorical / 질적qualitative 데이터
명목형 nominal : 순서 없는 범주 (성별, 혈액형, ...)
순서형 ordinal (수능 등급, 만족도 등급, ...)
이진형 binary (0 혹은 1, 참 혹은 거짓)
기술통계와 추론통계
기술통계 ; Descriptive
- 이미 있는 데이터를 보기 좋게 요약 정리하는 것
- 정리 / 요약 / 해석 / 표현
위치 추정
평균
- 산술평균 : 우리가 아는 그 평균
- 절사평균(Trimmed) : 값들을 크기 순으로 정렬한 후 양 끝에서 정해진 개수만큼 극단값을 제외하고 나머지 값들로 구한 평균
- 가중평균 : 각 값에 가중치를 곱한 값들의 총합을 다시 가중치의 총합으로 나눔
중간값/중앙값 (median)
- 데이터를 일렬로 정렬했을 때 가운데에 위치하는 값. (데이터 개수가 짝수면 가운데 두 값의 평균이 중앙값)
- 극단값 혹은 특이값이 존재할 경우 평균보다는 중앙값이 더 안정적
변이 추정
편차 = 각 변량 - 전체평균
분산 = 편차 제곱의 합 / 총 변량의 개수
표준편차 = 분산에 루트 씌운 값. 분산 제곱근
- 분산의 단위가 제곱 단위라 직관적 해석이 어렵다는 점을 커버하기 위해 표준편차 사용
=> 평균 +- 표준편차 구간 관찰
범위 range : 데이터의 최대값과 최소값의 차이
백분위수 percentile : 데이터를 작은 값부터 정렬했을 때, 특정 값이 전체 데이터 중에서 어느 위치(비율)에 있는지를 나타내는 지표
- 시험점수를 예시로, 어떤 학생의 점수가 90백분위수라면
→ 상위 10%, 즉 다른 학생 90%보다 높은 점수
사분위범위 IQR; InterQuartile Range : 75번째 백분위수와 25번째 백분위수 간 차이
▲ BOX PLOT
데이터 분포 탐색
도수분포표 Frequency Table : 어떤 구간 interval / 빈 bin 에 해당하는 수치 데이터 값들의 빈도를 나타냄.
- 변수범위를 동일한 크기의 구간으로 나눈 다음, 각 구간마다 몇 개의 변수 값이 존재하는지 확인 가능
히스토그램 : 도수분포표 시각화 그림 - 빈 구간이 있지 않은 한, 막대 사이 공간없이 붙어있음.
- 그래프에 빈 구간은 있을 수 있음.
밀도 플롯 Density Plot: 히스토그램을 부드러운 곡선으로 나타냄.
- 히스토그램과의 차이 : y축 값의 단위가 개수가 아닌 비율임
바이올린 플롯 : 박스플롯 보완 형태. 데이터 밀도추정 결과를 동시에 시각화함
범주 데이터 탐색
막대도표 Bar Chart : 범주형 자료를 보여줄 때 주로 사용
- 막대들이 서로 떨어져 있음
파이도표 Pie Chart : 원의 부채꼴 형태로 나타낸 그림
상관관계 분석
산점도 Scatter Plot : x축과 y축이 서로 다른 두 개의 변수를 나타냄
추론통계 ; Inferential
일부(표본)로 전체(모집단)를 추정.
- 표본을 잘 뽑아야 함
