Data Analysis
1.[Data Analysis] 1. 기본 정의(1)
Dataframe: 행과 열로 구성된 데이터 = 2차원 구조행 (Row): 행의 이름 = Index열 (Column): 변수 (Variable) = 특징 (Feature)문자, 숫자 (숫자의 의미 x)구간별 빈도 or 백분율로 나누어 한눈에 보기 쉽게 분석 가능ex)
2.[Data Analysis] 2. 기본 정의(2)
일변량 양적 자료가 대칭인지 아닌지 알려주는 정보왜도 값이 0에 가까울수록 대칭이라고 봄일변량 양적 자료의 중심이 얼마나 뾰족한지 알려주는 정보첨도 값이 클수록 중심이 뾰족해짐기호 : X ~ N(μ,σ^2)모평균(μ)을 기준으로 모표준편차(σ)에 의해 종 모양으로 생긴
3.[Data Analysis] 3. Pandas 기초
파이썬에서 사용하는 데이터분석 라이브러리대용량의 데이터들을 처리하는데 사용하는 도구sep = txt 파일 데이터 간 구분 방식에 맞추어 설정header = 테이블의 열의 이름 설정sheet_name = 엑셀 데이터 시트명 (왼쪽 아래 위치)원하는 형태로 데이터 보기 r
4.[Data Analysis] 4. Box-Cox Transformation
데이터를 정규분포에 가깝게 만들거나 데이터의 분산을 안정화하는 것정규성을 가정한 분석법을 적용하기에 앞서 데이터의 전처리에 사용비대칭의 분포를 대칭으로 변환
5.[Data Analysis] 5. EDA (Exploratory Data Analysis) (1)
1. 일변량 질적자료 분석 1) 표 (1) 빈도 (Frequency) (2) 백분율 (Percent) 2) 그래프 > (1) 막대 그래프 (2) 원 그래프  (2)
두 개의 열 분석
7.[Data Analysis] 7. Sweetviz (Automated EDA)
EDA를 단 두 줄에 쉽게 할 수 있도록 하여 시각화 해주는 파이썬 오픈소스이다.pandas databframes을 사용하고 독립된 HTML로 생성한다.2 개의 데이터 비교 가능기타 데이터들과 특정 목표 값의 비교 가능
8.[Data Analysis] 8. 일표본 검정(One sample test)
한 개의 모집단을 이루고 있는 양적 자료의 모평균에 대한 가설검정모평균의 변화가 있는지 통계적으로 검정정규성 검정 결과에 따라 정규분포를 가정할 수 있으면 일표본 t검정, 가정할 수 없다면 윌콕슨의 부호 순위 검정을 실시 \- 귀무가설 : 표본의 모집단이 정규분
9.[Data Analysis] 9. 독립 2표본 검정 (Independent two samples test)
두 개의 독립적인 모집단에 대한 평균에 통계적으로 유의한 차이가 있는지 검정독립은 양 집단의 양적 자료 간에 영향을 주지 않는 상태정규성 가정이 만족되거나 표본의 크기가 큰 경우 독립표본 T 검정정규성 가정이 깨지고 표본의 크기가 작으면 윌콕슨의 순위합 검정독립된 집단
10.[Data Analysis] 10. 대응 2표본 검정 (Paired Test)
동일한 대상에게 사전/사후의 결과에 통계적으로 유의한 차이가 있는지 검정ex) 다이어트 전/후, 교육 전/후귀무가설 : (pre - post) 정규분포를 따른다.대립가설 : (pre - post) 정규분포를 따르지 않는다.귀무가설 : ~는 없다. (사전 = 사후)대립가
11.[Data Analysis] 11. 카이제곱 검정 (Chi-squared test)
1. 정의 카이제곱 분포에 기초한 통계적 방법 두 개의 질적 자료 간에 통계적으로 관련성이 있는지 분석하는 방법 2. 가설 귀무가설 : ~와 ~간에는 관련성이 없다. 대립가설 : ~와 ~간에는 관련성이 있다. 3. Code 4391.398 = Chi-squa
12.[Data Analysis] 12. 분산분석 (ANOVA; Analysis of Variance) (1)
1. 개요 세 집단 이상 간의 평균에 통계적으로 유의한 차이가 있는지 검정하는 방법 (유한한 k집단 비교) ex) 코로나 바이러스 약물 3종류 투여 후 효과의 차이 검정 집단 간의 분산이 크고 집단 내부의 분산이 작을수록 평균의 차이가 분명 >확장 개념 : 일표본 모
13.[Data Analysis] 13. 분산분석 (ANOVA; Analysis of Variance) (2)
2. ANOVA road map 3. 정규성 검정 귀무가설 : 정규분포를 따른다. 대립가설 : 정규분포를 따르지 않는다. >모든 표본 하나씩 다 확인해야 함 만약 하나의 표본이라도 귀무가설을 기각할 경우 분산 분석을 실시하지 못함 4. 등분산 검정 귀무가설
14.[Data Analysis] 14. 상관분석 (Correlation Analysis)
1. 개요 두 양적 자료 간에 통계적으로 직선의 관계(선형의 관계)가 있는지 검정하는 방법 선형적으로 증가 혹은 감소하는지를 나타냄 두 변수간의 연관된 정도를 나타낼 뿐 인과관계를 설명하는 것이 아님 인과관계는 회귀분석을 통해 확인할 수 있음 2. 상관계수 행렬도
15.[Data Analysis] 15. 회귀분석 (Regression Analysis) (1)
1. 개요 데이터 값은 평균과 같은 일정한 값으로 돌아가려는 경향성을 이용 기본적으로 선형이라는 전제하에 점들을 가장 잘 설명하는 직선을 찾고 경향성을 설명 종속변수와 독립변수 간에 선형관계가 존재하는지 알 수 있음 독립변수의 종속변수에 대한 유의성과 영향력의 정도를
16.[Data Analysis] 16. 단순선형 회귀분석 (Simple Linear Regression Analysis) (2)
귀무가설 : 회귀모형은 타당하지 않다.대립가설 : 회귀모형은 타당하다.F-statistic : 검정통계량 = 1334Prob (F-statistic) : P-value = 0.000유의확률이 0.000이므로 유의수준 0.05에서 회귀모형은 통계적으로 유의하게 타당한 것
17.[Data Analysis] 17. 다중선형 회귀분석 (Multiple Linear Regression Analysis) (3)
귀무가설 : 회귀모형은 타당하지 않다.대립가설 : 회귀모형은 타당하다.F-statistic : 검정통계량 = 8426.Prob (F-statistic) : P-value = 3.14e-164유의확률이 0.000이므로 유의수준 0.05에서 회귀모형은 통계적으로 유의하게