Daily plan

🌞오전

- SQL 코드카타 92, 93, 94번
- 11시 통계 라이브세션

🔥 오후

- 통계 강의 4주차 + 내용 정리
- 파이썬 스탠다드반 어제 강의 복습
- 통계 라이브세션 내용 복습 정리

🌝 저녁

- 데이터 전처리&시각화 3주차 다시 복습
- TIL 제출해 !!!!

To Do

• ✅SQL 코드카타 89~91
• ✅통계 라이브세션 + 정리 복습
• ✅통계 강의 4주차
• ✅스탠다드반 정리 복습

이번주 목표

• 통계학 강의 완강
• 시각화&전처리 강의 완강
• 데이터분석 파이썬 종합반 5주차 정리
• 통계 라이브세션 정리&복습 밀리지 않기!
• 파이썬 스탠다드반 정리&복습 밀리지 않기!
• 파이썬 베이직반 내용 공부 (헷갈리거나 처음보는 내용들만 정리)
• 지난 프로젝트 빨리 정리해서 업로드하자...
• SQL 코드카타 100번 찍기!

---

SQL 코드카타

Q92 - Average Selling Price

select p.product_id,
    round(sum(units*price)/sum(units),2) average_price
from Prices p
    join UnitsSold s
    on p.product_id = s.product_id
where s.purchase_date between p.start_date and p.end_date
group by p.product_id

• price 테이블에서 기간마다 물건의 가격이 다르게 저장되어 있는데, unitssold 테이블에서 물건이 판매된 날짜에 맞춰서 각 기간에 해당하는 가격으로 계산해야 했다
• 어떻게 기간에 맞춰서 테이블을 join해야할지 막막했는데, where절에서 조건을 걸면 간단히 해결될 문제였음!

Q93 - Project Employees I

select p.project_id, 
    round(sum(e.experience_years)/count(p.employee_id),2) average_years
from project p
    left join employee e
    on p.employee_id = e.employee_id
group by p.project_id

Q94 - Percentage of Users Attended a Contest

select contest_id,
    round(count(1)/(select count(user_id) from users)*100,2) as percentage
from register
group by contest_id
order by 2 desc, 1

---

통계 라이브세션 4회차

회귀분석 개념

• 가지고 있는 데이터에 원하는 값이 없을 때 이를 예측하기 위해 회귀분석의 개념이 도입됨
• 예측을 위해서 '추세선'이 필요한데, 추세선을 찾는 것이 회귀분석의 목적
  • 추세선: 이미 가지고 있는 데이터들을 가장 잘 설명해주는 선, y=a+bx의 방정식 형태로 표현
  • 독립변수(x)로 종속변수(y)를 예측
  • 독립변수: 원인이 되는 변수
  • 종속변수: 결과가 되는 변수
• 프로세스
  1. 독립변수, 종속변수 설정 및 가설 설정
  2. 데이터 경향성 확인
     • 독립변수와 종속변수 간 산점도 분석, 상관관계 분석 등
  3. 정합성 검증 & 결과 해석
     • 회귀모델(회귀식)이 얼마나 설명력을 갖는가?
     • 회귀모델(회귀식)이 통계적으로 유의한가?
     • 독립변수와 종속변수 간 선형관계가 있는가?

회귀분석 특징

• 장점

  • 예측문제 해결에서 가장 많이 사용되며, 분석 및 해석 방법이 다수 존재
  • 결과에 대한 근거, 활용방안 등의 정보를 얻는 데 유용
  • 종속변수를 설명하기 위한 다양한 독립변수 선택 및 실험이 가능

• 단점

  • 기본 가정이 어긋나면 회귀분석을 사용할 수 없음
  • 비선형성 확인을 위한 적절한 방식이 존재하지 않음

회귀분석 종류

회귀 계수의 선형 여부, 독립변수의 개수, 종속변수의 개수에 따라 여러 유형으로 나눌 수 있음

• 선형 회귀분석
  • 독립변수: 연속형 / 종속변수: 연속형
  • 분석 목적: 예측
  • 선형 방정식에 의한 함수식 표현을 통해 분석
  • 종류
    • 단순회귀: 독립변수, 종속변수 모두 1개인 경우 ( $y = \beta_0 + \beta_1x + \varepsilon$)
    • 다중회귀: 독립변수가 2개 이상, 종속변수가 1개인 경우 ($y = \beta_0 + \beta_1x_0 + \beta_2x_1 + ... + \varepsilon$)
• 로지스틱 회귀분석
  • 독립변수: 연속형, 범주형 / 종속변수: 범주형이면서 이진형 or 순서가 없는 범주형
  • 분석 목적: 분류, 예측
  • 연결함수를 이용한 함수식 표현을 통해 분석
  • 종류
    • 이진 로지스틱 회귀: 종속변수가 2가지 중 하나의 값을 가지는 경우
    • 다중 로지스틱 회귀: 종속변수가 순서 없는 3개 이상일 경우

정합성 검증 및 결과 해석

• 회귀모델(회귀식)이 얼마나 설명력을 갖는가?

  • 결정계수(R_squared, R²) 확인: 종속변수와 독립변수의 관계를 나타내는 수치
    • 설명력(R²): 전체 오류 중 회귀를 함으로써 얼마나 개선되었는가를 나타내는 수치로, 0과 1사이의 값을 가지며 1에 가까울수록 모델의 성능이 좋다는 것을 의미
  • T, R, E
    • T (Total): 전체 변동
    • R (Regression): 회귀분석을 통해 찾아낸 회귀선까지의 변동
    • E (Error, 잔차): 회귀로 설명할 수 없는 변동

• 회귀모델(회귀식)이 통계적으로 유의한가?

  • 회귀식에 대한 F검정을 시행
    • 귀무가설: 회귀모델은 타당하지 않을 것이다 (회귀 계수들이 모두 0이다)
    • 대립가설: 회귀모델은 타당할 것이다 (적어도 하나의 회귀 계수는 0이 아니다)
  • p-value로 유의성 판단

• 독립변수와 종속변수 간 선형관계가 있는가?

  • 회귀식의 $\beta_1$(기울기) 에 대한 t 검정 시행
    • 귀무가설: 독립변수와 종속변수 간 선형적 연관이 없을 것이다
    • 대립가설: 독립변수와 종속변수 간 선형적 연관이 있을 것이다
  • p-value로 유의성 판단

• OLS(Ordinary Least Squares) 해석

  • OLS: 선형 회귀모델의 결과를 나타내는 회귀 결과표
  • ols에서 지원하는 summary 함수를 통해 결과표를 얻을 수 있음
    
  • Dep.Variable(y): 종속변수
  • R-squared: 회귀모델이 종속변수의 변동성을 얼마나 설명하는지 나타내는 결정계수
  • Adj.R-squared: 설명변수의 개수를 고려하여 R^2값을 조정한 수정된 결정계수로, 변수의 수가 늘어날 때 발생하는 과적합을 방지하기 위해 사용
  • Method: 사용된 회귀 방법을 나타냄
    • Least Squares = 최소제곱법: 예측값과 실제값의 오차의 제곱의 합이 최소가 되는 해를 구하는 방법
  • F-statistic: 회귀모형의 전체 유의성을 검정하는 F-통계량으로, 값이 클수록 모형이 유의미할 확률이 높음
  • Prob (F-statistic): F-통계량의 p-값
  • Log-Likelihood: 회귀 모형의 로그 우도(likelihood)로, 값이 클수록 모형이 데이터에 잘 맞는다는 것을 의미함
  • No.Observations: 사용된 관측치(데이터 포인트)의 수
  • Df Residuals: 잔차의 자유도 (데이터 수 - 회귀계수의 수)
  • Df Model: 모델에 포함된 설명변수의 수
  • Covariance Type: 공분산 추정의 유형
    • nonrobust: 기본 공분산 추정이 사용되었음을 의미
  • coef(coefficients)
    • const: 독립변수가 0일때 종속변수의 예측값을 나타내는 상수항(절편)
    • x1: 설명변수 1의 회귀 계수로, 독립변수가 1 단위 증가할 때 종속변수가 평균적으로 x1만큼 단위 증가 한다는 의미
  • std err(Standard Error): 회귀 계수 추정치의 표준 호차
  • t(t-statistic): 회귀계수가 0인지 검정하는 t값으로, 절대값이 클수록 해당 계수가 유의미할 가능성이 높음
  • P>|t|(P-value): 각 계수에 대한 p-값
  • [0.025 0.975] (Confidence Interval): 회귀계수에 대한 95% 신뢰구간
  • Omnibus: 잔차의 정규성을 검정하는 Omnibus 검정 통계량으로, 값이 작을수록 잔차가 정규분포에 가깝다는 의미
  • Prob(Omnibus): Omnibus검정의 p-값
  • Skew: 잔차의 왜도(skewness)로, 0에 가까울수록 대칭적
  • Kurtosis: 잔차의 첨도(Kurtosis)로, 3에 가까울수록 정규분포에 가까움
  • Durbin-Watson: 잔차의 자기상관을 검정하는 통계량
  • Jarque_Bera(JB): 잔차의 정규성을 검정하는 Jarque-Bera 검정통계량
  • Prob(JB): Jarque-Bera 검정의 p-값
  • Cond.No.: 설명변수의 다중공선성을 나타내는 조건수로, 값이 높으면 다중공선성 문제가 있음을 시사함

  각각의 검정통계량이 가지는 숫자의 의미보다, 이를 신뢰할 수 있는지(p-value)에 주목해야 함

---

통계 강의 4주차

단순 선형 회귀

• 하나의 독립변수(x)와 하나의 종속변수(y) 간 관계를 직선으로 모델링

import numpy as np
import pandas as pd
import matplolib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, r2_score

# 예시 데이터 생성
np.random.seed(0)
X = 2*np.random.rand(100,1)
y = 4 + 3*X + np.random.randn(100,1)

cf. np.random.seed()
컴퓨터 프로그램에서 발생한 랜덤값은 특정 시작 숫자값을 정해주면 정해진 알고리즘에 따라 난수처럼 보이는 수열을 생성하는 것
- 이때 설정하는 특정 시작 숫자가 바로 "seed"

다중 선형 회귀

• 두 개 이상의 독립변수와 하나의 종속변수 간의 관계를 모델링
• 변수들 간 다중공선성 문제가 발생할 수 있음
• 다중공선성
  : 회귀분석에서 독립변수들 간 높은 상관관계가 있는 경우
  • 각 변수의 개별적 효과를 분리하기 어려워져 해석을 어렵게 함
  • 실제 중요한 변수가 통계적으로 유의하지 않게 나타날 수 있음
• 다중공선성을 진단하는 방법
  • 간단ver) 상관계수가 높은 변수들이 있는지 확인
  • 정확ver) 분산팽창계수(VIF)가 10보다 높은지 확인 (10보다 크면 다중공선성이 높다고 판단)
• 다중공선성 해결법
  • 높은 계수를 가진 변수 중 하나를 제거하거나
  • 주성분분석(PCA) 등 변수를 줄이는 차원 분석 방법을 적용

범주형 변수

• 수치형이 아닌, 주로 문자형으로 이루어진 변수
  • 순서가 있는 범주형 변수는 각 문자를 임의의 숫자로 변환해도 상관없음
    ex) 옷 사이즈(S, M, L), 수능 등급(1등급, 2등급,..)
  • 순서가 없는 범주형 변수는 2개 밖에 없는 경우에 임의의 숫자로 변환해도 되지만, 3개 이상인 경우에는 무조건 원-핫 인코딩변환을 해주어야 함
    ex) 성별(남,여), 지역(부산,서울,..)
• 원-핫 인코딩: 하나만 1이고 나머지는 0인 벡터
  • pandas의 get_dummies를 활용하여 쉽게 구현 가능

다항회귀, 스플라인 회귀

다항회귀
: 독립변수와 종속변수 간의 관계가 선형이 아닐 때 사용하며, 독립 변수의 다항식을 사용하여 종속 변수를 예측함

• 데이터가 곡선적 경향을 따를 때 사용
• 비선형 관계를 모델링할 수 있음
• 고차 다항식의 경우 과적합(overfitting)의 위험이 있음

스플라인 회귀

• 독립 변수의 구간별로 다른 회귀식을 적용하여 복잡한 관계를 모델링
• 구간마다 다른 다항식을 사용하여 전체적으로 매끄러운 곡선을 생성
• 데이터가 국부적으로 다른 패턴을 보일 때 사용
• 복잡한 비선형 관계를 유연하게 모델링 가능
• 적절한 매듭점(knots)의 선택이 중요
  

---

Python Standard 4회차

머신러닝 파이프라인

• 데이터를 준비하고, 모델을 학습시켜서 예측을 만들기까지의 일련의 단계들을 체계적으로 정리한 절차
• 파이프라인이 필요한 이유
  • 반복 가능한 작업을 자동화
  • 현업에 용이, 코드 재사용이 쉬움
  • 실수를 줄일 수 있음
• 전체 흐름: 데이터 수집 > 전처리 > 모델 학습 > 평가 > 예측/배포

라이브러리

from sklearn.datasets import load_iris  # 예시데이터(iris)
from sklearn.model_selection import train_test_split  # 데이터분할
from sklearn.preprocessing import StandardScaler    # 표준화
from sklearn.ensemble import RandomForestClassifier   # 랜덤포레스트
from sklearn.pipeline import Pipeline  # 파이프라인
from sklearn.metrics import accuracy_score  # 모델 정확도

데이터 로드 및 분할

• train data로 학습시킨 모델이 잘 작동하는지 확인하기 위해 test data를 이용
• 1단계: 데이터 로딩

iris = load_iris()
X = iris.data
y = iris.target

• 2단계: 훈련/테스트 데이터 분리

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

전처리

• 전처리 예시: 특성 스케일링
• KNN, SVM 등 거리가 중요한 알고리즘에서는 스케일 차이가 결과에 큰 영향을 미칠 수 있음

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

모델 생성 및 학습

model = RandomForestClassifier()
model.fit(X_train_scaled, y_train)

예측 및 정확도 평가

y_pred = model.predict(X_test_scaled)
accuracy_score(y_test, y_pred)

파이프라인으로 묶기

• 파이프라인으로 한번에 처리
• 파이프라인은 코드를 간결하게 하고 실수를 방지하며 테스트/배포를 편리하게 만드는 효과가 있음

pipe = Pipeline([
	('scaler', StandardScaler()),
    ('model', RandomForestClassifier())
])

pipe.fit(X_train, y_train)
pipe.score(X_test, y_test))

• test data로부터 정보를 얻으려는 생각을 하지 말기!!!
• 선택과제
  • LogisticRegression, SVC와 같은 다른 모델로 파이프라인 바꿔보기
  • MinMaxScaler와 StandardScaler 비교해보기

---

일기

팀원들이 나를 단단히 오해하고 있는 것 같다.
나는 막 아무때나 낮잠자고 그런 사람 아닌데....
내가 얼마나 성실한 사람인지 보여줘야겠네ㅜㅜ