Daily plan

🌞오전

- SQL 코드카타 89, 90 ,91 + QCC 4번 문제
- 통계 강의 3주차

🔥 오후

- 13시 아티클 스터디
- 통계 강의 내용 정리
- 15시 파이썬 스탠다드반 이론 강의 + 바로 정리 복습

🌝 저녁

- 19시 파이썬 스탠다드반 실습 강의
- 데이터 전처리&시각화 3주차 다시 복습

To Do

• ✅SQL 코드카타 89~91
• ✅아티클 스터디
• ✅통계 강의 3주차
• 스탠다드반 이론&실습 강의 -> 정리 복습
• 개인과제 피드백 튜터님께 질문하기
  

이번주 목표

• 통계학 강의 완강
• 시각화&전처리 강의 완강
• 데이터분석 파이썬 종합반 5주차 정리
• 통계 라이브세션 정리&복습 밀리지 않기!
• 파이썬 스탠다드반 정리&복습 밀리지 않기!
• 파이썬 베이직반 내용 공부 (헷갈리거나 처음보는 내용들만 정리)
• 지난 프로젝트 빨리 정리해서 업로드하자...
• SQL 코드카타 100번 찍기!

---

SQL 코드카타

Q89 - Managers with at Least 5 Direct Reports

select name
from employee
where id in (select managerId
            from employee
            group by managerId
            having count(id)>=5)

• where절에서 등호(=)를 썼는데, 지피티 선생님께서 그렇게하면 서브쿼리의 결과값이 여러개일 때 오류가 발생할 수 있다고 말씀해주셨다.
  • 그래서 in으로 바꿈

Q90 - Confirmation Rate

select s.user_id,
    coalesce(round(cnt_confirmed/cnt_total,2), 0) confirmation_rate
from signups s 
    left join(
        select user_id,
            count(1) cnt_total,
            count(case when action='confirmed' then 1 end) cnt_confirmed
        from confirmations
        group by user_id
    ) c
    on s.user_id = c.user_id

• 서브쿼리랑 조인을 효율적으로 사용하는 게 아직 너무 어렵다
• 어제 새로 배운 coalesce함수를 이용해서 confirmation_rate가 null인 경우에는 0으로 바꾸어줬다
• case when으로 조건을 걸어서 개수를 셀 때에는 count() 함수 안에 case when 구문을 넣어야 한다!!

Q91 - Not Boring Movies

select *
from cinema
where id%2<>0
    and description<>'boring'
order by rating desc

---

통계학 강의 3주차

유의성 검정

A/B test

• 두 버전 중 어느 것이 더 효과적인지 평가하기 위해 사용되는 검정 방법
  • 전환률, 클릭률, 구매수, 방문 기간, 방문한 페이지 수, 특정 페이지 방문 여부, 매출 등의 지표를 비교
  • 두 그룹 간 변화가 우연이 아니라 통계적으로 유의미한지 확인
• 파이썬 실습

import numpy as np
import scipy.stats as stats

# 가정된 전환율 데이터
group_a = np.random.binomial(1, 0.3, 100)  # 30% 전환율
group_b = np.random.binomial(1, 0.45, 100) # 45% 전환율

# t-test를 이용한 비교
t_stat, p_val = stats.ttest_ind(group_a, group_b)

• scipy.stats.ttest_ind
  • 독립표본 t-검정을 수행하여 두 개의 독립된 집단 간 평균 차이가 유의미한지 평가하는 함수
  • 두 집단의 데이터 배열을 입력으로 받아서 t-통계량과 p-값을 반환함
  • t-statistic: 두 집단 간 평균 차이의 크기와 방향을 나타내는 t-검정통계량
  • p-value: 귀무가설이 참일 때 현재 데이터보다 극단적인 결과가 나올 확률로, 이 값이 유의수준보다 작으면 귀무가설을 기각하고 유의수준보다 크면 귀무가설을 기각하지 않음

가설검정

• 표본 데이터를 통해 모집단의 가설을 검증하는 과정
• 데이터가 특정 가설을 지지하는지 평가하는 과정
  • 귀무가설(H0)과 대립가설(H1)을 설정하고 귀무가설을 기각할지 여부 결정
• 데이터 분석시 두가지 전략을 취할 수 있음
  • 확증적 자료분석: 미리 가설을 세운 후 가설을 검증하는 것
  • 탐색적 자료분석(EDA): 가설을 먼저 정하지 않고 데이터를 탐색해보면서 가설 후보들을 찾고 데이터의 특징을 찾는 것
• 단계
  1. 귀무가설, 대립가설 설정
  2. 유의수준 결정
  3. 검정통계량 계산
  4. p값과 유의수준 비교
  5. 결론 도출
• 통계적 유의성
  • 결과가 우연히 발생한 것이 아니라 어떤 효과가 실제로 존재함을 나타내는 지표
• p값
  • 귀무가설이 참일 때 관찰된 결과 이상으로 극단적인 결과가 나올 확률
  • p값이 유의수준보다 작으면 귀무가설을 기각
• 신뢰구간
  • 특정 모수가 포함될 범위 제공
  • 모집단의 평균이 특정 범위 내에 있을 것이라는 확률을 나타냄
• 가설검정: 모수가 특정 값과 같은지 다른지

t검정

• t검정은 두 집단 간의 평균 차이가 통계적으로 유의미한지 확인하는 검정 방법
• 독립표본 t검정과 대응표본 t검정으로 나뉨
  • 독립표본 t검정: 두 독립된 그룹의 평균을 비교 ex)
  • 대응표본 t검정: 동일한 그룹의 사전/사후 평균을 비교

# 학생 점수 데이터
scores_method1 - np.random.normal(70,10,30)
scores_method2 = np.random.normal(75,10,30)
#
# 독립표본 t검정
t_stat, p_val = stats.ttest_ind(scores_method1, scores_method2)

다중검정

• 여러 가설을 동시에 검정할 때 오류가 발생할 수 있음
  • 각 검정마다 유의수준을 조정하지 않으면 1종 오류 발생 확률이 증가함
• 본페로니 보정, 튜키 보정, 던넷 보정, 윌리엄스 보정 등이 있음

import numpy as np
import scipy.stats as stats

# 세 그룹의 데이터 생성
np.random.seed(42)
a = np.random.normal(10,2,30)
b = np.random.normal(12,2,30)
c = np.random.normal(11,2,30)

# 세 그룹 간 평균 차이에 대한 t검정 수행
p_values = []
p_values.append(stats.ttest_ind(a,b).pvalue)
p_values.append(stats.ttest_ind(a,c).pvalue)
p_values.append(stats.ttest_ind(b,c).pvalue)

# 본페로니 보정 적용
alpha = 0.05 
adjusted_alpha = alpha/len(p_values)

카이제곱검정

• 적합도 검정: 범주형 데이터의 표본 분포가 모집단 분포와 일치하는지 검정
  • 관찰된 분포와 기대된 분
• 독립성 검정: 두 범주형 변수 간의 독립성 검정

제 1종 오류 & 제 2종 오류

---

아티클 스터디

데이터 시각화는 왜 중요할까?

• 요약 : 데이터 이해 및 의사결정에서 시각화의 중요성
• 주요 포인트 :
  시각화의 중요성
  • 시각은 다른 인체 감각에 비해 한번에 처리할 수 있는 정보의 양이 월등히 많음 → 시각을 통해 빠르게 인사이트를 발견할 수 있음
  • 한눈에 숨은 정보를 파악하기 어려운 데이터 테이블과 달리, 시각화는 많은 정보를 직관적으로 이해하고 패턴을 찾을 수 있게 도움
  • 변수 간 상관관계를 파악, 새로운 시각 제공을 도움
  • 의사 결정에 도움을 줌
    • 한눈에 많은 양의 데이터를 파악하여 큰 그림을 그릴 수 있음
    • 시각화를 이해하기 위해 과학, 통계 등의 지식이 요구되지 않으므로 쉽게 이해 가능
    • 우리 뇌는 시각화 정보 처리에 탁월함
    • 관심과 집중 유지를 도움 → 의사결정자들의 관심이 적은 주제를 다룰 때 도움이 됨

인사이트
데이터에서 좋은 인사이트를 발견하는 것도 중요하지만, 발견한 내용을 의사결정자에게 설득력있게 전달하는 것도 매우 중요하다. 지난 라이브세션에서 튜터님이 데이터분석가의 퍼포먼스는 결국 자신이 분석한 내용을 바탕으로 아이디어를 전달하고, 그것이 실행되어 좋은 성과를 내게 만드는 것이라고 말씀하셨던 기억이 있다. 실행으로 이어지지 않으면 아무리 좋은 분석을 해도 의미가 없기 때문에 좋은 전달력과 설득력이 필요하고, 이를 위해 시각화를 잘 활용할 수 있어야 한다.

공통 인사이트
데이터 분석가는 데이터를 분석 후 최종적으로 이를 타인을 설득하는 목적으로 활용한다. 이때 데이터의 시각화는 효율적이며 직관적으로 정보를 전달하기 때문에 이를 적극 활용할 필요가 있다.

---