Daily plan

🌞오전

- SQL 코드카타 95, 96, 97번
- 10시 통계 라이브세션

🔥 오후

- 통계 강의 5,6주차 + 내용 정리
- 14시 아티클 스터디
- 머신러닝 1주차 강의

🌝 저녁

- TIL 제출해 !!!!

To Do

• ✅ SQL 코드카타 95~97
• ✅ 통계 강의 5주차+6주차
• ⛔ 머신러닝 강의 1주차
• ✅ 통계 라이브세션 + 정리 복습
• ✅ 아티클 스터디

이번주 목표

• 통계학 강의 완강
• 시각화&전처리 강의 완강
• 데이터분석 파이썬 종합반 5주차 정리
• 통계 라이브세션 정리&복습 밀리지 않기!
• 파이썬 스탠다드반 정리&복습 밀리지 않기!
• 파이썬 베이직반 내용 공부 (헷갈리거나 처음보는 내용들만 정리)
• 지난 프로젝트 빨리 정리해서 업로드하자...
• SQL 코드카타 100번 찍기!

---

SQL 코드카타

Q95 - Queries Quality and Percentage

select query_name,
    round((sum(rating/position)/count(1)),2) quality,
    round(1/count(1)*100,2) poor_query_percentage
from queries
group by query_name

Q96 - Monthly Transactions I

select date_format(trans_date,'%Y-%m') month,
    country,
    count(1) trans_count,
    count(case when state='approved' then 1 end) approved_count,
    sum(amount) trans_total_amount,
    sum(case when state='approved' then amount else 0 end) approved_total_amount
from transactions
group by 1,2

• count함수 안에서 case when으로 조건 걸어주기
• state에 'approved'가 없고 'declined'만 있는 경우도 있기 때문에, case when 구문에서 else 0를 추가함 -> approved_total_amount가 null이 되는 것을 방지

Q97 - Immediate Food Delivery II

select round(count(case when state='immediate' then 1 end)/count(1)*100,2) immediate_percentage
from(
    select customer_id,
        case when customer_pref_delivery_date=order_date then 'immediate' else 'scheduled' end state,
        rank() over(partition by customer_id order by order_date ) order_rank
    from delivery
) a
where order_rank=1

더 간략하게 만들 수 있을 거 같은 아주 찝찝한 쿼리..
문제 구조 파악하려고 서브쿼리 안에 case when 구문으로 state라는 컬럼을 새로 만들어줬는데, 문제를 푸는 과정에 굳이 필요없는 부분이라 삭제했다.
그리고 rank는 좀 과한 것 같고, 중복날짜가 있더라도 하나만 보면 되기 때문에 row_number를 사용해서 첫 주문만 필터링하는 게 더 좋을 것 같다.

수정된 쿼리

select round(
        sum(case when customer_pref_delivery_date = order_date then 1 else 0 end)
        /count(1) *100 
      ,2) immediate_percentage
from(
	select *,
    	row_number() over(partition by customer_id order by order_date) rn
    from delivery
) d
where rn=1

count(case when customer_pref_delivery_date = order_date then 1 else 0 end)라고 썼더니 오답이 나와서 sum으로 바꾸었다.
else 0을 썼기 때문에 count의 경우에는 1, 0 모두 개수를 세기 때문에 원하는 조건이 아닌 경우도 개수에 포함되어 오답이 된다.
sum으로 바꾸면 원하는 조건에 일치할 때에만 1을 더하므로 정답을 얻을 수 있다.

비율 계산을 할 때에는 sum을 사용하는 게 더 안정적일듯!

---

통계 라이브세션 5회차

실습

주피터에 있읍니다^^

---

통계 기초 강의 5주차

(피어슨 상관계수/ 스피어만 상관계수/ 켄달의 타우 비선형 상관계수)

피어슨 상관계수

• 두 연속형 변수 간의 선형 관계를 측정하는 지표로, 가장 많이 사용되는 상관계수
• -1~1 사이의 값을 가지며
  • 절댓값이 1에 가까울수록 강한 선형관계를 가짐
  • 0에 가까울수록 선형관계가 없음을 의미
  • 1은 완전한 양의 선형관계, -1은 완전한 음의 선형관계
• 선형적 관계가 예상될 때 피어슨 상관계수를 사용
  • 비선형 관계에선 사용할 수 없음
  • 비선형 관계에서도 충분히 유의미한 관계를 발견할 수 있으므로 다른 방법으로 확인해야 함

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import pearsonr

np.random.seed(0)
study_hours = np.random.rand(100)*10
exam_scores = 3* study_hours + np.random.randn(100)*5

df - pd.DataFrame({'Study Hours':study_hours, 'Exam Scores': exam_scores

pearson_corr, _ = pearsonr(df['Study Hours'], df['Exam Scores'])

sns.heatmap(df.corr(), annot=True, cmap='coolwarm', vmin=-1, vmax=1)
plt.title('pearson coefficient heatmap')
plt.show()

비모수 상관계수

• 데이터가 정규분포를 따르지 않거나 변수들이 순서형 데이터인 경우에 사용
• 데이터 분포에 대한 가정 없이 두 변수 간 상관관계를 측정할 때 사용

스피어만 상관계수

• 두 변수의 순위 간 일관성을 측정
• 켄달의 타우 상관계수보다 데이터 내 편차와 에러에 민감
• -1~1사이의 값으로 해석

켄달의 타우 상관계수

• 순위 간의 일치쌍 및 불일치쌍의 비율을 바탕으로 계산

from scipy.stats import spearmanr, kendalltau
d

상호정보 상관계수

• 두 변수 간 상호 정보를 측정할 때 사용
• 변수간의 정보 의존성을 바탕으로 복잡한 비선형 관계 탐지
  • 서로의 정보에 대한 불확실성을 줄이는 정도를 바탕으로 계산
• 범주형 데이터에 대해서도 적용 가능
• 많이 사용되는 상관계수는 아님

---

통계 기초 강의 6주차

재현 가능성

• 재현 가능성: 동일한 연구나 실험 반복 시 일관된 결과가 나오는 지 여부를 의미하며, 연구의 신뢰성을 높이는 주요 요소
  • 결과가 재현되지 않으면 해당 가설의 신뢰도가 떨어짐
• 최근 p값에 대한 논쟁이 두드러짐
  • p값을 사용하지 않는 것이 좋다 vs 유의수준을 0.05에서 변경하는 것이 좋다
• 재현성 위기; 가설검정 원리상의 문제나 가설검정의 잘못된 사용이 낮은 재현성으로 이어진다는 문제 발생
  • 실험 조건을 완전히 동일하게 조성하기 어려우며, 가설검정 자체도 100% 검정력을 가진 것이 아니므로 오차 발생 가능성이 있음
  • 가설검정의 잘못된 사용
    • p해킹, 1종 오류 등
    • 유의수준으로 통제하는 것이 중요한데, 유의수준을 너무 낮추면 베타값이 커지는 문제 발생

p-해킹

• p-해킹: p값을 인위적으로 낮추는 행위
  • 유의미한 결과를 얻기 위해 다양한 변수를 시도하거나 데이터를 계속해서 분석하는 등의 방법
  • 데이터 분석 결과의 신뢰성을 저하시킴
• 여러 가설 검정을 시도할 때 조심해야 함

선택적 보고

자료수집 중단 시점 결정

데이터 탐색과 검증 분리

---

아티클 스터디

데이터 시각화(2) 직관적인 데이터 시각화 만들기
시각 정보 처리과정

1. 뚜렷한 시각 요소들이 감각 기억에 저장
2. 추출한 시각 요소들의 패턴을 파악
3. 의미 부여 및 해석

→ 시각 정보들을 의도적으로 디자인하여 해석에 도움을 주는 직관적인 데이터 시각화를 만들 수 있음

• 전주의적 속성

  : 무엇을 보자마자 주의를 기울이지 않아도 알아차리는 시각 요소들

  많은 속성을 한번에 사용하면 오히려 어떤 정보가 중요한지 알 수 없게 됨

  → 너무 많은 속성을 이용하지 않고, 실제 의도한 정보가 눈에 띄는지 유저 테스팅을 통해 확인해야 함
  

• 게슈탈트 원리

  : 뇌는 사물의 구성 요소를 분해하는 것보다 큰 전체를 이해하는 데 탁월하며, 특정 규칙 적용 시 요소들을 연관된 하나의 그룹으로 인식하는 경향이 있음

  → 복잡한 시각 정보를 이해하기 쉬운 형태로 정리하여 패턴을 인식 가능

  • 근접성의 원리: 가까이 있는 요소들은 더 연관되어 보임
  • 유사성의 원리: 비슷한 특징을 가진 요소들은 더 연관되어 보임
  • 공동 운명의 원리: 같은 방향으로 움직이는 요소들은 더 연관되어 보임
  • 균일화 연결의 원리: 시각적으로 연결된 요소들은 더 연관되어 보임

동일한 데이터 분석 결과도 어떻게 표현하느냐에 따라 해석이 전혀 달라질 수 있다. 의도한 바를 정확하게 전달하기 위하여 적절한 시각화 기법을 이용하고, 색, 모양, 방향, 배열 등 세부적인 요소들도 모두 고려해야 한다. 시각화를 통해서 전달하려는 바를 강조할 수도 있지만 왜곡이나 과장 등 부정확학 정보 전달이 이루어질 수 있다는 것을 주의해야겠다.

---

일기

외출 한번 허락 맡으려면 목숨 걸어야 하는 우리 조ㅜㅜ
저번에 익명의 다른 조원분께서 우리 조 너무 하드한 거 같대여...ㅋㅋㅋㅋ
(근데 진짜임.. 진짜 쉽지 않음ㅜㅜ)

우리조 오늘의 이슈 브리핑

• 오늘은 제육데이? 나만 제육 못먹은 데이..
• 대용님의 마이크 퍼포먼스
• 막내의 14만원
• 대용님 아쿠아우먼, 옥순 발언 --;;

머신러닝 강의 빨리 들어야하는데,, 라이브세션이랑 통계 강의 듣다 보니까 자꾸 미루게 된다ㅜㅜ
평일에 못들으면 주말에라도 꼭 들어서 이번 주 안에 끝내놓자 !