규칙 정햄..!

이 책을 읽기 전에.. 그냥 읽으면 분명 나중에 기억에 안 남을 것 같아서 규칙을 정하였햄!

1. 책 읽기 전..
   Chat GPT와 같이 어떤 생각으로 읽으면 좋은지 물어보기

2. 책 읽는 중..
   읽으면서 모르거나 헷갈리는 부분은 물어보기

3. 책 읽은 후..
   해당 범위를 다 읽은 뒤 핵심 정리 + 퀴즈 맞추기

공부한 후에 계속 까먹는 나란 금붕어 햄은.. 열심히 반복 복습하며 읽어보려햄..

---

Chapter1. 탐색적 데이터 분석

책 읽기 전..

1.1 정형화된 데이터의 요소

여기서는 단순히 용어를 외우기보다

"이 변수를 숫자로 계산해도 의미가 있는가?"

를 계속 생각하면서 읽는 게 좋다.

코드를 입력하세요

예를 들어 Age=25와 Age=50은 2배라는 수치적 의미가 있지만, Pclass=1, Pclass=2, Pclass=3의 숫자는 객실 등급을 표현하는 코드에 가깝다.

(이전에 타이타닉 실습하며 물어본게 있어서 그런가.. 이걸로 예시로 든것 같햄..ㅋㅎ🤭)

숫자로 생겼다고 무조건 수치형 데이터가 아니다.

1.2 테이블 데이터

        Age    Sex     Fare
승객1    22    male     7.25
승객2    38    female  71.28
승객3    26    female   7.92
         ↑
       변수

행(row)은 레코드/관측값이고 열(column)은 변수/특성(feature)이다.

여기서 DataFrame, index, structured data, rectangular data 같은 용어가 나오는데, 머신러닝을 해봤다면 상당히 익숙할 거야.

(... 영포햄에게 너무 많은걸 바라는게 아닐까 생각..햄...🫪)

1.3 위치 추정

"이 데이터는 대충 어디쯤 모여 있지?"

예를 들어

20  21  22  23  24

라면 대충 22 주변이라고 할 수 있다.

이 '대표적인 위치'를 숫자로 표현하는 방법이 위치 추정(location estimate)이고, 대표적으로 평균과 중앙값이 나온다.

그런데

20  21  22  23  100

이면 평균은 37.2가 된다.

실제 데이터 대부분은 20대인데 평균만 보면 37.2라서 느낌이 이상하다. 100이라는 이상치(outlier)가 평균을 끌어올렸기 때문이다.

그래서 중앙값(median), 절사평균(trimmed mean) 같은 로버스트(robust)한 추정값이 왜 필요한지를 이해하는 게 1.3의 핵심이다.

가중평균(weighted mean)과 가중중앙값(weighted median)도 나오는데, 처음 읽을 때는 공식을 외우기보다는

"모든 관측값을 똑같이 취급하지 않을 수도 있다"

정도를 먼저 이해하면 충분하다.

(로버스트.. 난 로버트 다우니 주니어 밖에 모르는 데햄..😂)

1.4 변이 추정

데이터가 중심으로부터 얼마나 퍼져 있는가?

예를 들어 두 반의 평균 점수가 모두 70점이라고 해보자.

A반 : 68  69  70  71  72
                 ↑ 70

B반 : 30  50  70  90  110
                 ↑ 70

둘 다 평균은 70이다.

하지만 데이터의 모습은 완전히 다르다.

A반       ●●●●●
          ↑
          70

B반   ●    ●    ●    ●    ●
               ↑
               70

평균 하나만으로는 데이터를 설명할 수 없다.

이 퍼짐을 숫자로 나타내기 위해 책에서 편차 → 분산 → 표준편차, 그리고 이상치에 좀 더 강한 MAD, 범위를 이용하는 범위(range), 백분위수(percentile), IQR 등을 설명한다.

원서에서도 1.4가 표준편차 계열과 백분위수 기반 추정으로 나뉘어 있다.

(오 EDA때 들어봤던 용어들이 나와서 신난 햄!.. 근데 가물가물햄..ㅎ🥹)

정리

오늘 읽고 나서 최소한 다음 관계가 머릿속에 생기면 성공이야.

                 데이터
                    │
        ┌───────────┴───────────┐
        ↓                       ↓
   어디에 모였지?          얼마나 퍼졌지?
        ↓                       ↓
     위치 추정                변이 추정
        │                       │
   평균 / 중앙값          분산 / 표준편차
   절사평균 등             MAD / IQR 등

특히 평균 ↔ 표준편차, 중앙값 ↔ MAD/IQR을 연결해서 생각하면 뒤에서 상당히 도움이 된다.

(정리된 내용을 기반으로 생각하면서 열심히 읽어보아햄..!)

---

책 읽는 중..

통계학자 존 투키

(포근한 옆집 할비처럼 생기셨햄..허허)

“일단 데이터를 직접 보고 탐색하자”는 EDA를 발전시킨 통계학자

(라고 일단 GPT가 기억하라고 알려줬햄..ㅎㅎ)

더 읽을 거리

자료	의미
John Tukey, The Future of Data Analysis (1962)	데이터 분석을 독립적인 학문적 활동으로 강조한 고전 논문
John Tukey, Exploratory Data Analysis (1977)	EDA를 체계화한 고전
David Donoho, 50 Years of Data Science (2017)	Tukey 이후 데이터 과학이 어떻게 발전했는지 돌아보는 논문

1.1 정형화된 데이터의 요소

용어 정리

• 수치형 Numeric
  • 연속형 Continuous : 키, 몸무게, 온도, 시간
  • 이산형 Discrete : 개수, 횟수, 사람 수
• 범주형 Categorical
  • 일반 범주형 : 지역, 혈액형, 색상
  • 이진형 Binary : Yes/No, 0/1
  • 순서형 Ordinal : 낮음/중간/높음

데이터를 분석하기 전에 “이 변수는 어떤 종류의 데이터인가?”를 먼저 판단

헷갈리는 용어 및 질문

용어 / 질문	핵심 의미
특정 데이터 포맷이 뭐야?	데이터를 일정한 규칙이나 구조에 맞춰 저장·표현하는 방식. 예: CSV, JSON, 행·열 구조
enum이 뭐야?	Enumeration(열거형). 사용할 수 있는 값을 미리 정해두는 방식. 예: RED / GREEN / BLUE

더 읽을 거리

자료	지금 보면 좋은 내용
pandas Categorical Data 공식 문서	범주형, 순서형, category dtype
R Tutorial - Basic Data Types	R에서 numeric, integer, logical, character 구분
W3Schools - SQL Data Types	데이터베이스가 자료형을 어떻게 구분하는지

1.2 테이블 데이터

용어 정리

용어	영어	의미	예시
직사각형 데이터	Rectangular Data	행과 열로 정리된 표 형태의 데이터	pandas DataFrame, 엑셀 표
데이터 프레임	DataFrame	행과 열로 구성된 2차원 데이터 구조	pd.DataFrame()
특성 / 변수	Feature / Variable	각 관측값의 속성을 나타내는 열	Age, Sex, Fare
결과 / 목표 변수	Outcome / Target	분석이나 예측의 대상이 되는 변수	Survived, 집값, 합격 여부
레코드 / 관측값	Record / Observation	데이터 한 건, 즉 한 행	승객 한 명, 고객 한 명

헷갈리는 용어 및 질문

용어 / 질문	핵심 의미
쿼리 성능이 뭐야?	원하는 데이터를 검색·필터링·집계하는 요청을 얼마나 빠르고 효율적으로 처리하는지를 뜻함
“쿼리 성능을 크게 향상시킬 수 있다”는 뜻은?	데이터를 적절한 자료형과 구조로 저장하면 검색·비교·집계 작업을 더 빠르게 처리할 수 있다는 의미
데이터 피벗이 뭐야?	데이터 내용은 유지하면서 행과 열을 재배치해 다른 관점에서 보기 쉽게 만드는 것

더 읽을 거리

자료	지금 보면 좋은 내용
pandas DataFrame 공식 문서	Python에서 DataFrame이 정확히 무엇인지
pandas 데이터 구조 입문	Series와 DataFrame의 차이
R data.frame 공식 문서	R의 data.frame 구조

1.3 위치 추정

용어 정리

용어	영어	의미	핵심 포인트
위치 추정	Location Estimate	데이터가 대체로 어디에 모여 있는지 나타내는 값	“데이터의 중심이 어디인가?”
평균	Mean	모든 값을 더한 뒤 개수로 나눈 값	이상치에 민감
가중평균	Weighted Mean	값마다 중요도(가중치)를 다르게 주어 계산한 평균	모든 값의 중요도가 같지 않을 때
중앙값	Median	데이터를 정렬했을 때 가운데 위치한 값	이상치에 강함
가중중앙값	Weighted Median	가중치를 고려했을 때 가운데에 해당하는 값	중요도가 다른 데이터의 중앙값
절사평균	Trimmed Mean	양쪽 극단값을 일정 비율 제거하고 계산한 평균	평균과 중앙값의 절충
이상치	Outlier	다른 데이터에 비해 지나치게 크거나 작은 값	평균을 크게 흔들 수 있음
로버스트	Robust	이상치가 있어도 결과가 크게 변하지 않는 성질	중앙값, 절사평균 등이 대표적

헷갈리는 용어 및 질문

용어 / 질문	핵심 의미
절사평균이 뭐야?	데이터를 정렬한 뒤 양쪽 극단값을 일정 비율 제거하고 나머지 값으로 평균을 계산하는 방법
왜 절사평균은 양쪽을 다 잘라?	한쪽 값만 임의로 제거하지 않고 양쪽 극단값의 영향을 균형 있게 줄이기 위해서
다른 로버스트한 위치 추정 방법이란?	평균보다 이상치에 덜 흔들리면서 데이터 중심을 추정하기 위한 여러 통계적 방법
“작은 데이터셋에서는 유용하지만 중간 이상 크기에서는 추가 이점이 적다”는 뜻은?	작은 데이터에서는 이상치 하나의 영향이 크지만, 데이터가 많고 이상치가 소수라면 개별 이상치의 상대적 영향이 줄어 복잡한 로버스트 방법의 추가 효과가 작을 수 있다는 의미

더 읽을 거리

자료	연결되는 개념
Wikipedia - Central Tendency	평균, 중앙값, 최빈값 등 위치 추정
John Tukey - Exploratory Data Analysis (Pearson)	로버스트 통계와 EDA의 배경

1.4 변이 추정

헷갈라는 용어 및 질문

용어 / 질문	핵심 의미
분산을 구할 때 왜 n-1로 나눠?	표본평균을 이미 하나 추정했기 때문에 자유도가 하나 줄고, n으로 나누면 모집단 분산을 작게 추정하는 경향이 있어 이를 보정하기 위해 n-1을 사용함
자유도가 뭐야?	주어진 조건을 만족하면서 자유롭게 결정할 수 있는 값의 개수. 표본 평균이 정해지면 편차 하나는 자동으로 결정되므로 자유도는 n-1
편차를 그냥 더하면 왜 안 돼?	평균을 기준으로 한 편차들의 합은 항상 0이 되어 퍼짐 정도를 알 수 없기 때문
왜 편차를 제곱해?	음수와 양수 편차가 서로 상쇄되는 것을 막고, 멀리 떨어진 값을 더 크게 반영하기 위해서
분산과 표준편차의 차이는?	분산은 편차를 제곱해 계산한 퍼짐이고, 표준편차는 분산에 제곱근을 씌워 원래 데이터와 같은 단위로 되돌린 값
MAD는 뭐야?	중앙값을 기준으로 각 값의 절대편차를 구한 뒤 그 값들의 중앙값을 계산한 로버스트한 변이 추정값
IQR은 뭐야?	Q3 - Q1로 계산하며, 가운데 50% 데이터가 얼마나 퍼져 있는지 나타내는 값

더 읽을 거리

자료	연결되는 개념
⭐ David Lane - Percentiles	백분위수, 사분위수, IQR
⭐ Kevin Davenport - Absolute Deviation Around the Median	MAD, 중앙값, 로버스트 통계

더 읽을 거리 요약

① David Lane 백분위수
② Kevin Davenport MAD
③ Central Tendency
④ pandas Categorical/DataFrame

---

책 읽은 후..

퀴즈

총 20문제 풀면서 틀린 이론들..

1. 숫자로 표현된 순서형 범주 데이터
2. 표본분산과 n-1
3. 이상치에 강한 변이 추정법
4. 위치 추정 vs 변이 추정
5. 백분위수 해석

추가로 5문제 더 풀어서 다 맞췄햄!!

나의 생각

그냥 읽고 넘어가는 것 보단 GPT랑 같이 생각을 정리하면서 퀴즈로 마무리 정리하는 방법이 재밌고 헷갈린 부분을 더 머릿속에 잘 들어온 것 같햄..

알고 있던 내용을 실제 퀴즈로 진행하다보니 개념이 제대로 잡힌 부분과 잡히지 않은 부분 (숫자로 표현된 순서형 범주 데이터 다 아는 내용인데 틀려서 더 충격햄...) 을 제대로 잡고 가니 그냥 책을 읽고 지나가는 것 보단 좋은 방법인 것 같아서 앞으로도 계속 이렇게 진행할까햄!!