🐼 데이터 분석과 Python: Pandas 기초 (Part 1)

1. Pandas 개요

1.1 Pandas란?

• 유래: 동물 '판다(Panda)'가 아니라 Panel Data (계량경제학 용어)에서 유래됨.
• 정의: 빠르고 강력하며 유연하고 사용하기 쉬운 오픈 소스 데이터 분석 및 조작 도구.
• 핵심: Python 생태계에서 데이터 분석(Data Analysis)의 사실상 표준 라이브러리.

1.2 주요 특징 (Library Highlights)

• DataFrame: 엑셀 시트와 유사한 2차원 데이터 구조 제공.
• 고속 입출력: CSV, 텍스트, MS Excel, SQL DB, HDF5 등 다양한 포맷의 데이터를 빠르게 읽고 쓸 수 있음.
• 데이터 처리:
  • 지능적인 데이터 정렬 및 결측치(Missing Data) 처리 기능.
  • 데이터의 재구성(Reshaping)과 피벗(Pivot)이 유연함.
  • Label 기반 슬라이싱, 고급 인덱싱, 부분 데이터 선택 가능.
• 데이터 조작:
  • 컬럼의 삽입과 삭제가 자유로움.
  • 강력한 Group By 기능 제공 (SQL과 유사하지만 더 유연함).
  • 데이터 세트 간의 고성능 병합(Merge) 및 조인(Join) 지원.
• 기타: 계층적 축 인덱싱(Hierarchical Axis Indexing), 탁월한 시계열(Time Series) 데이터 처리 기능.

1.3 언제 사용하는가?

• 복잡한 분석 로직이 필요할 때 (시계열 Resampling, Rolling Window, 분해 등).
• 데이터를 시각화하기 위한 전처리 과정.
• 머신러닝(ML)이나 통계 분석을 위한 데이터 준비 (Scikit-learn 등과 호환성 우수).
• 데이터 구조 변환 및 결측치 처리.
• 강력한 문자열 처리 (정규 표현식 등).

---

2. Pandas의 데이터 구조 (Data Structure)

2.1 구조 개요

Pandas는 크게 두 가지 핵심 데이터 구조를 가집니다.

1. Series (시리즈):
   • 1차원 레이블이 있는 배열 (Labeled Array).
   • 모든 데이터 타입(정수, 문자열, 실수 등)을 담을 수 있음.
   • DataFrame의 단일 컬럼(Column) 혹은 단일 로우(Row)에 해당함.
2. DataFrame (데이터프레임):
   • 2차원 레이블이 있는 데이터 구조.
   • 서로 다른 타입의 컬럼들을 가질 수 있음 (예: 이름(Str), 나이(Int), 주소(Str)).
   • *Row(행)와 Column(열)**로 구성되며, 각각은 Index와 Column Name으로 접근 가능.

2.2 구조 시각화 (Mental Model)

• DataFrame: 여러 개의 Series가 붙어 있는 형태.
• Index: 행을 식별하는 레이블 (기본값은 0부터 시작하는 정수).
• Column Names: 열을 식별하는 레이블.

---

3. 실습: DataFrame과 Series 다루기

3.1 DataFrame 생성 및 속성 확인

딕셔너리를 사용하여 DataFrame을 생성하고 주요 속성을 확인합니다.

import pandas as pd

# DataFrame 생성
df = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Aritra'],
    'Age': [25, 30, 35],
    'Location': ['Seattle', 'New York', 'Kona']
}, index=['A', 'B', 'C'])  # 인덱스를 직접 지정

print(df)
# 결과:
#      Name  Age  Location
# A   Alice   25   Seattle
# B     Bob   30  New York
# C  Aritra   35      Kona

# 주요 속성 확인
print(df.columns)
# Index(['Name', 'Age', 'Location'], dtype='object')

print(df.index)
# Index(['A', 'B', 'C'], dtype='object')

3.2 Series 추출 및 타입 확인

DataFrame에서 특정 행(Row)이나 열(Column)을 선택하면 Series가 반환됩니다.

# 첫 번째 행(Row) 선택 (iloc 사용)
y = df.iloc[0]

print(type(y))
# <class 'pandas.core.series.Series'> -> Series 객체임을 확인

print(y)
# Name        Alice
# Age            25
# Location  Seattle
# Name: A, dtype: object

• 참고: 문자열(String) 데이터는 Pandas에서 object 타입으로 표시됩니다.
• 데이터 접근:
  • 열(Column) 선택: df['Name'] (이름으로 접근)
  • 행(Row) 선택: df.iloc[0] (순서로 접근) 또는 df.loc['A'] (라벨로 접근)

3.3 Series 생성 상세

pd.Series(data, index, dtype, name, copy)

• data: 배열(Array), 반복 가능한 객체(Iterable), 딕셔너리(Dict), 스칼라(Scalar) 값 등.
• index: 각 데이터에 대응하는 레이블. 지정하지 않으면 기본값인 RangeIndex (0, 1, 2...)가 생성됨.
• dtype: 데이터 타입 지정 (예: 'int32', 'float64'). 생략 시 자동 추론.
• name: Series의 이름 지정.
• copy: 입력 데이터의 복사 여부 설정.

Array로 생성하기

# 기본 생성 (인덱스 자동 생성)
pd.Series([1, 2, 3, 4])

# 옵션 지정 생성
pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'], dtype='int32', name='foo')

Dict로 생성하기

딕셔너리의 Key가 Series의 Index가 됩니다.

d = {'a': 1, 'b': 2, 'c': 3, 'd': 4}
pd.Series(d)
# a    1
# b    2
# ...

만약 딕셔너리로 생성하면서 index를 따로 지정하면, 지정한 인덱스에 해당하는 값만 가져오거나 없으면 NaN(결측치)으로 채워집니다.

---

3.4 Series의 속성 변경 (Copy & Index)

• Copy 파라미터: 원본 데이터와의 연결 관계를 끊고 새로운 복사본을 만들 때 사용합니다.
  • copy=False (기본값): 원본 데이터가 변경되면 Series도 변경될 수 있음 (View).
  • copy=True: 별도의 메모리에 복사하여 원본과 독립적임.
• Index 변경: 생성 후에도 s.index = [...]를 통해 인덱스를 변경할 수 있습니다.

import numpy as np
import pandas as pd

# 원본 데이터 공유 예시
na = np.array([1, 2, 3])
s = pd.Series(na)
s.iloc[0] = 99
print(na)  # [99  2  3] -> 원본 배열도 변경됨!

# Copy 사용 예시
na = np.array([1, 2, 3])
s = pd.Series(na, copy=True)
s.iloc[0] = 100
print(na)  # [1 2 3] -> 원본 배열 유지됨

---

3.5 Series 인덱싱 및 선택 (Indexing / Selection)

Pandas는 다양한 방식의 데이터 선택 방법을 제공합니다.

작업	문법 예시	결과 타입
Index(순서)로 선택	s.iloc[0]	값 (Scalar)
Index로 슬라이싱	s.iloc[5:10]	Series
Index 배열로 선택	s.iloc[[2, 3]]	Series
Label(이름)로 선택	s["a"] 또는 s.loc["a"]	값 (Scalar)
Label로 슬라이싱	s["b":"d"]	Series (끝 포함)
조건(Boolean) 선택	s[s > 0]	Series
Dict 스타일 확인	"b" in s 또는 s.get("c")	Bool

s.index = ['a', 'b', 'c']

print("b" in s) # True
print(s.get("c"))  # 3

---

🐼 데이터 분석과 Python: Pandas 기초 (Part 2)

1. 벡터화 연산 (Vectorization) 및 레이블 정렬

Pandas는 NumPy와 마찬가지로 반복문 없이 데이터를 일괄 처리하는 벡터화 연산을 지원합니다. 또한, 연산 시 인덱스(Label)를 기준으로 자동으로 정렬(Alignment)하여 연산을 수행합니다.

1.1 Vectorization & Label Alignment

• Vectorization: s + s 또는 s * 2와 같이 작성하면 Series의 모든 요소에 대해 연산이 수행됩니다.
• Label Alignment: 두 Series 간의 연산 시, 같은 인덱스(Label)를 가진 값끼리 연산됩니다.
  • 한쪽에만 존재하는 인덱스의 경우 결과는 NaN(결측치)이 됩니다.
  • 순서가 달라도 인덱스를 기준으로 매칭됩니다.

# s.iloc[1:] (두 번째부터 끝까지), s.iloc[:-1] (처음부터 뒤에서 두 번째까지)
s.iloc[1:] + s.iloc[:-1] 

# 인덱스가 겹치는 부분만 계산되고, 겹치지 않는 부분은 NaN 처리됨.
# a    NaN
# b    4.0
# c    NaN
# dtype: float64

---

2. DataFrame 심화

2.1 DataFrame 생성 (Dict input)

• 딕셔너리를 사용하여 DataFrame을 생성할 때, Key는 컬럼명이 되고 Value(리스트)는 데이터가 됩니다.
• 주의: 모든 리스트의 길이는 같아야 합니다. 길이가 다르면 ValueError가 발생합니다.
• Index 지정: index 파라미터로 행 레이블을 지정할 수 있습니다.
• Missing Data: columns를 지정할 때 데이터에 없는 컬럼명을 넣으면 해당 컬럼은 NaN으로 채워집니다.

d = {
 "one": pd.Series([1.0, 2.0, 3.0], index=["a", "b", "c"]),
 "two": pd.Series([1.0, 2.0, 3.0, 4.0], index=["a", "b", "c", "d"]),
}
# Series로 구성된 Dict는 인덱스가 달라도 합집합(Union)으로 인덱스가 생성되고,
# 비어있는 곳은 NaN으로 채워짐.
pd.DataFrame(d)
#    one  two
# a  1.0  1.0
# b  2.0  2.0
# c  3.0  3.0
# d  NaN  4.0

2.2 List of Dicts 생성

딕셔너리의 리스트로 생성할 경우, 각 딕셔너리가 하나의 행(Row)이 됩니다.

data = [{"a": 1, "b": 2}, {"a": 5, "b": 10, "c": 20}]
pd.DataFrame(data)
#    a   b     c
# 0  1   2   NaN
# 1  5  10  20.0

---

3. DataFrame 조작 (Column & Indexing)

3.1 컬럼 선택, 추가, 삭제

DataFrame은 딕셔너리처럼 다룰 수 있습니다.

• 선택: df['one'] (Series 반환)
• 추가: df['three'] = df['one'] * 2 (새로운 컬럼 생성)
• 삭제: del df['two'] 또는 df.pop('three')
• 삽입: df.insert(1, 'new_col', value) (특정 위치에 컬럼 추가)

3.2 인덱싱 및 선택 (Indexing / Selection)

작업	문법	결과 타입
열 선택	df[col]	Series
행 선택 (Label)	df.loc[label]	Series
행 선택 (Index)	df.iloc[loc]	Series
행 슬라이싱	df[5:10] 또는 df.iloc[5:10]	DataFrame
조건부 선택	df[bool_vec]	DataFrame

---

4. 입출력 도구 (IO Tools)

Pandas는 다양한 파일 포맷을 지원합니다.

포맷	Reader (읽기)	Writer (쓰기)
CSV	read_csv	to_csv
JSON	read_json	to_json
Excel	read_excel	to_excel
SQL	read_sql	to_sql

4.1 read_csv 주요 파라미터

• filepath_or_buffer: 파일 경로
• sep: 구분자 (기본값 ,)
• header: 헤더 위치 (기본값 0, 없으면 None)
• index_col: 인덱스로 사용할 컬럼
• usecols: 불러올 컬럼 지정
• encoding: 인코딩 (예: 'utf-8', 'cp949')
• skiprows: 건너뛸 행 개수

4.2 실습: read_csv와 인코딩 문제 해결

공공데이터(예: 서울열린데이터광장)에서 다운로드한 CSV 파일은 한글 인코딩 문제로 인해 기본 설정으로 읽을 때 오류가 자주 발생합니다. 이를 해결하는 과정을 살펴봅니다.

• 데이터셋: 서울특별시 공공자전거(따릉이) 대여이력 정보 (2025년 2월 자료)

1) 문제 발생: 기본 설정으로 읽기 (UTF-8 오류)

Pandas의 read_csv는 기본적으로 encoding='utf-8'을 사용합니다. 하지만 많은 한국 공공데이터는 cp949나 euc-kr로 인코딩되어 있어 아래와 같은 에러가 발생합니다.

import pandas as pd

# 기본 설정으로 로드 시도
bike = pd.read_csv('seoul_bike_2502.csv')
print(bike.head())

발생 에러 (Traceback):

Traceback (most recent call last):
  ...
  File "pandas/_libs/parsers.pyx", line 2053, in pandas._libs.parsers.raise_parser_error
  File "<frozen codecs>", line 325, in decode
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 1: invalid start byte

원인: 파일은 cp949로 저장되어 있는데, Pandas는 utf-8 방식으로 해석하려다 실패함.

2) 문제 해결: 인코딩 옵션 지정 (encoding='cp949')

encoding 파라미터에 'cp949' (또는 'euc-kr')을 지정하여 파일을 올바르게 읽어옵니다.

import pandas as pd

# encoding='cp949' 추가하여 한글 깨짐 방지
bike = pd.read_csv('seoul_bike_2502.csv', encoding='cp949')

# 상위 5개 행 출력
print(bike.head())

실행 결과:

자전거번호                 대여일시 대여 대여소번호         대여 대여소명  ... 이용자종류  대여대여소ID  반납대여소ID    자전거구분
0  SPB-41846  2025-02-01 00:01:04    01308   안암로터리 버스정류장 앞  ...   내국인   ST-827   ST-273  BIK_002
1  SPB-60204  2025-02-01 00:00:14    03500         군자역2번출구  ...   내국인   ST-983  ST-1266  BIK_002
2  SPB-60407  2025-02-01 00:01:54    00398     을지로3가역 3번출구  ...   내국인  ST-1435   ST-943  BIK_002
3         \\N  2025-02-01 00:01:34    00864  순천향대학병원(한남오거리)  ...   내국인  ST-2188  ST-2188  BIK_002
4  SPB-50025  2025-02-01 00:00:30    00558    성동광진 교육지원청 앞  ...   내국인   ST-359  ST-2340  BIK_002

[5 rows x 17 columns]

4.3 read_sql_table 주요 파라미터

• table_name: 테이블 이름
• con: SQLAlchemy 연결 객체
• index_col: 인덱스로 설정할 컬럼
• parse_dates: 날짜 형식으로 파싱할 컬럼

---

5. 데이터 탐색 및 전처리

5.1 데이터 탐색 (Exploration)

• head(n) / tail(n): 상위/하위 n개의 행을 보여줍니다. (기본값 5)
• sample(n): 무작위로 n개의 행을 추출합니다.
• describe(): 수치형 데이터의 기술 통계량(평균, 표준편차, 4분위수 등)을 요약해서 보여줍니다.
  • include='all': 문자열 데이터까지 포함하여 요약.

import pandas as pd

# 서울시 따릉이 대여 데이터 불러오기
bike = pd.read_csv("seoul_bike_2502.csv", encoding='cp949', parse_dates=['대여일시', '반납일시'], date_format='%Y-%m-%d %H:%M:%S')
#print(bike.head())
print(bike.describe())

실행 결과:

대여일시                           반납일시       이용시간(분)       이용거리(M)
count                        1629540                        1629540  1.629540e+06  1.629540e+06   
mean   2025-02-16 16:46:03.578277632  2025-02-16 17:05:14.998458368  1.844827e+01  1.916543e+03   
min              2025-02-01 00:00:11            2025-02-01 00:03:54  0.000000e+00  0.000000e+00   
25%    2025-02-10 17:14:23.750000128            2025-02-10 17:35:26  5.000000e+00  7.485000e+02   
50%       2025-02-17 08:46:29.500000            2025-02-17 08:56:11  9.000000e+00  1.236465e+03   
75%    2025-02-24 06:06:18.750000128  2025-02-24 06:18:17.249999872  2.000000e+01  2.170000e+03   
max              2025-02-28 23:59:57            2025-03-01 02:01:43  1.097000e+03  8.861735e+04   
std                              NaN                            NaN  2.465302e+01  2.299137e+03   

5.2 결측값 처리 (Missing Data Handling)

데이터 분석에서 가장 중요한 전처리 과정 중 하나입니다.

작업	함수	설명	예시
확인	isna(), notna() ,isnull(), notnull()	결측치 여부를 Boolean으로 반환 (df.isnull()과 동일)	df.isnull()
제거	dropna()	결측치가 포함된 행/열을 삭제	df.dropna(thresh=2)
채우기	fillna(value)	결측치를 특정 값으로 채움	df.fillna(0)
시계열	ffill(), bfill()	앞(Forward) 또는 뒤(Backward)의 값으로 채움	df.ffill()

---

🔑 [참고] Hashable (해시 가능) 이란?

1. 정의

"어떤 객체(Object)가 평생 동안 변하지 않는 고유한 값(Hash Value)을 가지고 있고, 다른 객체와 비교할 수 있다면 그 객체는 Hashable하다." 라고 합니다.

쉽게 말해, "주민등록번호나 지문처럼 변하지 않는 고유 ID를 만들 수 있는가?" 의 문제입니다.

2. Hashable의 조건 (Python)

파이썬에서 어떤 객체가 Hashable 하려면 다음 두 가지 메서드를 가지고 있어야 합니다.

1. __hash__(): 객체의 고유한 정수(Integer) 값을 반환해야 합니다. 이 값은 객체가 살아있는 동안 변하면 안 됩니다.
2. __eq__(): 다른 객체와 같은지 비교할 수 있어야 합니다. (Equality)

---

3. Mutable vs Immutable (가변 vs 불변)

이것이 Hashable을 가르는 가장 큰 기준입니다.

구분	설명	예시 (Python)	Hashable 여부
Immutable (불변)	생성된 후 값을 바꿀 수 없는 객체	int, float, str, bool, tuple	✅ Yes (가능)
Mutable (가변)	생성된 후 값을 바꿀 수 있는 객체	list, dict, set	❌ No (불가능)

왜 가변 객체(List 등)는 Hashable이 아닐까요?
리스트 [1, 2]가 있다고 가정해 봅시다. 이 리스트의 내용물은 언제든 [1, 2, 3]으로 바뀔 수 있습니다. 내용이 바뀌면 '고유한 값(Hash)'도 바뀌어야 합니다. "값이 수시로 변하는 녀석은 고유한 주민번호를 확정 지을 수 없다"라고 이해하시면 됩니다.

---

4. 코드 예시

✅ Hashable한 경우 (정수, 문자열, 튜플)

# 정수, 문자열은 해시 가능
print(hash(123))        # 예: 123
print(hash("Python"))   # 예: -6401083652872391083

# 튜플(Tuple)은 불변이므로 해시 가능
my_tuple = (1, 2, 3)
print(hash(my_tuple))   # 해시값 생성 성공

❌ Not Hashable한 경우 (리스트, 딕셔너리)

# 리스트(List)는 가변이므로 해시 불가능
my_list = [1, 2, 3]

try:
    print(hash(my_list))
except TypeError as e:
    print(e)  # "unhashable type: 'list'" 에러 발생

⚠️ 주의할 점: 튜플 안에 리스트가 있다면?

튜플은 불변이지만, 튜플 안에 가변 객체(리스트 등)가 들어있으면 그 튜플은 Hashable 하지 않습니다.

bad_tuple = (1, 2, [3, 4])
# 튜플 자체는 불변이지만, 안의 리스트 [3, 4]가 변할 수 있음 -> unhashable
# hash(bad_tuple) -> Error!

---

5. Pandas와 Hashable

강의 내용에서 이 개념이 중요하게 다뤄진 이유는 Pandas의 동작 원리 때문입니다.

5.1 인덱스(Index)와 컬럼(Column)

Pandas의 Index나 Column의 이름은 데이터를 빠르게 찾기 위한 열쇠(Key) 역할을 합니다.

• 데이터를 빠르게 찾으려면 내부적으로 해시 테이블(Hash Table) 이라는 구조를 사용합니다.
• 따라서 인덱스나 컬럼명으로 사용할 객체는 반드시 Hashable 해야 합니다.
  • 가능: 'Name', 2023, (2023, 'Jan') 등
  • 불가능: ['Name', 'Age'] (리스트 자체를 하나의 인덱스 이름으로 쓸 수 없음)

5.2 딕셔너리(Dict)의 Key

Pandas DataFrame이나 Series를 생성할 때 딕셔너리를 많이 사용합니다. 파이썬의 딕셔너리 Key는 반드시 Hashable이어야 합니다.

# 가능 (String Key)
d = {"a": 1, "b": 2}

# 불가능 (List Key) -> Error 발생
# d = {[1, 2]: "value"}

요약

1. Hashable: 변하지 않는 고유값을 가짐 (주민번호 O).
2. Immutable(불변) 객체(str, int, tuple)는 Hashable이다.
3. Mutable(가변) 객체(list, dict)는 Not Hashable이다.
4. Pandas의 Index, Column명, Dict의 Key는 반드시 Hashable이어야 한다.

---

🔗 참고 자료 (References)

• Pandas 공식 튜토리얼 (Table Oriented)
• Pandas 사용자 가이드
• Pandas 자료구조 소개
• WikiDocs: Pandas 소개
• Pandas IO Tools (Read/Write)
• Indexing and Selecting Data
• Working with Missing Data
• Vectorization in Pandas