🧭 데이터 결합과 전처리 (Merge · Join · Concat · Apply)

1. 데이터 결합의 개념

현실의 데이터는 한 파일에 모두 들어 있지 않다.
고객 정보, 거래 내역, 설문 응답 등이 서로 다른 DataFrame으로 존재한다.
이들을 효율적으로 합치는 방법이 바로 결합(Concatenate), 병합(Merge), 연결(Join)이다.

구분	목적	기준 열 필요 여부	대표 함수
concat()	위아래 또는 좌우로 단순 연결	필요 없음	pd.concat()
append()	concat의 간결한 형태 (deprecated 예정)	필요 없음	df1.append(df2)
merge()	SQL의 JOIN처럼 공통 열 기준 병합	필요 있음	pd.merge()
join()	인덱스 기준 병합	기본적으로 인덱스 기준	df1.join(df2)

---

2. pd.concat() — 데이터프레임 이어 붙이기

2.1 기본 개념

두 DataFrame을 하나로 합쳐 행(row)을 늘리는 방식.
단순한 수직 결합으로, 공통 열 구조만 맞으면 된다.

import pandas as pd

bank1_df = pd.DataFrame({
    'Bank Client ID': [1, 2, 3, 4, 5],
    'First Name': ['Nancy', 'Alex', 'Shep', 'Max', 'Allen'],
    'Last Name': ['Rob', 'Ali', 'George', 'Mitch', 'Steve']
})

bank2_df = pd.DataFrame({
    'Bank Client ID': [6, 7, 8, 9, 10],
    'First Name': ['Bill', 'Dina', 'Sarah', 'Heather', 'Holly'],
    'Last Name': ['Christian', 'Moe', 'Steve', 'Rob', 'Bob']
})

bank_all_df = pd.concat([bank1_df, bank2_df])

• 인덱스는 기본적으로 유지된다 (중복됨).
• ignore_index=True를 주면 자동으로 재정렬된다.

bank_all_df = pd.concat([bank1_df, bank2_df], ignore_index=True)

➡ 결과:
0~9까지 새로운 인덱스가 자동 생성된다.

---

2.2 append() vs concat()

과거엔 append()도 사용했다:

bank_all_df = bank1_df.append(bank2_df, ignore_index=True)

하지만 Pandas 2.0 이후 비권장(deprecated) 되었기 때문에
항상 pd.concat()을 사용할 것을 권장한다.

---

2.3 MultiIndex로 그룹 결합

keys 매개변수를 사용하면 상위 인덱스가 추가된다.

bank_all_df = pd.concat(
    [bank1_df, bank2_df],
    keys=['Customer Group 1', 'Customer Group 2']
)

결과는 멀티 인덱스(MultiIndex) 형태가 된다.

(Customer Group, Index)	...
(Customer Group 1, 0)	...
(Customer Group 1, 1)	...
(Customer Group 2, 0)	...

멀티 인덱스 데이터는 계층적 접근이 가능하다.

bank_all_df.loc['Customer Group 1']     # 특정 그룹 전체
bank_all_df.loc[('Customer Group 2', 3)] # 특정 그룹의 행

➡ 활용 예시:

• 여러 지점/국가/기간의 데이터를 구분해 저장
• 그룹 단위 연산 및 필터링

---

3. pd.merge() — 공통 열 기준 병합

3.1 기본 구조

pd.merge(left, right, on='공통열', how='inner')

• on: 기준 열 지정
• how: 결합 방식 선택
  • 'inner': 공통 키만 (교집합)
  • 'outer': 모든 키 포함 (합집합)
  • 'left': 왼쪽 기준 유지
  • 'right': 오른쪽 기준 유지

---

3.2 실습 예시

기존 고객 데이터 + 연봉 데이터 병합

bank_all_df = pd.concat([bank1_df, bank2_df], ignore_index=True)

bank_salary_df = pd.DataFrame({
    'Bank Client ID': [1,2,3,4,5,6,7,8,9,10],
    'Annual Salary [$]': [2983, 4176, 5369, 5726, 4900, 3200, 3300, 3400, 2744, 2625]
})

merged_df = pd.merge(bank_all_df, bank_salary_df, on='Bank Client ID')

결과:
하나의 DataFrame에 고객 ID, 이름, 성, 연봉이 모두 포함된다.

---

3.3 다양한 병합 예제

유형	코드	설명
Inner Join	pd.merge(df1, df2, on='ID')	공통 ID만 유지
Outer Join	pd.merge(df1, df2, on='ID', how='outer')	모든 ID 포함, 결측값 NaN
Left Join	pd.merge(df1, df2, on='ID', how='left')	df1 기준 유지
Right Join	pd.merge(df1, df2, on='ID', how='right')	df2 기준 유지

---

3.4 실제 확장 예시

카드빚(Credit Card Debt)과 나이(Age) 정보도 합칠 수 있다.

bank_credit_age_df = pd.DataFrame({
    'Bank Client ID': [1,2,3,4,5,6,7,8,9,10],
    'Credit Card Debt': [119, 12, 60, 72, 0, 20, 360, 127, 3000, 262],
    'Age': [44, 35, 67, 19, 22, 45, 48, 33, 34, 36]
})

bank_all_df = pd.merge(merged_df, bank_credit_age_df, on='Bank Client ID')

결과:
모든 고객 데이터(이름·연봉·카드빚·나이)가 한 테이블에 통합된다.

---

4. 데이터 전처리와 apply()

4.1 apply() 기본 개념

각 행(row) 또는 열(column)에 함수를 적용한다.
복잡한 연산을 벡터화 연산처럼 처리할 수 있어 효율적이다.

bank_all_df['Debt Ratio'] = bank_all_df.apply(
    lambda row: row['Credit Card Debt'] / row['Annual Salary [$]'],
    axis=1
)

• axis=1 → 행 기준
• lambda → 간단한 한 줄짜리 함수

---

4.2 예시: 조건 기반 전처리

bank_all_df['Risk Level'] = bank_all_df['Debt Ratio'].apply(
    lambda x: 'High' if x > 0.5 else 'Low'
)

➡ 고객별 부채 비율과 리스크 등급을 자동 계산.

---

4.3 applymap()과 map() 비교

함수	적용 단위	주요 사용처
map()	Series(1차원)	한 열에 간단한 변환 적용
apply()	행 또는 열 단위	다중 열 기반 계산
applymap()	전체 DataFrame 요소별	숫자나 문자열 포맷 일괄 변경

예시:

df.map(str.upper)        # Series
df.apply(np.log1p)       # DataFrame 수학 변환
df.applymap(lambda x: x.strip() if isinstance(x, str) else x)

---

5. 핵심 요약

주제	핵심 문법	실무 활용 포인트
concat	pd.concat([df1, df2], ignore_index=True)	단순 결합, 데이터 축적
keys	pd.concat(..., keys=['A','B'])	멀티 인덱스 구성
merge	pd.merge(df1, df2, on='공통열')	SQL식 병합
join	df1.join(df2)	인덱스 기준 병합
apply	df.apply(lambda row: ...)	사용자 정의 전처리
lambda	lambda x: x*1000	빠른 함수 정의

---

6. 학습 정리

• concat → 데이터 쌓기 (행 기준)
• merge → 데이터 맞붙이기 (열 기준)
• apply → 데이터 다듬기 (함수 적용)
• 전처리란 “데이터를 분석하기 좋은 형태로 만드는 과정”이며, Pandas는 이를 위한 거의 모든 기능을 제공한다.

---

🧩 실전 적용 아이디어

1. 마케팅 데이터 통합
   • 고객 테이블 + 구매 테이블 + 설문 테이블을 merge
   • 공통 키: 고객 ID
2. 신용 리스크 모델 입력 데이터 구성
   • apply로 부채비율, 연령대 카테고리화 등 자동 계산
3. 지점별 영업 데이터
   • keys로 멀티 인덱스 구성 후 그룹 분석