[Databricks] PySpark 집계(Aggregation) — groupBy, agg, 내장 함수 총정리

🗓️ 학습일: 2026.06
📚 출처: Databricks 수업 자료 (5_Aggregation.ipynb)

---

🎯 오늘 배운 것 한 줄 요약

"데이터를 그룹으로 묶고(groupBy), 그 그룹에 집계를 적용한다(agg / count / sum / avg …)"

---

1. 집계(Aggregation)란?

집계는 여러 행(row)을 하나의 요약 값으로 압축하는 작업이다.

비유 🧾
엑셀에서 피벗 테이블을 만들 때를 떠올려보자.
"지역별 매출 합계"를 구할 때, 수백 개의 행을 지역으로 묶고, 매출을 더하지 않나?
PySpark의 groupBy + 집계 함수가 바로 그 역할이다.

---

2. 핵심 흐름

DataFrame
  └─ .groupBy("열이름")       ← 그룹화 (GroupedData 객체 생성)
       └─ .count()            ← 집계 적용
       └─ .avg("다른열")
       └─ .sum("다른열")
       └─ .agg(함수1, 함수2)  ← 여러 집계를 한 번에

---

3. groupBy — 그룹화하기

groupBy는 DataFrame을 특정 열 기준으로 묶어 GroupedData 객체를 만든다.
이 시점에서는 아직 계산이 일어나지 않는다. 집계 메서드를 붙여야 실제 결과가 나온다.

# 단일 열 기준
df.groupBy("event_name")

# 여러 열 기준 (조합)
df.groupBy("geo.state", "geo.city")

💡 중첩 열(nested column) 접근
"geo.state" 처럼 점(.)으로 구분해서 중첩된 구조의 필드에 접근할 수 있다.

---

4. GroupedData 집계 메서드

메서드	설명
count()	각 그룹의 행 수
avg("열")	각 그룹의 평균
sum("열")	각 그룹의 합계
max("열")	각 그룹의 최댓값
min("열")	각 그룹의 최솟값
agg(...)	여러 집계를 한 번에 적용

코드 예시

# 이벤트 이름별 행 수
event_counts_df = df.groupBy("event_name").count()
display(event_counts_df)

# 주(state)별 평균 구매 수익
avg_state_purchases_df = df.groupBy("geo.state").avg("ecommerce.purchase_revenue_in_usd")
display(avg_state_purchases_df)

# 주 + 도시 조합별 총 수량 & 수익 합계
city_purchase_quantities_df = df.groupBy("geo.state", "geo.city").sum(
    "ecommerce.total_item_quantity",
    "ecommerce.purchase_revenue_in_usd"
)
display(city_purchase_quantities_df)

---

5. 내장 함수(Built-in Functions)와 agg

pyspark.sql.functions 모듈에는 더 다양한 집계 함수가 있다.
이 함수들은 agg()와 함께 사용하며, 결과 열에 별칭(alias) 도 붙일 수 있다.

주요 집계 내장 함수

함수	설명
sum("열")	합계
avg("열")	평균
approx_count_distinct("열")	고유값 개수 (근사치, 빠름)
collect_list("열")	그룹 내 값을 리스트로 묶기
stddev_samp("열")	표본 표준편차

❓ approx_count_distinct vs count(distinct …)
정확한 고유값 수를 세려면 전체 데이터를 다 봐야 해서 느리다.
approx_count_distinct는 HyperLogLog 알고리즘으로 빠르게 근사치를 구한다.
대용량 데이터에서는 이 함수가 훨씬 실용적이다.

코드 예시

from pyspark.sql.functions import sum

# 단일 집계 + alias
state_purchases_df = df.groupBy("geo.state").agg(
    sum("ecommerce.total_item_quantity").alias("total_purchases")
)
display(state_purchases_df)

from pyspark.sql.functions import avg, approx_count_distinct

# 여러 집계를 한 번에
state_aggregates_df = (df
    .groupBy("geo.state")
    .agg(
        avg("ecommerce.total_item_quantity").alias("avg_quantity"),
        approx_count_distinct("user_id").alias("distinct_users")
    )
)
display(state_aggregates_df)

---

6. 수학 내장 함수 (보너스)

집계 외에도 열(column) 단위 수학 연산 함수도 있다.

함수	설명
sqrt("열")	제곱근
cos("열")	코사인
ceil("열")	올림
round("열")	반올림
log("열")	자연 로그

from pyspark.sql.functions import cos, sqrt

display(
    spark.range(10)          # 0~9 범위의 id 열을 가진 DataFrame 생성
         .withColumn("sqrt", sqrt("id"))
         .withColumn("cos", cos("id"))
)

---

7. 헷갈리기 쉬운 포인트 정리

Q. groupBy 메서드의 집계(avg, sum)와 내장 함수의 집계(avg, sum)의 차이는?

A.
둘 다 같은 결과를 내지만, 내장 함수 방식(agg + 내장 함수)이 더 강력하다.

구분	방법	특징
GroupedData 메서드	.avg("열")	간단하지만, alias 불가 / 한 번에 하나의 집계만 쉽게 가능
내장 함수 + agg	.agg(avg("열").alias("별칭"))	alias 가능, 여러 집계 동시에, 더 다양한 함수 사용 가능

Q. alias는 왜 쓰는가?

집계를 하면 열 이름이 avg(ecommerce.total_item_quantity) 처럼 길고 못생기게 된다.
alias("avg_quantity") 로 읽기 좋은 이름을 붙여주는 것이다.

---

8. 오늘의 Q&A

(질문을 하면 이 섹션에 추가됩니다)

---

9. 전체 구조 한눈에 보기

[데이터 집계 전략]

① 단순 집계
   df.groupBy("A").count()
   df.groupBy("A").avg("B")
   df.groupBy("A", "B").sum("C", "D")

② agg + 내장 함수 (추천 ⭐)
   from pyspark.sql.functions import avg, approx_count_distinct
   df.groupBy("A").agg(
       avg("B").alias("평균B"),
       approx_count_distinct("C").alias("고유C수")
   )

③ 열 단위 수학 함수
   from pyspark.sql.functions import sqrt, cos
   df.withColumn("sqrt_id", sqrt("id"))

---

✏️ 초안 상태입니다. 질문 후 Q&A 섹션과 설명이 보강될 예정입니다.