🛢 데이터 엔지니어링 (Data Engineering)

Pandas는 파이썬에서 데이터를 구조적으로 다루기 위한 대표적인 라이브러리다. 엑셀의 표처럼 행(row)과 열(column) 구조를 가지고 있으며, 분석·전처리·시각화 등 거의 모든 데이터 분석의 출발점이다. Pandas의 핵심 객체는 두 가지다.

현실의 데이터는 한 파일에 모두 들어 있지 않다. 고객 정보, 거래 내역, 설문 응답 등이 서로 다른 DataFrame으로 존재한다. 이들을 효율적으로 합치는 방법이 바로 결합(Concatenate), 병합(Merge), 연결(Join)이다.

이번 학습에서는 실제 공개된 영국 온라인 소매 데이터(ecommerce_sales.csv) 를 사용한다. 이 데이터에는 2010–2011년 거래 기록이 포함되어 있으며, 주요 열은 다음과 같다.

Matplotlib은 파이썬 데이터 시각화의 표준 라이브러리다. 데이터를 선, 막대, 원형 등 다양한 형태로 시각화할 수 있으며, Pandas의 plot() 메서드와도 자연스럽게 연결된다. 가장 단순하면서도 강력한 시각화 형태.

날짜(date)와 시간(time)을 조합해 처리하는 Python 표준 라이브러리. datetime 모듈을 사용하면 연도, 월, 일, 시, 분, 초 단위의 데이터를 정밀하게 다룰 수 있다. 다양한 형식의 문자열도 일관된 datetime64 형식으로 자동 변환된다.

텍스트 데이터는 구조적 데이터(숫자, 날짜)와 달리 가공이 필요하다. Pandas의 문자열 처리 기능(.str)과 기본 파이썬 문법을 활용하면 정제·분석이 가능하다.

시계열 분석은 연속된 시간의 데이터를 다루기 때문에, 연산 효율성 + 구조적 데이터 관리 능력이 중요하다. 이 두 가지를 가능하게 해주는 핵심 도구가 바로 NumPy와 Pandas다. NumPy: 고속 수치 연산을 위한 배열 기반 라이브러리

Pandas는 NumPy 기반의 데이터 분석용 라이브러리로, 시계열 데이터를 효율적으로 다룰 수 있는 구조를 제공한다. 속성 및 메서드일반 연산이후 시계열 데이터는 CSV나 API(JSON) 등으로 로드된다. 시계열 분석의 핵심은 날짜를 인덱스로 사용하는 것이다.

Statsmodels는 파이썬의 통계 분석 및 시계열 모델링 라이브러리다. 다양한 통계 검정, 회귀 모델, 그리고 시계열 예측 모형(ARIMA, Holt-Winters 등) 을 제공한다.

이전 글에서는 Statsmodels 중심의 통계 기반 접근(AR, MA, ARIMA, Holt-Winters 등)을 다뤘다. 이제부터는 Scikit-Learn 기반의 일반 예측 모델로 시계열을 다루는 방법을 살펴본다.

이전까지는 ARIMA, SARIMA, SARIMAX 등 통계적 예측 모델을 중심으로 시계열을 다뤘다. 이번 섹션에서는 인공신경망(ANN), 순환신경망(RNN), 그리고 LSTM/GRU를 활용한 딥러닝 기반 시계열 예측을 다룬다. 핵심 목표:신경망의 기본 원리

Facebook Prophet은 페이스북 데이터 과학팀이 개발한 시계열 자동 예측 라이브러리이다. 일·월 단위의 비정상 시계열 데이터를 빠르고 직관적으로 분석할 수 있도록 설계되었다. 📌 핵심 철학“데이터 과학자가 아니더라도 시계열 예측을 쉽게 수행할 수 있도록.”

Hadoop은 대용량 데이터를 분산 저장하고 병렬 처리하기 위한 오픈소스 프레임워크다. 페타바이트 규모의 데이터를 수천 대의 서버에 나눠 저장·분석할 수 있다.

목적: 브라우저에서 Pig 스크립트 작성·실행·저장. 경로: http://127.0.0.1:8080 → 로그인(maria_dev / maria_dev) → Grid 아이콘 → Pig View. Files View에서 입력 데이터 확인

Hadoop은 단순히 HDFS 파일 저장소가 아니라, 데이터의 유형에 따라 적절한 저장소 계층을 조합해 사용한다. 📊 저장소 계층 구조이 글에서는 Hive → MySQL → HBase → Cassandra → MongoDB 순서로 살펴본다.

이전 편에서는 Hadoop 클러스터의 저장 계층 — HDFS, Hive, HBase, MongoDB, Cassandra — 를 모두 구축했다. 이제 그 위에서 “데이터를 분석하고 SQL로 질의할 수 있는 계층”을 다룬다.

하둡은 단일 서버가 아닌 여러 노드가 병렬로 동작하는 분산 클러스터다. 이를 안정적으로 운영하기 위해 다양한 자원 관리·조율·자동화·스트리밍 컴포넌트가 함께 동작한다.

이전까지 Hadoop 생태계의 핵심은 일괄 처리(batch processing) 중심이었다. 그러나 실제 서비스 환경에서는 데이터가 끊임없이 유입되는 스트림(stream) 형태로 들어온다. 일괄 처리(batch) → 하루/시간 단위로 모은 데이터 분석스트림 처리

Apache Kafka는 대규모 실시간 데이터 스트리밍 플랫폼이다. 로그, 센서, 거래, 이벤트 등 다양한 소스로부터 들어오는 데이터를 토픽(topic) 단위로 모아 처리·저장·전송한다.

Kafka를 설치하면 여러 CLI(Command Line Interface) 도구가 함께 제공된다. 이 도구들을 통해 토픽 생성, 메시지 송수신, 컨슈머 그룹 관리 등 Kafka의 핵심 기능을 직접 제어할 수 있다.

이번 프로젝트에서는 실시간 데이터 스트림 파이프라인을 직접 구축한다. 실습 목표는 다음과 같다.위키미디어 실시간 변경 스트림을 SSE(EventSource)로 받아옴. Kafka Producer가 이 스트림 데이터를 Kafka 토픽에 전송

Kafka는 기본적으로 Producer와 Consumer를 통해 데이터를 송수신하는 메시징 시스템이다. 하지만 이것만으로는 대규모 파이프라인 설계나 데이터 품질 관리, 실시간 분석을 구현하기 어렵다. 이를 해결하기 위해 Kafka는 세 가지 확장 API를 제공한다.

Kafka 운영의 성패는 초기 설정값과 성능 테스트에 달려 있다. 특히 파티션 수와 복제 계수(replication factor)는 토픽 설계의 핵심이다. 💡 권장 가이드라인 ⚠️ 주의: 초기 생성 시 충분히 테스트 후 결정해야 한다.

Kafka의 성능과 안정성은 토픽 설정값(topic configuration) 에 따라 극적으로 달라진다. 기본 브로커 설정(server.properties)은 모든 토픽에 공통으로 적용되지만, 운영 중인 특정 토픽만 별도로 최적화할 수도 있다.

Apache Spark는 대규모 데이터를 빠르게 처리하기 위한 분산 컴퓨팅 프레임워크다. MapReduce보다 100배 이상 빠른 성능을 제공하며, 메모리 기반 처리(In-Memory Computation) 와 함수형 API 를 특징으로 한다.

스파크 SQL은 현대 스파크의 중심 축이다. RDD 기반 연산보다 훨씬 효율적이고, 구조화된 데이터 처리를 위한 최적화된 API를 제공한다. 이 API의 핵심이 바로 DataFrame이다.

이번 섹션은 Spark 프로그래밍의 “심화 편”이다. 주요 주제는 함수형 연산, 조인, 브로드캐스트 변수, 캐시, 그리고 성능 최적화다. MovieLens와 Marvel 데이터셋을 기반으로 실제 분석 및 추천 시스템 구축 과정을 다룬다.

Spark는 로컬에서도 실행 가능하지만, 진정한 빅데이터 처리는 분산 클러스터 환경에서 이루어진다. 이번 편에서는 Spark를 다음 세 가지 방식으로 실행하는 방법을 다룬다.

Spark는 단순한 분산처리 프레임워크를 넘어, MLlib(Machine Learning Library) 라는 머신러닝 라이브러리를 내장하고 있다. 이 라이브러리는 대규모 데이터를 병렬로 학습시키기 위해 설계된 분산형 ML 엔진이다.

스파크는 원래 정적 데이터 분석에 특화된 프레임워크였지만, 현실의 데이터는 대부분 끊임없이 생성되는 스트림(stream) 형태다. Spark Streaming은 이러한 데이터를 거의 실시간으로 처리하기 위한 컴포넌트다.