🐘 클러스터 관리와 데이터 제공

1️⃣ Hadoop 클러스터 관리의 핵심 구조

하둡은 단일 서버가 아닌 여러 노드가 병렬로 동작하는 분산 클러스터다.
이를 안정적으로 운영하기 위해 다양한 자원 관리·조율·자동화·스트리밍 컴포넌트가 함께 동작한다.

📊 운영 계층 구조

계층	구성 요소	역할
자원 관리	YARN, Mesos	CPU·메모리 스케줄링 및 태스크 배분
조율 관리	ZooKeeper	클러스터 상태 관리, 리더 선출
워크플로 자동화	Oozie	배치 잡·의존성·스케줄 관리
분석 인터페이스	Zeppelin, Hue	SQL/노트북·시각화 환경 제공
데이터 파이프라인	Kafka, Flume	실시간 데이터 스트림 수집·전달

---

2️⃣ YARN: 클러스터 자원의 핵심 관리자

YARN (Yet Another Resource Negotiator) 는 Hadoop의 자원 관리 프레임워크다.
모든 Spark, MapReduce, Hive, Tez 작업은 YARN 위에서 실행된다.

📘 YARN 구조 요약

구성요소	역할
ResourceManager (RM)	클러스터 전체 자원 스케줄링, 큐 관리
NodeManager (NM)	각 노드의 CPU·메모리 모니터링, 컨테이너 실행
ApplicationMaster (AM)	개별 애플리케이션의 실행·복구 관리
Container	실제 태스크가 실행되는 논리적 자원 단위

💡 동작 흐름
1️⃣ 클라이언트가 잡(Job)을 제출
2️⃣ RM이 자원을 할당하고 AM을 생성
3️⃣ AM이 NMs에 태스크(Container) 배포
4️⃣ 실행 완료 후 RM에 보고

📈 운영 포인트

• 웹 UI: http://localhost:8088
• 큐·우선순위 기반 스케줄링(Capacity/Fair Scheduler)
• Spark, Hive, Tez, MR 모두 YARN 기반 실행

---

3️⃣ Tez: Hive와 Pig의 속도를 높이는 DAG 엔진

Apache Tez는 YARN 위에서 실행되는 DAG(Directed Acyclic Graph) 기반 실행 엔진이다.
Hive와 Pig의 내부 실행을 MapReduce보다 수십 배 빠르게 최적화한다.

📊 Tez의 핵심

• 다단계 MapReduce 작업을 하나의 DAG로 병합
• 불필요한 중간 파일 I/O 제거
• in-memory shuffle 및 DAG 병렬화

💡 활용

• Hive 설정에서 set hive.execution.engine=tez;
• Ambari → Hive 서비스 → Config → Execution Engine: Tez 선택
• tez.view UI에서 DAG 그래프 실행 플로우 확인

📈 성능 이점 측정 예시

엔진	처리 시간(예시)	개선율
MapReduce	120초	baseline
Tez	15초	8배 빠름

---

4️⃣ Mesos: 범용 클러스터 리소스 관리자

Apache Mesos는 Hadoop, Spark, Kafka 등 다양한 프레임워크를
하나의 클러스터 자원 풀로 통합 관리하는 플랫폼이다.

📘 주요 특징

• YARN과 유사하지만, Hadoop 외 서비스까지 지원
• Docker·Spark·Elasticsearch 등 다양한 워크로드 실행
• Framework Master가 자원을 요청하면 Mesos Master가 분배

📎 비교 요약

항목	YARN	Mesos
주요 용도	Hadoop 생태계 전용	범용 클러스터 관리
배포 단위	ApplicationMaster 중심	Framework 중심
통합 가능성	MapReduce, Spark, Tez	Spark, Kafka, Docker 등

💡 적용 예시

• 하나의 클러스터에서 Spark Streaming + Kafka + Hadoop을 통합 운영
• 자원 활용률 극대화

---

5️⃣ ZooKeeper: 클러스터의 “뇌”

Apache ZooKeeper는 분산 환경에서 서버 간의 동기화·리더 선출·구성 관리를 담당한다.
HBase, Kafka, Oozie 등 다수의 Hadoop 구성요소가 ZooKeeper에 의존한다.

📘 핵심 기능

기능	설명
Leader Election	마스터 장애 시 자동 리더 선출
Configuration Management	노드 상태·메타데이터 저장
Synchronization	여러 노드 간 동시성 제어
Watch Mechanism	이벤트 기반 상태 감시

📎 실습: 마스터 장애 시뮬레이션
1️⃣ ZooKeeper 클러스터(3노드 이상) 실행
2️⃣ Leader 노드 강제 종료
3️⃣ 1초 이내 새 리더 자동 선출 확인

📈 결과

• 분산 시스템이 단일 장애점(SPOF)을 피할 수 있게 함
• Kafka, HBase, Oozie 모두 ZooKeeper 기반으로 동작

---

6️⃣ Oozie: 워크플로 자동화 엔진

Apache Oozie는 Hadoop 작업(Hive, Pig, Sqoop, Spark, Shell 등)을
시간·의존성·이벤트 기반으로 자동 실행하는 워크플로 매니저다.

📘 Oozie 구조

구성 요소	설명
Coordinator	주기적 실행 (e.g., 매일 0시)
Workflow	XML 기반 작업 정의 (action 간 순서 지정)
Action Node	Hive/Pig/Shell/MapReduce 실행 단위
Control Node	Start, End, Kill, Decision 등 흐름 제어

💻 간단한 워크플로 예시

<workflow-app name="movielens_etl" xmlns="uri:oozie:workflow:0.5">
  <start to="hive-load"/>
  <action name="hive-load">
    <hive xmlns="uri:oozie:hive-action:0.5">
      <script>load_movielens.hql</script>
    </hive>
    <ok to="spark-train"/>
    <error to="fail"/>
  </action>
  <action name="spark-train">
    <spark xmlns="uri:oozie:spark-action:0.2">
      <master>yarn-cluster</master>
      <name>ALSModelTrain</name>
      <class>com.recommender.TrainALS</class>
    </spark>
    <ok to="end"/>
    <error to="fail"/>
  </action>
  <kill name="fail"><message>Workflow failed</message></kill>
  <end name="end"/>
</workflow-app>

💡 활용

• 주기적 ETL 자동화 (Hive → Spark → Export)
• Ambari에서 Oozie 서비스 UI 제공

---

7️⃣ Zeppelin & Hue: 데이터 분석 인터페이스

🪶 Zeppelin

• 노트북 기반의 대화형 데이터 분석 도구
• Python, Spark, Hive, JDBC 등 다양한 인터프리터 지원
• 시각화 및 실시간 코드 실행 가능

💻 Zeppelin으로 영화 평점 분석

%hive
SELECT movieId, AVG(rating) AS avg_rating
FROM movielens.ratings
GROUP BY movieId
ORDER BY avg_rating DESC
LIMIT 10;

• 테이블 그래프, 막대형, 파이차트 등 즉시 시각화 가능

---

🌈 Hue

• Hadoop용 웹 UI 통합 포털
• HDFS 탐색, Hive 쿼리, Spark 잡 관리, Workflow 시각화 기능
• 기업 내 데이터 엔지니어·분석가 협업용

📊 활용

• 데이터 브라우징
• SQL Editor로 Hive 쿼리 실행
• Oozie 워크플로 모니터링

---

8️⃣ Kafka: 스트리밍 데이터 허브

Apache Kafka는 실시간 로그·이벤트를 분산 메시지 큐로 처리하는 시스템이다.
수많은 데이터 생산자(Producer)와 소비자(Consumer)가 Kafka Topic을 통해 통신한다.

📘 Kafka 구성

구성 요소	설명
Producer	메시지 생성 (웹 로그, IoT, 앱 등)
Broker	메시지 저장·전달 (분산 파티션 관리)
Consumer	메시지 구독 및 처리
ZooKeeper	브로커 메타데이터 관리

💡 활용 예시

• 웹 로그 → Kafka → Spark Streaming → Hive 저장
• IoT 센서 → Kafka → Flink → Cassandra

📎 Kafka 명령 예시

# 토픽 생성
kafka-topics.sh --create --topic weblogs --bootstrap-server localhost:9092

# 메시지 게시
kafka-console-producer.sh --topic weblogs --bootstrap-server localhost:9092

# 메시지 소비
kafka-console-consumer.sh --topic weblogs --bootstrap-server localhost:9092 --from-beginning

---

9️⃣ Flume: 데이터 수집 및 전달

Apache Flume은 로그 파일이나 디렉터리에서 발생하는 데이터를
HDFS, HBase, Kafka 등으로 실시간 전송한다.

📘 Flume 구성

구성요소	역할
Source	입력 수집 (로그 파일, TCP, syslog 등)
Channel	버퍼 역할 (메모리 or 파일 기반)
Sink	출력 대상 (HDFS, Kafka 등)

💡 예시 구성 (Flume → HDFS)

agent.sources = src
agent.sinks = sink
agent.channels = ch

agent.sources.src.type = spooldir
agent.sources.src.spoolDir = /var/logs/web
agent.channels.ch.type = memory
agent.sinks.sink.type = hdfs
agent.sinks.sink.hdfs.path = /data/weblogs
agent.sources.src.channels = ch
agent.sinks.sink.channel = ch

Flume은 디렉터리를 감시하며 새 파일이 생기면 자동으로 HDFS에 저장한다.
Kafka와 연동하면 완전한 실시간 수집 파이프라인을 구성할 수 있다.

---

🔟 클러스터 기반 데이터 제공 아키텍처 요약

📊 엔드투엔드 데이터 파이프라인 개념도

 [Flume/Kafka]  →  [YARN + HDFS/HBase]  →  [Hive/Tez/Spark]  →  [Oozie Scheduler]
        ↓                                                       ↓
  (실시간 로그 수집)                                  (결과 제공: Zeppelin/Hue)

단계	역할	사용 기술
수집	로그/이벤트 수집	Flume, Kafka
저장	분산 파일·DB	HDFS, HBase
처리	분산 계산	Spark, Hive, Tez
관리	리소스 스케줄링	YARN, Mesos
조율	장애 복구, 상태 관리	ZooKeeper
자동화	워크플로 제어	Oozie
제공	분석 시각화	Zeppelin, Hue

---

💬 결론

이번 편에서는 Hadoop 클러스터가 단순 저장소를 넘어
데이터 수집 → 분산 처리 → 자동화 → 시각화로 이어지는
완전한 데이터 파이프라인 생태계로 발전하는 과정을 다뤘다.

YARN이 모든 리소스를 관리하고,
Tez가 연산을 가속하며,
ZooKeeper가 안정성을 유지하고,
Oozie가 워크플로를 자동화한다.
그리고 Kafka·Flume이 데이터를 지속적으로 공급한다.

이 구조를 이해하면 대규모 데이터 시스템의 운영과 데이터 흐름 제어를
완전히 통합적으로 설계할 수 있다.

다음 편에서는 이 모든 구성요소를 활용해
실시간 스트리밍 분석 및 Hadoop 아키텍처 설계를 다룬다.