📗하둡-> 쿠버네티스 이관 계획 수립

🏳️‍🌈 [궁금한점]

• 이관 계획에 대한 템플릿

---

🔗[목차]

• 1. 준비 및 분석
  • 1-1. 현황 파악
    • 기존 Hadoop 환경의 구성 요소 파악
    • 데이터 크기 및 분포 확인
    • 워크로드 유형 확인
    • 의존성과 연계 시스템 조사
  • 1-2. 요구사항 개요
    • 쿠버네티스로 이관하려는 이유 정의
    • 예상 워크로드 및 SLO 정의
    • 보안, 네트워크, 데이터 접근 정책 정립
• 2. 아키텍처 설계
  • 2-1. 쿠버네티스 클러스터 설계
  • 2-2. 데이터 처리 플랫폼 재설계
  • 2-3. 모니터링 및 로깅
• 3. PoC 및 시범 구축
  • 3-1. 테스트 클러스터 구성
  • 3-2. POC
  • 3-3. 자동화 검증
• 4. 마이그레이션
  • 4-1. 데이터 마이그레이션
  • 4-2. 애플리케이션 이관
  • 4.3. CI/CD 파이프라인 구축
• 5. 운영 전환 및 최적화
  • 5-1. 운영 안정화
  • 5-2. 교육 및 문서화
  • 5.3. 성능 최적화
• 단계별 이관 계획

1. 준비 및 분석

1-1. 현황 파악

기존 Hadoop 환경의 구성 요소 파악

• HDFS
• YARN: 리소스 매니저 역할
• MapReduce / Spark: 주요 Job 및 사용 패턴
• Hive / HBase / Oozie 등: 메타데이터, 워크플로, 쿼리 스크립트 등

데이터 크기 및 분포 확인

• HDFS: 저장소 규모
• 디렉터리 구조
• 파일 크기 분포

워크로드 유형 확인

• 배치 처리 위주 여부, 스트리밍 유무
• 일일/주간 처리량 및 스케줄링 정책
• 사용자 수 및 접근 패턴

의존성과 연계 시스템 조사

현재 Hadoop 기반 시스템이 어떤 다른 시스템이나 서비스와 연결되어 있는지를 파악하고, 이들이 이관 후에도 정상 작동할 수 있도록 보장하는 작업이다.

항목	설명	예시
데이터 소스	Hadoop이 데이터를 수집하거나 읽는 외부 시스템	DB, Kafka, FTP, API 등
데이터 싱크	Hadoop이 데이터를 전달하는 외부 시스템	RDBMS, DWH, Elasticsearch, S3 등
워크플로 도구	Hadoop 기반 ETL을 트리거하거나 스케줄하는 도구	Airflow, Oozie, Control-M
접속/인증 방식	외부 시스템과의 연결에 사용된 인증 수단	Kerberos, Basic Auth, OAuth
메시징 연동	Kafka, RabbitMQ 등과의 스트림 연계 여부	Kafka 토픽명, 메시지 포맷
리포팅 도구	Hadoop 결과를 활용하는 BI 도구	Tableau, Superset, PowerBI 등
사용자 정의 스크립트	Hadoop 위에서 사용자가 돌리는 직접 만든 코드	HiveQL, PySpark, Shell Script
배치/스트리밍 구분	어떤 처리들이 배치인지 스트리밍인지 확인	Flink로 전환 필요 여부 확인

1-2. 요구사항 개요

쿠버네티스로 이관하려는 이유 정의

• 유연한 확장성, 비용 효율, CI/CD 도입
• 스토리지/계산 자원의 분리 및 탄력적 사용
• 사용자 인터페이스 단순화 (Trino + Iceberg 중심)

예상 워크로드 및 SLO 정의

서비스가 어느 정도의 수준까지 유지되어야 하는지를 정량적으로 표현한 목표 값이다.

SLO 항목	목표 (예시)	설명
API 가용성	99.9% / 월	전체 요청 중 성공률 기준
Spark Job 성공률	99.5% / 분기	ETL Job 중 오류 없이 완료된 비율
Kafka 메시지 처리 지연	< 5초	Kafka → Flink 처리까지의 시간
DAG 실행 소요 시간	10분 이하	Airflow DAG 실행 시간 목표
Iceberg 쿼리 응답 시간	p95 2초 이하	사용자가 쿼리 시 응답 시간 기준 (95% 구간 기준)

보안, 네트워크, 데이터 접근 정책 정립

// 인증(Authentication)

• 사용자 인증 방식 선정
• OIDC + Keycloak 또는 Dex 등 사용해 Kubernetes 인증 체계 구성
• SSO 연동 (Google Workspace, Azure AD 등)
• 컴포넌트 간 인증
• Kafka, MinIO 등은 mTLS 또는 SASL 기반 인증 구성
• 내부 서비스 간 ServiceAccount + RBAC 사용

// 권한 정책 - 권한/역할(RBAC)

• Kubernetes RBAC 정책 설계
• 역할 분리: platform-admin, data-engineer, analyst 등
• 네임스페이스 단위 권한 분리
• 데이터 접근 권한 분리
• Iceberg Table 단위 접근 제어 (Apache Ranger 또는 자체 정책)
• Airflow DAG 단위 Role 분리 가능

// Secrets 관리

• Kubernetes Secret 객체 또는 Vault 사용
• 민감정보는 Git에 직접 넣지 않고, sealed-secrets 또는 external-secrets 연동

// 네트워크 정책(Network Policy)

• CNI 플러그인 선택 : Calico, Cilium 등 → NetworkPolicy 지원 필수
• Pod 간 통신 기본 차단 정책 : 기본은 모두 차단하고, 필요한 통신만 허용
• Ingress Controller에 TLS 적용
• Public 노출 서비스는 IP allowlist + 인증 적용
• Grafana, Airflow 등은 내부망 or 인증 필수

// 데이터 접근 정책(Data Access Policy)

• MinIO 버킷별 권한 관리
• 정책 기반: Read/Write 제한 가능
• 사용자 또는 서비스계정에 할당
• Iceberg Table 권한
• Apache Ranger, LakeFS, Sentry 등 연동 고려
• 최소 권한 원칙 적용
• Airflow, Trino, Spark 실행 로그 → Loki
• Iceberg 읽기/쓰기 로깅 정책 고려
• kubectl audit 설정

2. 아키텍처 설계

2-1. 쿠버네티스 클러스터 설계

• 클러스터 사이징 (노드 수, 리소스 요구량)
• 네임스페이스/리소스쿼터 설계 ( dev, prod, batch, realtime 등 분리 )
• 스토리지 설계 (Ceph, PowerFlex, S3A 등과 연계)
• 주요 구성 요소 선정 및 설계

구성 요소	기술 스택	설명
Storage	MinIO	HDFS 대체, Iceberg 지원
ETL Engine	Spark on K8s	Batch 처리
Stream Engine	Flink on K8s	실시간 처리
Workflow	Apache Airflow	DAG 기반
Query	Trino + Iceberg	Hive 대체
Message Broker	Kafka (Strimzi)	실시간 데이터 버퍼링
GitOps	ArgoCD	자동화된 배포
Image Registry	Harbor	보안 이미지 저장소
CNI / CSI	Cilium / PowerFlex CSI	네트워크 및 스토리지
관측	Prometheus, Grafana, Loki, Jaeger	모니터링/로그/트레이싱

2-2. 데이터 처리 플랫폼 재설계

• Spark on Kubernetes 도입
• Hive → Apache Iceberg 전환
• Workflow 관리: Oozie → Airflow or Argo Workflows
• Kafka/Flume → Apache Flink/StreamNative 전환 고려

2-3. 모니터링 및 로깅

• Prometheus + Grafana, Jaeger, Loki 등 통합 모니터링 구성
• 로그 및 트레이스 수집 설계

3. PoC 및 시범 구축

3-1. 테스트 클러스터 구성

• 소규모 테스트 환경에 Spark, Hive, Iceberg, MinIO/S3 구성
• 기존 데이터 일부 이관 및 처리 성능 테스트

3-2. POC

항목	목표
인프라	Hadoop → Kubernetes 기반 전환
데이터 저장	HDFS → MinIO (S3 compatible)
워크플로	Oozie → Airflow
쿼리	Hive → Trino + Iceberg
실행	Yarn → Spark on K8s / Flink on K8s
메시징	Kafka → Strimzi 기반 Kafka on K8s
배포 자동화	GitOps (ArgoCD) 도입
운영 편의	Harbor, CNI/CSI, 관측 도구 포함

• Spark on Kubernetes 테스트: 기존 Spark 애플리케이션 실행
• Spark Executor/Driver 메모리 설정 테스트
• Iceberg + S3 연동: Trino/Hive에서 Iceberg 테이블 생성 및 쿼리
• 파티셔닝, 스냅샷, schema evolution 테스트

3-3. 자동화 검증

• Helm, Kustomize, GitOps(ArgoCD) 등을 통한 배포 자동화 검증
• 워크플로 실행 및 모니터링 체계 검증
• 자동화 스크립트 준비 ( Kubespray를 통한 k8s 설치, helm을 통한 Trino HA 구성, heml을 통한 Spark Cluster 설치)

4. 마이그레이션

4-1. 데이터 마이그레이션

• DistCp + S3A 또는 HDFS → S3 직접 이관
• Iceberg Table 변환 스크립트 적용

4-2. 애플리케이션 이관

• Spark 작업을 Kubernetes에 맞게 재작성
• Hive 쿼리 → Iceberg SQL 호환성 테스트
• Workflow 재작성 및 스케줄 이관
• Hybrid 운영 (Hadoop + K8s 병행) → 점진적 전환
• 우선순위 높은 워크로드부터 이전

4.3. CI/CD 파이프라인 구축

• Git + ArgoCD 작업 자동화
• Spark Job, DAG 등 GitOps 기반 운영
• 운영 자동화 및 관찰성 구축
• • 모니터링: Prometheus, Grafana, Jaeger, Loki 구성
• • 알림 연동: Alertmanager → Slack/Teams 연동
• • Spark + Iceberg 메트릭 수집

5. 운영 전환 및 최적화

5-1. 운영 안정화

• 장애 대응 매뉴얼 작성
• 리소스 최적화 (Spark Executor tuning 등)

5-2. 교육 및 문서화

• 운영자 및 사용자 대상 기술 가이드 제공
• 플랫폼 사용 매뉴얼 문서화
• 운영 매뉴얼 작성: 장애 대응, 스케일링 등
• 사용자 가이드: Spark 실행법, 쿼리 작성법, 데이터 등록 방법
• 전환 기간 중 Dual Run (Hadoop + K8s 병행)
• 운영 문서 및 사용자 쿼리 가이드 제공
• Spark, Trino, Airflow 사용법 교육 세션

5.3. 성능 최적화

• Spark Executor 수, 메모리 크기 튜닝
• Iceberg 테이블 파일 정리 (compaction 등)

단계별 이관 계획

16주 예시, 인력 상황 및 워크로드 성격에 따라 조정 필요

주차	단계	주요 작업
1~2주	요구 분석	Hadoop 구성 인벤토리, 사용 패턴 조사
3~4주	아키텍처 설계	K8s 인프라 구조, 네트워크/스토리지 설계
5~6주	클러스터 설치	K8s 설치, CNI/CSI/Harbor 구성
7~8주	핵심 배포	MinIO, Trino, Spark, Iceberg, ArgoCD 배포
9~10주	Kafka & Flink	Strimzi Kafka + Flink Operator 구성
11~12주	Airflow 이관	DAG 작성, Spark/Flink 연동
13~14주	데이터 이관	HDFS → MinIO 전환, Iceberg 테이블 생성
15주	테스트 & 운영 준비	병행 운영, 성능/안정성 테스트
16주	전환 마무리	운영 전환, 사용자 교육 및 문서화