문제

빅데이터(Big Data) 처리 분석 기술인 하둡(Hadoop)에 대하여 설명하시오.

---

답변

1. 개념

• 하둡(Hadoop): 대용량 데이터를 분산 저장·처리하는 자바 기반 오픈소스 프레임워크.
  (Hadoop: High-Availability Distributed Object-Oriented Platform)

2. 역할 & 목적

• 대용량 데이터(페타바이트급) 효율적 처리
• 분산 컴퓨팅 및 병렬 처리 지원
• 장애 허용성(내결함성) 제공
• 비용 효율적(상용 하드웨어 활용)
• 데이터 분석 인프라 제공

3. 역사적 배경

• 2002년: 너치(Nutch) 프로젝트에서 시작
• 2004년: 구글 GFS/MapReduce 논문 영향
• 2006년: 야후, 더그 커팅이 하둡 독립 프로젝트화
• 2008년: 아파치 최상위 프로젝트 승격
• 2011년: 하둡 1.0 출시
• 2013년: 하둡 2.0(YARN 도입)
• 2017년: 하둡 3.0(컨테이너화 등)

4. 구조 및 구성요소

구성요소	약어	설명
하둡 분산 파일 시스템	HDFS (Hadoop Distributed File System)	대용량 파일 분산 저장, 복제
리소스 관리자	YARN (Yet Another Resource Negotiator)	클러스터 자원 관리, 작업 스케줄링
맵리듀스	MapReduce	분산 데이터 처리 프로그래밍 모델
공통 모듈	Common	에코시스템 공통 유틸리티

확장 에코시스템

• Hive(SQL 기반), HBase(NoSQL), Pig(스크립트), Spark(고속 처리), ZooKeeper(조정), Oozie(워크플로우), Flume(로그 수집), Sqoop(데이터 이동)

5. 원리

• HDFS: 파일을 블록(128MB) 단위로 분산 저장, NameNode(메타데이터), DataNode(실데이터), 복제(기본 3개)
• MapReduce: 입력 분할→맵→셔플→정렬→리듀스→출력
• YARN: ResourceManager(전체 자원), NodeManager(개별 노드), ApplicationMaster(작업 관리), Container(자원 단위)

6. 종류

분류	설명
아파치 하둡	원본 오픈소스
클라우데라 CDH	엔터프라이즈 지원
호튼웍스 HDP	오픈소스 중심
맵알(MapR)	고성능 특화
아마존 EMR	AWS 클라우드
MS HDInsight	Azure 클라우드
하둡 1.x	HDFS+MapReduce
하둡 2.x	YARN 도입
하둡 3.x	컨테이너, 에라슈어 코딩 등

7. 핵심 용어 요약

용어	설명
NameNode	HDFS 메타데이터 관리
DataNode	데이터 블록 저장
ResourceManager	YARN 자원 관리
NodeManager	YARN 노드 관리
Block	HDFS 저장 단위(128MB)
Replication	데이터 복제
JobTracker	하둡 1.x 작업 관리
TaskTracker	하둡 1.x 작업 실행
Secondary NameNode	체크포인트 생성

8. 특징

장점

• 높은 확장성, 비용 효율성, 유연성, 내결함성, 생태계 다양성

단점

• 복잡한 관리, 소규모 데이터 비효율, 실시간 처리 제약, 높은 메모리 요구, 스트리밍 한계

9. 비교

기술	특징	장점	단점	적합 사례
하둡	분산 파일+배치	대용량, 비용 효율	실시간 제약	배치 분석
스파크	인메모리	빠름, 다양한 API	메모리 요구	ML, 반복
플링크	스트림	실시간, 저지연	생태계 작음	이벤트 처리
스톰	스트리밍	낮은 지연	처리량 제약	실시간 분석
카산드라	NoSQL	고가용성, 확장	쿼리 제약	분산 저장

10. 최신 트렌드

• 클라우드 네이티브, 컨테이너화, 통합 데이터 플랫폼, 실시간 처리 강화, 보안·거버넌스, 자동화·서버리스, AI/ML 통합

11. 어린이 버전 요약

• 하둡은 아주 큰 데이터를 여러 컴퓨터에 나눠서 저장하고 처리하는 프로그램이에요. 친구들과 퍼즐을 나눠 맞추듯, 하둡은 여러 컴퓨터가 힘을 합쳐 데이터를 빠르게 분석해요. 한 컴퓨터가 고장 나도 데이터가 안전하게 보관돼요.

12. 한 눈에 보는 요약 표

구분	내용
정의	대용량 데이터 분산 저장·처리 오픈소스
핵심	HDFS, YARN, MapReduce, Common
아키텍처	마스터-슬레이브 구조
저장 방식	블록 단위 분산, 복제
처리 모델	배치 중심
확장성	수천 노드까지 확장
장애 허용	복제·재시도 메커니즘
사용 사례	웨어하우징, 로그 분석, 추천, ETL
에코시스템	Hive, HBase, Pig, Spark 등
사용 기업	야후, 페이스북, 트위터 등
최신 버전	3.3.x (2023년 기준)

---