<Hadoop이란..🐘>

개요

하둡이란 한 번에 여러 디스크로부터 데이터를 읽어내어, 여러 대의 컴퓨터 클러스터에서 대규모 데이터셋을 분산처리할 수 있는 프레임워크이다.
Java로 작성된 Apache 오픈소스 플랫폼이다.

등장 배경

대용량 데이터 처리의 요구

온라인 서비스와 데이터 처리 기술의 발전으로 데이터 양과 종류가 급증하며, 기존의 RDBMS로는 비정형 데이터 처리에 한계가 발견됨

고비용의 RDBMS의 대안

RDBMS는 고성능 장비와 스토리지를 필요로 하지만, 하둡은 저가의 리눅스 서버에서 동작

하둡 아키텍처

하둡은 3가지의 주요 구성요소를 포함한다.
HDFS / Map-Reduce / YARN

1. HDFS(Hadoop Distributed File System)

데이터 저장

• 하둡의 데이터 저장소 역할을 한다.
• 대규모 데이터 처리를 위해 파일을 블록 단위로 나누어 여러 노드에 분산저장하는 분산 파일 시스템이다.
• 보통 데이터 파일을 128MB, 256MB 크기 블록으로 나누어 저장한다.

Master-Slave 구조

• 네임노드(Name Node)
  - 메타 데이터(파일이름, 디렉터리 구조, 파일 크기 등)을 저장 및 관리
  • 데이터 노드로부터 3초마다 heartbeat를 수신하여 데이터 노드이 상태를 모니터링함
  • heartbeat를 받지 못한 데이터 노드를 장애 노드로 판단하여 데이터를 복제함
• 데이터 노드(Data Node)
  - 실제 데이터를 저장하며 네임 노드의 지시에 따라 작업(블록 복제, 생성, 삭제)
  - client의 데이터 읽기 및 쓰기의 요청을 처리
  • 자신이 보유한 블록 정보를 네임 노드에 주기적으로 보고

복제

• 데이터 유실을 방지하기 위해 기본적으로 데이터 복제본 3개를 유지한다.

결함 내성(Fault Tolerance)

데이터 노드에 장애가 발생하면, 네임 노드는 자동으로 데이터를 다른 데이터 노드에 복제해 데이터 유실을 방지한다.

2. Map Reduce

• 하둡에서 데이터 처리 및 계산을 담당하며 크게 Map과 Reduce 두 단계로 나누어진다.

Map 과정

1. Splitting

• HDFS에 저장된 데이터를 일정 크기 블록으로 나누어, 맵 작업에 전달

2. Mapper 실행, Mapping

• 각 데이터 블록에 대해 개별적으로 Mapper 실행
• 데이터를 (키,값) 쌍으로 변환

3. 중간 결과 생성

• Mapper의 결과는 HDFS에 저장되지 않고, 메모리나 로컬 디스크에 저장됨

Redcue 과정

1. Shuffling, Sorting

• Mapper의 중간 결과를 Reducer에 전송하기 전에 키를 기준으로 데이터 정렬
• 이 과정에서 동일한 키를 가진 데이터가 하나로 합쳐지도록 함

2. Reducer 실행, Reducing

• 각 Reducer는 동일한 키를 기준으로 데이터 그룹화하여 집계, 계산 또는 변환 작업 수행

3. 최종 출력 저장

• 최종 출력은 다시 HDFS에 저장됨

Map Reduce 특징

• 분산 및 병렬 처리
  - 데이터가 여러 노드에 블록 단위로 저장되기 때문에, 작업을 병렬로 수행 가능
• 데이터 지역성
  - 데이터가 위치한 곳에서 연산 수행하기에, 데이터 전송 비용 최소화
• 프로그래밍 언어 독립성
  - 맵리듀스는 Java뿐만 아니라 python, c++ 등 다양한 언어로 구현 가능

3. YARN(Yet Another Resource Negotiator)

• 하둡에서 클러스터 자원인 메모리, Cpu 등을 관리하고 작업의 스케줄링을 담당한다.
• 구성요소는 Resource Manager, Node Manager, Application Master
• Resource Manager
  - Master Node에서 동작
  - 전체 클로스터의 자원 상태를 관리하며 작업에 필요한 리소스를 할당
• Node Manager
  - Slave Node에서 동작
  - 각 노드에서 자원 사용량을 모니터링하고, Resource Manager과 통신하여 상태를 보고
• Application Master
  - 특정 작업의 라이프사이클(생성,실행,종료)를 관리하고 필요한 리소스를 요청한다

하둡의 장점 및 단점

장점

• 오픈소스
• 필요에 따라 노드 추가하여 저장소와 처리 용량 확장가능
• Fault Tolerance
  - 데이터 복제로 장애 발생 시에도 데이터 손실 없이 운영 지속가능
• 저렴한 리눅스 서버로 대규모 분산 시스템 구축 가능
• 배치 처리에 최적화

단점

• HDFS에 저장된 파일은 데이터 변경 불가
• 배치 작업에 적합하기에, 실시간으로 데이터 처리하는 작업에는 부적합

하둡 1.0 vs. 2.0

하둡 1.0 특징 및 한계

• 핵심 구성 요소로 HDFS + Map-Reduce로만 구성됨
• 모든 작업이 Map-Reduce을 중심으로만 이뤄져 유연성이 낮음
• 자원 관리 및 작업 실행을 동시에 처리하는 구조로 인해 병목 현상 발생

하둡 2.0의 등장

위와 같은 1.0의 병목 현상을 해결하기 위해 YARN을 도입해, 자원 관리와 계산을 분리하고 병렬 처리 구조를 개선함

하둡 2.0의 주요 특징

클러스터 관리

• 리소스 매니저, 노드 매니저(위에서 언급한 바와 같음)

작업 관리

• Application Master
  - 특정 작업의 리소스 요구 사항 관리 및 필요한 Container 요청
  • 위와 같음
• Container
  - 작업이 실행되는 단위
  • 작업은 여러 개 태스트로 세분화되어, 각각의 컨테이너에서 실행됨

병렬 처리 구조 개선

• 맵리듀스와 분리된 자원관리
  - YARN은 맵리듀스뿐만 아니라, Spark, Tez와 같은 다양한 분산 컴퓨팅 엔진 지원
• 컨테이너 기반 처리
  - 작업이 컨테이너 안에서 실행되므로 더 유연한 자원 사용 가능해짐

하둡 동작 과정

1. 클라이언트 요청

클라이언트는 Application 실행 요청과 관련 데이터를 Resource Manager에 제출

2. Application Master 생성

Resource Manager은 적절한 Node maganer 선택해 Application Master 생성

3. Resource 요청

Applicationn Master는 Resource Manager에 container 할당 요청을 보냄

4. Container 실행

Resource Manager은 Node Manager에 container 실행 지시 내림

5. 작업 실행

작업은 각 container에서 실행되고, Application Master가 상태 관리

6. 작업 종료

작업 완료 후, Application master는 Resource Manager에 보고하고 자원을 해제