[Hadoop]Hadoop이란?

💡 Hadoop은 2006년 야후 엔지니어인 더그 커팅이 ‘Nutch’라는 웹 크롤러 개발과정 중 기존의 RDB로는 비정형 데이터를 처리하기 힘들다는 사실을 깨닫고 GFS와 MapReduce를 그대로 구현해서 공개한 분산 처리 오픈 소스 프레임워크입니다.
여러 대의 컴퓨터를 사용하여 큰 크기의 데이터를 클러스터에서 병렬로 처리해서 속도를 latency를 줄이고 속도를 높이는 분산 처리가 주 목적입니다.
방대한 비정형 데이터를 처리할 솔루션으로 Hadoop이 많이 사용되고 있으며 2022년 시장 규모가 100조 까지 증가했다고 합니다.

Hadoop의 구성

하둡은 4개의 주요 모듈로 구성됩니다.

• Hadoop Common : 하둡의 다른 모듈을 지원하기 위한 공통 컴포넌트 모듈
• Hadoop HDFS : GFS를 구현한 것, 분산저장을 처리하기 위한 모듈로 여러 서버를 하나의 서버처럼 데이터를 저장한다. 분산 파일 시스템을 의미
• Hadoop YARN : 병렬처리를 위해서 클러스터 Resource 관리와 스케줄을 담당한다.
• Hadoop MapReduce : 분산되어 저장된 데이터를 병렬 처리 할 수 있도록 해주는 분산처리 모듈.
• Hadoop Ozone : 하둡을 위한 Object 저장소

분산시스템은 Hadoop밖에 없을까?

분산 시스템을 구성할 때 모든 구성요소가 Hadoop을 이용하거나 전혀 이용하지 않게 구성할수도 있습니다. 예를 들면은 분산 파일 시스템은 ‘HDFS’를 사용하고 리소스 관리는 ‘Mesos’, 분산 데이터 처리는 ‘Spark’를 사용해서 구성할 수도 있습니다.

중요한 것은 이 기술들에 목메는 것이 아니라 상황에 따라서 적절한 프레임워크를 선택해서 활용하는 것이 중요합니다.

Hadoop의 장단점

장점

• 오픈소스로 라이센스 비용에 대한 부담이 적다.
• 시스템을 중단하지 않고 장비를 추가하기에 용이하다.(Scale out)
• 무 정지성을 지원한다.(Fault tolerance)
• 구축 비용이 저렴하고(고성능 컴퓨터 한대가 아닌 범용 컴퓨터 여러대), 비용 대비 빠른 데이터 처리가 가능하다.
• 오프라인 배치 처리에 최적화되어 있다.

단점

• HDFS에 저장된 데이터는 변경이 불가하다.
• 실시간 스트림 처리에는 부적합하다.
• 버전이 너무 많고 서포트가 부실
• 설정이 어렵다.

참고

• https://zzsza.github.io/data/2018/05/26/bigdata-preprocessing-skills/
• The Hadoop Distributed File System
• 위키독스 : 하둡,하이브로 시작하기
• 저서 : ‘빅데이터를 지탱하는 기술’