Hadoop 주요 구성 요소(3)

김형수·2022년 12월 16일
0

Hadoop

목록 보기
4/11

Zookeeper

  • Zookeeper는 클러스터의 모든 것을 조직화하는 기술.
  • 어떤 노드가 살아있는지 추적할 수 있고 여러 애플리케이션이 사용하는 클러스터의 공유 상태를 안정적으로 확인할 수 있다.
  • 많은 애플리케이션이 Zookeeper에 의존.
    - 그래서 어떤 노드가 다운되더라도 일관성 있고 안정적인 성능을 온 클러스터에 걸쳐 유지할 수 있게함.
  • 어떤 것이 마스터 노드이며 어떤 노드가 살아있고 다운되어 있는지 추적하는데 사용할 수 있다.

Sqoop

  • Sqoop은 Hadoop의 데이터베이스를 관계형 데이터베이스로 엮어낸다.
  • ODBC나 JDBC로 소통 가능한 데이터는 Sqoop을 통해 HDFS의 파일로 변형할 수 있다.
  • Sqoop은 레거시 데이터베이스와 Hadoop을 잇는 연결 장치.

FLUME

  • FLUME을 가지고 대규모 웹로그를 안정적으로 클러스터에 불러올 수 있다.

    예로 웹 서버 여러 개를 가지고 있다고 합시다 FLUME은 실시간으로 웹 서버의 웹로그를 감시하고 클러스터에 게시해 STORM이나 Spark Streaming을 사용해 처리한다.

Kafka

  • Kafka도 데이터 수집을 하지만 좀 더 포괄적으로 사용된다.
  • PC 혹은 웹 서버 클러스터에서 모든 종류의 데이터를 수집해 Hadoop 클러스터로 보낸다.

0개의 댓글