[Hadoop][HDFS] HDFS 란?

💡 하둡의 분산 파일 저장 시스템인 HDFS에 대해서 알아봅니다.

HDFS란 무엇일까?

Hadoop Distrubution File System의 약자로 우리가 일반적으로 사용하는 하드웨어서도 동작하고, 파일 손상 시 복구를 할 수 있는 분산된 파일 시스템을 목표로 합니다.

실시간 데이터 처리보다는 배치처리를 목적으로 설계되었기 때문에, 빠른 데이터 응답시간이 필요한 작업에는 적합하지 않습니다.

특징

HDFS는 4가지의 특징이 있습니다.

블록 단위의 저장

HDFS는 데이터를 블록 단위로 저장합니다. 블록 단위 보다 작은 파일은 그대로 저장하고, 블록 단위 보다 큰 파일은 블록을 나누어 저장하게됩니다.

블록 복제를 이용한 장애 복구

HDFS는 장애 복구를 블록의 복제를 활용해서 복구를 했습니다. 예를 들어 1GB의 데이터를 저장한다고 하면, 3GB의 데이터가 필요한 것인데요 하둡 v3에 와서는 Erasure Coding을 적용하여 오류를 검출하는 패리티 블록을 활용해서 디스크의 사용량을 50%나 감소 시켰습니다.즉 원래 3GB가 필요했다면 1.5GB만 있으면 되는 것입니다.

읽기 중심

HDFS는 파일을 쓰면 여러번 읽는 것을 목적으로 하기때문에 쓰여진 파일은 수정할 수 없게 됩니다. 하지만 이를 통해서 동작을 단순화하여 데이터를 읽을 때 속도를 높일 수 있었습니다.

데이터의 Locality

MapReduce는 HDFS의 Locality를 활용해서 처리 속도를 증가시켰습니다. 즉 데이터 처리를 데이터가 실제로 있는 곳에서 처리 알고리즘을 수행하여 네트워크를 통해 많은 데이터가 이동하는 비용을 절감할 수 있습니다.

참고

• https://wikidocs.net/22766