[Hadoop] HDFS

🔊 Udemy Hadoop 무료 강의를 정리한 내용입니다.
강의 내용에 이해가 더 필요한 내용을 덧붙여 정리하였습니다.
언제나 피드백은 환영입니다. 제가 잘못 알고 있는 내용이 있다면 언제든 코멘트 달아주세요!

---

Hadoop Distributed File System

'왜 하둡은 Distributed File System을 채택한 것일까?'에 대한 답을 위해 차근차근 나아가보겠습니다.

1) 파일 시스템이란 무엇이며 어떤 기능을 가지는가?

• 데이터를 어떻게 저장하고, 접근 할 수 있는지에 관한 방법
  • 어떤 Data Structure를 선택하는지에 따라 데이터 저장 위치와 방법이 달라진다.

• 파일들과 폴더들에 대한 Metadata

• 보안 (사용자 권한 등)

• 저장 공간을 관리
  • 빈 공간을 어떻게 효율적으로 사용할 수 있는 것인지 등

2) 파일 시스템은 왜 필요한 것일까?

• 파일 시스템이 없다면, disk에 저장된 정보는 하나의 큰 데이터 덩어리에 지나지 않는다.

• 데이터를 저장하고 어디 위치하는지 앎으로써 다음 번에 사용할 수 있는 것이다.

3) 파일 시스템 종류

자세한 기능은 알지 못하지만, 용어에 친숙해지는 것이 좋을 것 같습니다!
다음 내용을 클릭하시면, 차이점에 대해 쉽게 공부하실 수 있습니다.
FAT, NTFS, exFAT, HFS+ 비교 참고자료

• Microsoft - FAT32, NTFS

• Apple - HFS, HFS+

• Linux - ext3, ext4, XFS

• 이 외에도 시스템에 따라 다양한 파일시스템을 채택하고 있다.

• 하둡은 ext4를 채택하여 분산 시스템을 관리한다.
  

4) 하둡의 장점

* HDFS에서 ext4를 사용한다고 가정한다.

• 분산 환경을 지원한다.

• 전체 파일이 아닌 저장 공간을 블럭단위로 관리한다.

• 데이터를 중복하여 저장하기 때문에 Fault Tolerance에 강하다.

• 확장성: 서버를 추가할 때 빠르게 추가할 수 있다.

• 비용: Scale-out 방식으로 값싼 서버를 이용하여 시설을 증대할 수 있다.