[Hadoop][HDFS] HDFS ๋ž€?

ggydo59ยท2023๋…„ 3์›” 21์ผ
0

Hadoop

๋ชฉ๋ก ๋ณด๊ธฐ
4/5

๐Ÿ’ก ํ•˜๋‘ก์˜ ๋ถ„์‚ฐ ํŒŒ์ผ ์ €์žฅ ์‹œ์Šคํ…œ์ธ HDFS์— ๋Œ€ํ•ด์„œ ์•Œ์•„๋ด…๋‹ˆ๋‹ค.

HDFS๋ž€ ๋ฌด์—‡์ผ๊นŒ?

Hadoop Distrubution File System์˜ ์•ฝ์ž๋กœ ์šฐ๋ฆฌ๊ฐ€ ์ผ๋ฐ˜์ ์œผ๋กœ ์‚ฌ์šฉํ•˜๋Š” ํ•˜๋“œ์›จ์–ด์„œ๋„ ๋™์ž‘ํ•˜๊ณ , ํŒŒ์ผ ์†์ƒ ์‹œ ๋ณต๊ตฌ๋ฅผ ํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ„์‚ฐ๋œ ํŒŒ์ผ ์‹œ์Šคํ…œ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค.

์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋ณด๋‹ค๋Š” ๋ฐฐ์น˜์ฒ˜๋ฆฌ๋ฅผ ๋ชฉ์ ์œผ๋กœ ์„ค๊ณ„๋˜์—ˆ๊ธฐ ๋•Œ๋ฌธ์—, ๋น ๋ฅธ ๋ฐ์ดํ„ฐ ์‘๋‹ต์‹œ๊ฐ„์ด ํ•„์š”ํ•œ ์ž‘์—…์—๋Š” ์ ํ•ฉํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

ํŠน์ง•

HDFS๋Š” 4๊ฐ€์ง€์˜ ํŠน์ง•์ด ์žˆ์Šต๋‹ˆ๋‹ค.

๋ธ”๋ก ๋‹จ์œ„์˜ ์ €์žฅ

HDFS๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ธ”๋ก ๋‹จ์œ„๋กœ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. ๋ธ”๋ก ๋‹จ์œ„ ๋ณด๋‹ค ์ž‘์€ ํŒŒ์ผ์€ ๊ทธ๋Œ€๋กœ ์ €์žฅํ•˜๊ณ , ๋ธ”๋ก ๋‹จ์œ„ ๋ณด๋‹ค ํฐ ํŒŒ์ผ์€ ๋ธ”๋ก์„ ๋‚˜๋ˆ„์–ด ์ €์žฅํ•˜๊ฒŒ๋ฉ๋‹ˆ๋‹ค.

๋ธ”๋ก ๋ณต์ œ๋ฅผ ์ด์šฉํ•œ ์žฅ์•  ๋ณต๊ตฌ

HDFS๋Š” ์žฅ์•  ๋ณต๊ตฌ๋ฅผ ๋ธ”๋ก์˜ ๋ณต์ œ๋ฅผ ํ™œ์šฉํ•ด์„œ ๋ณต๊ตฌ๋ฅผ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด 1GB์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•œ๋‹ค๊ณ  ํ•˜๋ฉด, 3GB์˜ ๋ฐ์ดํ„ฐ๊ฐ€ ํ•„์š”ํ•œ ๊ฒƒ์ธ๋ฐ์š” ํ•˜๋‘ก v3์— ์™€์„œ๋Š” Erasure Coding์„ ์ ์šฉํ•˜์—ฌ ์˜ค๋ฅ˜๋ฅผ ๊ฒ€์ถœํ•˜๋Š” ํŒจ๋ฆฌํ‹ฐ ๋ธ”๋ก์„ ํ™œ์šฉํ•ด์„œ ๋””์Šคํฌ์˜ ์‚ฌ์šฉ๋Ÿ‰์„ 50%๋‚˜ ๊ฐ์†Œ ์‹œ์ผฐ์Šต๋‹ˆ๋‹ค.์ฆ‰ ์›๋ž˜ 3GB๊ฐ€ ํ•„์š”ํ–ˆ๋‹ค๋ฉด 1.5GB๋งŒ ์žˆ์œผ๋ฉด ๋˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์ฝ๊ธฐ ์ค‘์‹ฌ

HDFS๋Š” ํŒŒ์ผ์„ ์“ฐ๋ฉด ์—ฌ๋Ÿฌ๋ฒˆ ์ฝ๋Š” ๊ฒƒ์„ ๋ชฉ์ ์œผ๋กœ ํ•˜๊ธฐ๋•Œ๋ฌธ์— ์“ฐ์—ฌ์ง„ ํŒŒ์ผ์€ ์ˆ˜์ •ํ•  ์ˆ˜ ์—†๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ด๋ฅผ ํ†ตํ•ด์„œ ๋™์ž‘์„ ๋‹จ์ˆœํ™”ํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์„ ๋•Œ ์†๋„๋ฅผ ๋†’์ผ ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ์˜ Locality

MapReduce๋Š” HDFS์˜ Locality๋ฅผ ํ™œ์šฉํ•ด์„œ ์ฒ˜๋ฆฌ ์†๋„๋ฅผ ์ฆ๊ฐ€์‹œ์ผฐ์Šต๋‹ˆ๋‹ค. ์ฆ‰ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋ฅผ ๋ฐ์ดํ„ฐ๊ฐ€ ์‹ค์ œ๋กœ ์žˆ๋Š” ๊ณณ์—์„œ ์ฒ˜๋ฆฌ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์ˆ˜ํ–‰ํ•˜์—ฌ ๋„คํŠธ์›Œํฌ๋ฅผ ํ†ตํ•ด ๋งŽ์€ ๋ฐ์ดํ„ฐ๊ฐ€ ์ด๋™ํ•˜๋Š” ๋น„์šฉ์„ ์ ˆ๊ฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ฐธ๊ณ 

profile
๋ฐ์ดํ„ฐ์—”์ง€๋‹ˆ์–ด์ž…๋‹ˆ๋‹ค.

0๊ฐœ์˜ ๋Œ“๊ธ€