[Hadoop]Hadoop์ด๋ž€?

ggydo59ยท2023๋…„ 3์›” 21์ผ
0

Hadoop

๋ชฉ๋ก ๋ณด๊ธฐ
3/5

๐Ÿ’ก Hadoop์€ 2006๋…„ ์•ผํ›„ ์—”์ง€๋‹ˆ์–ด์ธ ๋”๊ทธ ์ปคํŒ…์ด โ€˜Nutchโ€™๋ผ๋Š” ์›น ํฌ๋กค๋Ÿฌ ๊ฐœ๋ฐœ๊ณผ์ • ์ค‘ ๊ธฐ์กด์˜ RDB๋กœ๋Š” ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ธฐ ํž˜๋“ค๋‹ค๋Š” ์‚ฌ์‹ค์„ ๊นจ๋‹ซ๊ณ  GFS์™€ MapReduce๋ฅผ ๊ทธ๋Œ€๋กœ ๊ตฌํ˜„ํ•ด์„œ ๊ณต๊ฐœํ•œ ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ ์˜คํ”ˆ ์†Œ์Šค ํ”„๋ ˆ์ž„์›Œํฌ์ž…๋‹ˆ๋‹ค.
์—ฌ๋Ÿฌ ๋Œ€์˜ ์ปดํ“จํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํฐ ํฌ๊ธฐ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ํด๋Ÿฌ์Šคํ„ฐ์—์„œ ๋ณ‘๋ ฌ๋กœ ์ฒ˜๋ฆฌํ•ด์„œ ์†๋„๋ฅผ latency๋ฅผ ์ค„์ด๊ณ  ์†๋„๋ฅผ ๋†’์ด๋Š” ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ๊ฐ€ ์ฃผ ๋ชฉ์ ์ž…๋‹ˆ๋‹ค.
๋ฐฉ๋Œ€ํ•œ ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•  ์†”๋ฃจ์…˜์œผ๋กœ Hadoop์ด ๋งŽ์ด ์‚ฌ์šฉ๋˜๊ณ  ์žˆ์œผ๋ฉฐ 2022๋…„ ์‹œ์žฅ ๊ทœ๋ชจ๊ฐ€ 100์กฐ ๊นŒ์ง€ ์ฆ๊ฐ€ํ–ˆ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.

Hadoop์˜ ๊ตฌ์„ฑ

ํ•˜๋‘ก์€ 4๊ฐœ์˜ ์ฃผ์š” ๋ชจ๋“ˆ๋กœ ๊ตฌ์„ฑ๋ฉ๋‹ˆ๋‹ค.

  • Hadoop Common : ํ•˜๋‘ก์˜ ๋‹ค๋ฅธ ๋ชจ๋“ˆ์„ ์ง€์›ํ•˜๊ธฐ ์œ„ํ•œ ๊ณตํ†ต ์ปดํฌ๋„ŒํŠธ ๋ชจ๋“ˆ
  • Hadoop HDFS : GFS๋ฅผ ๊ตฌํ˜„ํ•œ ๊ฒƒ, ๋ถ„์‚ฐ์ €์žฅ์„ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ ๋ชจ๋“ˆ๋กœ ์—ฌ๋Ÿฌ ์„œ๋ฒ„๋ฅผ ํ•˜๋‚˜์˜ ์„œ๋ฒ„์ฒ˜๋Ÿผ ๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•œ๋‹ค. ๋ถ„์‚ฐ ํŒŒ์ผ ์‹œ์Šคํ…œ์„ ์˜๋ฏธ
  • Hadoop YARN : ๋ณ‘๋ ฌ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•ด์„œ ํด๋Ÿฌ์Šคํ„ฐ Resource ๊ด€๋ฆฌ์™€ ์Šค์ผ€์ค„์„ ๋‹ด๋‹นํ•œ๋‹ค.
  • Hadoop MapReduce : ๋ถ„์‚ฐ๋˜์–ด ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•ด์ฃผ๋Š” ๋ถ„์‚ฐ์ฒ˜๋ฆฌ ๋ชจ๋“ˆ.
  • Hadoop Ozone : ํ•˜๋‘ก์„ ์œ„ํ•œ Object ์ €์žฅ์†Œ

๋ถ„์‚ฐ์‹œ์Šคํ…œ์€ Hadoop๋ฐ–์— ์—†์„๊นŒ?

๋ถ„์‚ฐ ์‹œ์Šคํ…œ์„ ๊ตฌ์„ฑํ•  ๋•Œ ๋ชจ๋“  ๊ตฌ์„ฑ์š”์†Œ๊ฐ€ Hadoop์„ ์ด์šฉํ•˜๊ฑฐ๋‚˜ ์ „ํ˜€ ์ด์šฉํ•˜์ง€ ์•Š๊ฒŒ ๊ตฌ์„ฑํ• ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค๋ฉด์€ ๋ถ„์‚ฐ ํŒŒ์ผ ์‹œ์Šคํ…œ์€ โ€˜HDFSโ€™๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ๋ฆฌ์†Œ์Šค ๊ด€๋ฆฌ๋Š” โ€˜Mesosโ€™, ๋ถ„์‚ฐ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋Š” โ€˜Sparkโ€™๋ฅผ ์‚ฌ์šฉํ•ด์„œ ๊ตฌ์„ฑํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

์ค‘์š”ํ•œ ๊ฒƒ์€ ์ด ๊ธฐ์ˆ ๋“ค์— ๋ชฉ๋ฉ”๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ ์ƒํ™ฉ์— ๋”ฐ๋ผ์„œ ์ ์ ˆํ•œ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์„ ํƒํ•ด์„œ ํ™œ์šฉํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

Hadoop์˜ ์žฅ๋‹จ์ 

์žฅ์ 

  • ์˜คํ”ˆ์†Œ์Šค๋กœ ๋ผ์ด์„ผ์Šค ๋น„์šฉ์— ๋Œ€ํ•œ ๋ถ€๋‹ด์ด ์ ๋‹ค.
  • ์‹œ์Šคํ…œ์„ ์ค‘๋‹จํ•˜์ง€ ์•Š๊ณ  ์žฅ๋น„๋ฅผ ์ถ”๊ฐ€ํ•˜๊ธฐ์— ์šฉ์ดํ•˜๋‹ค.(Scale out)
  • ๋ฌด ์ •์ง€์„ฑ์„ ์ง€์›ํ•œ๋‹ค.(Fault tolerance)
  • ๊ตฌ์ถ• ๋น„์šฉ์ด ์ €๋ ดํ•˜๊ณ (๊ณ ์„ฑ๋Šฅ ์ปดํ“จํ„ฐ ํ•œ๋Œ€๊ฐ€ ์•„๋‹Œ ๋ฒ”์šฉ ์ปดํ“จํ„ฐ ์—ฌ๋Ÿฌ๋Œ€), ๋น„์šฉ ๋Œ€๋น„ ๋น ๋ฅธ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ๊ฐ€๋Šฅํ•˜๋‹ค.
  • ์˜คํ”„๋ผ์ธ ๋ฐฐ์น˜ ์ฒ˜๋ฆฌ์— ์ตœ์ ํ™”๋˜์–ด ์žˆ๋‹ค.

๋‹จ์ 

  • HDFS์— ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ๋Š” ๋ณ€๊ฒฝ์ด ๋ถˆ๊ฐ€ํ•˜๋‹ค.
  • ์‹ค์‹œ๊ฐ„ ์ŠคํŠธ๋ฆผ ์ฒ˜๋ฆฌ์—๋Š” ๋ถ€์ ํ•ฉํ•˜๋‹ค.
  • ๋ฒ„์ „์ด ๋„ˆ๋ฌด ๋งŽ๊ณ  ์„œํฌํŠธ๊ฐ€ ๋ถ€์‹ค
  • ์„ค์ •์ด ์–ด๋ ต๋‹ค.

์ฐธ๊ณ 

profile
๋ฐ์ดํ„ฐ์—”์ง€๋‹ˆ์–ด์ž…๋‹ˆ๋‹ค.

0๊ฐœ์˜ ๋Œ“๊ธ€