MapReduce๋ž€?

ggydo59ยท2023๋…„ 3์›” 20์ผ
0

Hadoop

๋ชฉ๋ก ๋ณด๊ธฐ
1/5

๐Ÿ’ก MapReduce๋Š” ๊ตฌ๊ธ€์—์„œ ๊ณต๊ฐœํ•œ ๋…ผ๋ฌธ์ธ MapReduce: Simplified Data Processing on Large Cluster์—์„œ ์†Œ๊ฐœํ•œ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋ชจ๋ธ๊ณผ ๊ตฌํ˜„ํ•œ ๋ชจ๋“ˆ ์ž์ฒด๋ฅผ ๋ชจ๋‘ ์ง€์นญํ•˜๋Š” ๋ง๋กœ ํ•œ ๊ฐ€์ง€ Task๋ฅผ ์—ฌ๋Ÿฌ ๋Œ€์˜ ์ปดํ“จํ„ฐ์—๊ฒŒ ๋ถ„์‚ฐํ•ด์„œ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐฉ์‹์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.

map( )์€ Task๋ฅผ ๋ถ„์‚ฐํ•˜์—ฌ ๊ฐ ์—ฌ๋Ÿฌ๋Œ€์˜ ์ปดํ“จํ„ฐ์— mappingํ•ด์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ณ 
reduce( )๋Š” ๊ทธ๋ ‡๊ฒŒ ์ฒ˜๋ฆฌํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณ‘ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

๋น…๋ฐ์ดํ„ฐ ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ ํ”„๋ ˆ์ž„์›Œํฌ์ธ Hadoop์˜ ํ•ต์‹ฌ ๋ชจ๋“ˆ, ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ ์—”์ง„์œผ๋กœ ์‚ฌ์šฉ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

MapReduce

  • ์œ„ ๊ทธ๋ฆผ์˜ ํ๋ฆ„์— ๋Œ€ํ•ด์„œ ์„ค๋ช…ํ•˜์ž๋ฉด ํ”„๋กœ๊ทธ๋žจ mapreduce๋ฅผ ํ˜ธ์ถœ์„ ํ•˜๋ฉด master์„œ๋ฒ„๋ฅผ ํ†ตํ•ด map๊ณผ reduce๋ฅผ ํ• ๋‹นํ•ฉ๋‹ˆ๋‹ค.
  • ํ• ๋‹น ๋ฐ›์€ map worker๋“ค์€ ๋ถ„์‚ฐ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์–ด์™€์„œ ์ฒ˜๋ฆฌํ•œ ๊ฒฐ๊ณผ๋ฅผ ์ค‘๊ฐ„ ํŒŒ์ผ(๋กœ์ปฌ ๋””์Šคํฌ)์— ์ €์žฅํ•ฉ๋‹ˆ๋‹ค.
  • worker๋“ค ์ค‘ Reduce phase์— ์žˆ๋Š” worker๋Š” ๋กœ์ปฌ ๋””์Šคํฌ์— ์žˆ๋Š” ์ฒ˜๋ฆฌํ•œ ์ค‘๊ฐ„ ๊ฒฐ๊ณผ๋ฅผ ๋ณ‘ํ•ฉ, ์ •๋ ฌํ•˜์—ฌ oupt์„ ๋‚ธ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๋…ผ๋ฌธ์—์„œ๋Š” ์ด๋ ‡๊ฒŒ R๊ฐœ์˜ output์ด ์žˆ๋Š”๋ฐ ๊ตณ์ด ํ•˜๋‚˜์˜ ํŒŒ์ผ๋กœ ํ•ฉ์น  ํ•„์š”๋Š” ์—†๋‹ค๊ณ  ์„ค๋ช…ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ ์ด์œ ๋กœ๋Š” ์ด output๊ทธ๋Œ€๋กœ ์ƒˆ๋กœ์šด mapreduce์ž‘์—…์— ๋„ฃ์„ ์ˆ˜๋„ ์žˆ๊ณ , ๋‹ค๋ฅธ ๋ถ„์‚ฐ ์–ดํ”Œ๋ฆฌ์ผ€์ด์…˜์—๋„ ์—ฌ๋Ÿฌ ํŒŒ์ผ์„ ํ•œ ๋ฒˆ์— ์ฝ์„ ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ด๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค.
  • ๋…ผ๋ฌธ์—์„œ ๋ณด๋ฉด 2-4GB ์ •๋„ ๋˜๋Š” ๋ฉ”๋ชจ๋ฆฌ์˜ ๋ฆฌ๋ˆ…์Šคํ™˜๊ฒฝ์˜ ์ปดํ“จํ„ฐ๋ฅผ ํ™œ์šฉํ•˜๋ฉฐ, ์ˆ˜ ๋ฐฑ์—์„œ ์ˆ˜์ฒœ๊ฐœ์˜ worker๋ฅผ ์šด์˜ํ•˜๊ธฐ ๋•Œ๋ฌธ์— work failure์€ ๋นˆ๋ฒˆํ•˜๊ฒŒ ์ผ์–ด๋‚œ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ๋ฌด์ •์ง€ ๊ฐ€๋™์— ๋Œ€ํ•œ ์„ค๋ช…์ด ์žˆ๋Š”๋ฐ GFS๋ฅผ ์˜๋ฏธํ•˜๋Š” ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค.(์„ค๋ช…ํ•˜๋Š” ๊ฒƒ์ด GFS๋ž‘ ๋˜‘๊ฐ™์Œ). Master๋Š” ์ฃผ๊ธฐ์ ์œผ๋กœ worker(chunk server)์—๊ฒŒ ํ•‘์„ ๋ณด๋‚ด์„œ ์‘๋‹ต์ด ์—†๋Š” worker๋Š” failed๋กœ markํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ worker failure์„ ์ฒดํฌํ•œ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.
  • ์ž์„ธํ•œ ๋‚ด์šฉ์€ ๊ฑฐ์˜ ๋…ผ๋ฌธ์„ ๋ฒˆ์—ญํ•œ ์ˆ˜์ค€์ธ ์•„๋ž˜ ๋ธ”๋กœ๊ทธ๋ฅผ ์ฐธ๊ณ ํ•˜์‹œ๋ฉด ์ข‹์Šต๋‹ˆ๋‹ค. ์ €๋Š” ๋…ผ๋ฌธ๊ณผ ๋ธ”๋กœ๊ทธ๋ฅผ ์ฐธ๊ณ ํ•ด์„œ ์ œ ๊ธฐ์ค€์—์„œ ์ดํ•ดํ•œ ๋‚ด์šฉ์„ ์ž‘์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค.

์ฐธ๊ณ 

profile
๋ฐ์ดํ„ฐ์—”์ง€๋‹ˆ์–ด์ž…๋‹ˆ๋‹ค.

0๊ฐœ์˜ ๋Œ“๊ธ€