YRAN

MapReduce 1 vs YARN

---

MapReduce

Job Tracker

• Job Tracker가 여러개 task tracker에게 일을 시킴
• task tracker는 일을 하면서 실시간 상황을 job tracker에게 리포트를 보냄
  • Hadoop 데몬들에 통신 프로토콜은 RPC 방법을 활용함
  • 원격에 있는 프로세스의 메소드를 원격에서 call하는 방식
  • name node가 data node의 프로세스가 가진 funcion을 call하는 방식
  • call 하면서 데이터를 실어서 데이터를 주고받음
• task 수가 많아지면 Job Tracker 에게 과부화가 생김 => 장애 발생
• 확장성 문제를 해결하기 위한 것이 YARN
• YARN이 나오면서 Job tracker, task tracker 가 사라짐

---

YARN

Job Tracker 가 하던 역할을 분리시킴

• ResouceManager : 클러스터의 컴퓨팅 리소스 이용 상태를 관리하고 할당하는 것을 조정함
  • active/ standby
  • Node 관리 : Node manager 로부터 heartbeats받음
  • scheduler
  • container 관리 : ApplictaionMaster의 resource 요구 관리
  • Application Master 관리
• ApplicationManager
  • 클러스터에서 진행중인 job의 life cycle 관리
  • job 하나당 하나의 application manager
• NodeManager
  • 컨테이너 모니터링 , job이 할당 받은 그 이상의 리소스가 사용 되지 않도록 보장
  • Task tracker
  • container 의 process rhksfl

---

Map Reduce 뿐만 아니라 다른 프로세스도 실행할 수 있게 확장시킨 것

• others에는 쿼리 엔진이 들어옴

Yarn 대신에 쿠버네틱스등 동일한 역할을 하는 애들과 바꿔서 사용할 수도 있음.

---

1.0	2.0