빅데이터 이야기... '분산'이라는 사상이 아주 중요하다. 저장소를 분산해보자는 개념에서 HDFS가 등장했고, 처리를 분산해보자는 생각에서 Map Reduce가 등장했고, 이외의 것들도 분산처리를 해보자는 개념에서 YARN이 등장했다. 빅데이터 이야기에서는 '분산'이 아주 중요한 키워드라고 생각된다. Map Reduce Map reduce는 데이터를 처리하기 위한 시스템이고 Map 단계와 Reduce단계 두가지로 구분이 된다. Map reduce 작업이 시작되면 HDFS로 부터 파일을 가져오고, Map reduce 작업이 끝나면 HDFS에 파일이 써진다. YARN ![](https://velog.velcdn.com/images/shwjd1017/post/1ca61360-15f4