빅데이터 처리⚒️

구글의 map reduce 정의

(1탄 정리) Map Reduce기술을 기반으로 만든 프로그램 = HaDoop Map reduce는 구글에서 만든 기술 > - Map Reduce는 여러대의 일반적인 컴퓨터들을 네트워크로 묶어서 병렬 프로그래밍으로 빅데이터를 처리하는 모델이다. - single node는 빅데이터 처리에 부적합하다 > 여기서 switch는 네트워크 스위치 ...

Coordination 🤴🏻 MASTER Master node (Name node)는 coordination을 관리한다 task status : (idle | in-progress | completed) >- task ≠ job eg.

하둡이란 ? Open-source data storage and processing API Based on work from Google (GFS + MapReduce + BigTable) 하둡의 역사 2002 ) 'nutch' - 웹크롤링하다가 데이터양이 너무 많아짐 2003 ) GFS, MapReduce 논문 발표 (구글) 2004 ) D...