🐘 BigData Programming

Apache Hadoop MapReduce programming model을 사용해 bigdata dataset의 분산 저장 및 처리하는 오픈소스 소프트웨어 프레임워크용량이 커지는 속도에 비해 io 속도가 따라가지 못함 → 하둡으로 해결

Core Filesystems and I/OAbstraction APIs. 추상화된 API원격 프로시저 호출(RPC) / Persistence(지속성) Avro Cross-language serialization 원격 프로시저 호출(RPC) 및 데이터 직렬화 프레임워크

Intoduction 처리해야할 데이터 양이 점점 많아짐, 기존 솔루션은 직렬적인 솔루션이 많았음, MapReduce는 병렬처리 프로그래밍 모델, Map과 Reduce 함수를 사용, 복잡한 디테일들은 라이브러리에 숨겨둠(parallelization, fault-tole

single drive에서 모든 데이터를 읽는다면 매우 많은 시간이 소요됨multiple disks에서 한번에 읽으면 어느정도 문제 해결 가능100개의 드라이브가 있다면, 각각 1/100의 데이터만 읽기문제점Hardware failure → replication(복제)

National Climatic Data Centerhttp://www.ncdc.noaa.gov/기상 센서들이 수집하는 대량의 로그데이터 → semi-structured, record-oriented한 행이 하나의 레코드, 행 단위의 아스키코드 형식기상관측소별

MapReduce. Map side와 Reduce side로 나뉜다. Map은 HDFS에서 데이터를 읽어온다. Mapper가 데이터를 저장할 땐 각각의 Mapper의 Filesystem disk에 intermediate data 저장하게 되며 Reducer에 데이터