Hadoop-ecosystem-구축해보기

hadoop ecosystem을 docker container로 구축해보는 테스트를 진행해봤습니다. centos 이미지를 base로 단계별로 dockernize하여 필요한 이미지를 빌드하고 서비스별 컨테이너를 실행하도록 구성했습니다. 사용한 언어 및 프레임워크 버전은

Container로 띄울 서비스들과 각 Container를 띄운 이미지, mount한 volume을 시각적으로 정리했다.전 포스팅에서 build한 이미지를 기반으로 필요한 서비스들을 docker container로 띄운다.volume 공유가 필요할 경우 docker 엔

설치한 hadoop이 정상적으로 실행되는지 확인을 위해 테스트 진행.hdfs에 파일을 저장하고 이 파일을 처리하는 mapreduce application을 yarn을 통해 배포하여 실행한다.간단한 텍스트파일을 hdfs에 저장하고 이 파일의 word count를 세는 m