빅데이터 프로젝트

분산 처리 시스템 사전학습빅데이터 분석 어려움 -> 병렬 분산 알고리즘 디자인 및 빅데이터 처리를 해야하는 과정 때문.병렬 분산 알고리즘을 사용해야하는 이유 : 몇멸의 하이엔드 머신 스케일 업(Scale-Up) 방식에 비해 비교적 저렴한 로우 엔드(low-end) 머신

Docker 활용 하둡 클러스터 구성하기 - Master1, Worker1, Worker2

문제 상황 Hadoop 프로젝트의 Map-Reduce 과정에서 외부라이브러리를 사용해야했으나, 빌드 후 생성된 Jar파일을 실행시키면 NoClassDefFoundError가 발생하는 상황

start-all.sh 명령어로 하둡 클러스터 실행시 datanode 실행에 문제 발생

문제 상황 경고라서 무시하려고 했는데 단순 출력이 안되더라 ㅎ 원인 64비트 리눅스에서 32비트 하둡을 돌려서 생긴 에러 원래는 export HADOOPOPTS="-Djava.library.path=$HADOOPHOME/lib/native" 로 된다고 한다.

하둡은 외부라이브러리에 너무 깐깐하다