개발

작성 중.참고자료

작성 중...

네트워크로 연결된 여러 장비에 동일한 데이터의 복사본을 유지하는 것

Ajay Gupta의 글을 번역 및 발췌한 글입니다. Fetch Failed Exception이란 Shuffle reduce task라고 불리며, 하나 혹은 그 이상의 셔플 블록들을 exceutor로 부터 읽는 것을 실패한 동작을 말한다. Fetch Failed E

Hadoop을 배우게 되면, MapReduce 다음으로 Yarn의 개념을 가장 많이 접하게 되는데, 대부분은 단순히 리소스 매니저라는 단어 정도로만 머릿속에 넣고, 지나간다. 하지만, 문제 해결을 하는 데 있어서, 문제의 본질과 핵심에 대해 깊이 알지 못하면 결국 그것

Spark 자체가 데이터 병렬 처리를 위해 개발된 것이기 때문에, 클러스터에 실행하는 것은 일반적인 일이다. 하지만, 클러스터에서 실행하는 방식은 여러가지 방식이 있으며, 조금 더 깊이 알아두어야 할 필요가 있어 기록한다. 스파크 어플리케이션의 아키텍처 구성요소