Hadoop과 Elasticsearch의 차이
| 비교기준 | Hadoop | Elasticsearch |
|---|---|---|
| 작동 원리 | MapReduce 방식 기반 | JSON 및 Domain-specific language 기반 |
| 복잡성 | MapReduce 처리는 비교적 복잡 | JSON 기반 DSL은 이해하고 구현하기가 매우 쉬움 |
| 스키마 | Hadoop은 NoSQL 기술을 기반으로 하므로 모든 키-값 형식으로 데이터를 쉽게 업로드할 수 있음 | ES는 업로드하기 전에 데이터가 일반 키-값 형식일 것을 권장 |
| 대량 업로드 | 문제없음 | 일부 버퍼 제한이 존재, 하지만 실패 발생 시점을 분석해서 확장할 수 있음 |
| 설치 | 프로덕션 환경으로 하둡을 설치하는 것은 쉽고 확장이 용이함, 하둡 클러스터 설치도 ES에 비해 부드러움 | ES 설치는 데이터 볼륨의 사전 예측이 필요함. 초기 설정에 hit와 trial 방법의 고려도 필요하며, 데이터 양이 증가하면 많은 설정 변경이 필요할 수도 있음. 예를 들어 인덱스 초기 생성 시 인덱스별 사드 설정이 필요하며, 조정이 필요한 경우, 인덱스를 새로 생성해야 함. 또한 클러스터 설치에는 오류가 발생하기 쉬움. |
| 분석 사용 | 기본적으로 HBase가 포함된 Hadoop에는 ES와 같은 고급 검색 및 분석 검색 기능이 없음 | 고급 검색 및 분석 검색 기능을 제공 |
| 선호하는 용도 | 일괄 처리용 | 실시간 쿼리 및 결과 |
| 신뢰성 | 대규모 환경에서 신뢰도 높음 | 중소 규모 환경에서 안정적 |
결론
- 간단한 검색 및 웹 분석이 초점이라면 Elasticsearch를 권장.
- 규모 확장이 필요하고, 대량의 데이터와 타사 도구와의 호환성이 필요한 경우, Hadoop 인스턴스가 정답.
- Hadoop을 ES와 통합하여 무거운 대형 응용 프로그램에서 실시간 쿼리 및 결과를 제공하는 방법도 존재.
출처
