📌 ElasticSearch란?

ElasticSearch(ES)는 Elasticsearch는 Apache Lucene기반의 Java 오픈소스 분산 검색 엔진으로, 대량의 데이터를 빠르게 검색하고 실시간 분석할 수 있도록 설계된 오픈소스 검색 엔진이다. JSON 기반의 RESTful API를 제공하며, Apache Lucene을 기반으로 동작한다.

🔍 주요특징

1️⃣ 고속 검색 (Full-Text Search)

Apache Lucene 기반 → 역색인(Inverted Index) 구조를 사용하여 빠른 검색 가능하다. 이를 통해 대용량 데이터에서도 실시간 검색 및 분석 가능하다.
한글 검색 시 Nori Analyzer 같은 토큰화(Tokenizer) 및 형태소 분석기 활용 가능

❓ 역색인 (inverted index)

쉽게 말해서 책에서 맨 앞에 볼 수 있는 목차가 index이고,
책 맨 뒤에 키워드마다 찾아볼 수 있도록 찾아보기가 inverted idnex이다.
Elasticsearch는 텍스트를 파싱해서 검색어 사전을 만든 다음에 inverted index 방식으로 텍스트를 저장한다.

2️⃣ 분산 시스템 (Scalability & Fault Tolerance)

샤딩(Sharding)과 복제(Replication) 지원 → 데이터가 여러 노드에 분산 저장된다.
노드 추가 시 자동으로 데이터 분배 및 로드 밸런싱 수행하고, 하나의 노드가 다운되더라도 다른 노드가 데이터 제공 가능한 고가용성이 특징이다.

3️⃣ 실시간 데이터 처리

검색 요청 시 즉각적인 데이터 업데이트 가능하다. 때문에 실시간 로그 분석 및 모니터링 시스템에서 활용된다.
Elastic Stack(ELK: Elasticsearch + Logstash + Kibana)과 연동하여 대시보드 구성 가능하다.

4️⃣ 강력한 분석 기능 (Aggregation)

SQL의 GROUP BY 기능처럼 데이터 집계 및 통계 분석 가능하다. 또한 평균, 최대값, 최소값, 히스토그램 분석도 가능하다.

5️⃣ RESTful API 기반

JSON 기반 REST API 제공하여 쉽게 요청 및 응답 가능하다.
HTTP 요청을 통해 CRUD(Create, Read, Update, Delete) 수행한다.

6️⃣ 유연한 데이터 스키마 (Schema-Free)

JSON 형식으로 데이터를 저장하여 스키마를 유연하게 변경 가능하다.
기존 RDBMS처럼 테이블 스키마를 엄격하게 정의할 필요가 없다.
Dynamic Mapping 기능을 통해 데이터 삽입 시 자동으로 필드 타입이 결정된다.

ElasticSearch 클러스터 란?

클러스터란 Elasticsearch 에서 가장 큰 시스템 단위를 의미한다.
최소 하나 이상의 노드로 이루어진 노드들의 집합이다.
서로 다른 클러스터는 데이터의 접근, 교환을 할 수 없는 독립적인 시스템으로 유지된다.
여러 대의 서버가 하나의 클러스터를 구성할 수 있고, 한 서버에 여러 개의 클러스터 존재할 수도 있다.

🤔 클러스터 안 노드는 어떤 일을 할까?

ES 클러스터는 여러 개의 노드(서버)로 구성되며, 역할에 따라 다양한 종류의 노드가 있다.

Master Node | 클러스터 관리(노드 추가/제거, 샤드 배치)
Data Node | 데이터 저장 및 검색, 집계 처리
Ingest Node | 데이터를 사전 처리(필터링, 변환)
Coordinator Node | 클라이언트 요청을 라우팅(부하 분산)
Machine Learning Node | 머신러닝 기반 이상 탐지 수행

🔍 클러스터의 데이터 저장 방법

클러스터는 데이터를 효율적으로 저장하고 빠르게 검색하기 위해 샤딩(Sharding)과 복제(Replication) 를 사용한다.

샤드(Shard)란?

✔ 하나의 인덱스를 여러 개의 작은 단위로 나눈 것 (RDB의 파티셔닝과 유사)
✔ 샤드 단위로 여러 노드에 분산 저장 → 데이터 검색 속도 향상

product_index
├── Shard 1 → Node 2
├── Shard 2 → Node 3
├── Shard 3 → Node 4

복제(Replica)란?

✔ 샤드(Shard)의 복사본을 생성하여 백업 및 장애 대응
✔ 하나의 샤드가 손실되더라도 복제본(Replica) 을 통해 데이터 유지 가능
✔ 검색 성능 향상(여러 복제본에서 동시에 검색 가능)

product_index
├── Shard 1 (Node 2) → Replica 1 (Node 3)
├── Shard 2 (Node 3) → Replica 2 (Node 4)
├── Shard 3 (Node 4) → Replica 3 (Node 2)

• 복제본을 반드시 다른 노드에 배치하여 한 노드가 다운되더라도 다른 노드에서 데이터를 제공
• 검색 요청이 들어오면 Primary와 Replica에서 동시에 검색이 수행됨 → 부하를 나눠 가질 수 있음

💡 클러스터 운영 시 고려할 점

대량의 데이터를 강력한 검색 성능과 확장성을 제공하지만, 운영 시 몇가지 고려해야할 사항들이 있다.

1. 높은 리소스 사용량 (CPU, 메모리, 디스크 I/O)

• ElasticSearch는 데이터를 검색하기 위해 역색인(Inverted Index) 을 사용하는데 이 과정에서 CPU 연산량이 많고, JVM 힙 메모리를 많이 사용함.

• 대량의 데이터가 있을 경우, 디스크 I/O 부하도 상당히 큼.

  ✅ 해결 방법
  : JVM Heap 메모리 조정 (ES_HEAP_SIZE 설정)
  노드 간 부하 분산 (로드 밸런싱)
  고성능 SSD 사용 (디스크 I/O 병목 해결)

2. 데이터 불일치 가능성

• ElasticSearch는 실시간 색인(near real-time indexing) 을 지원하지만, 완전한 트랜잭션 일관성을 보장하지 않음.
  -> 특정 시점에서 Primary Shard와 Replica Shard 간 데이터 불일치가 발생할 수 있음

  ✅ 해결 방법
  : Refresh Interval 조정 (index.refresh_interval 조절)
  정확한 데이터 일관성이 필요한 경우 RDB와 병행 사용

3. 클러스터 운영 복잡성

• 샤드 개수, 복제본 관리 등 클러스터 관리가 복잡함.
  데이터가 많아질수록 샤드 개수 조정이 어려워지고, 노드 확장 시 데이터 리밸런싱이 필요함.
  
  ✅ 해결 방법
  : 클러스터 운영을 자동화하는 Elastic Cloud, Kubernetes 기반 운영 고려
  샤드 개수는 데이터 양에 맞춰 적절히 설정(너무 많거나 적으면 성능 저하)

4. 장애 발생 시 클러스터 불안정

• 마스터 노드가 장애 나면 클러스터가 비정상 상태가 될 수 있음.
  특정 노드에서 GC(가비지 컬렉션) 지연이 발생하면 전체 클러스터가 느려질 수 있음.
  

  ✅ 해결 방법
  : 마스터 노드를 3개 이상 유지 (홀수 개 설정 필수)
  JVM GC 튜닝 (-XX:+UseG1GC 설정)
  

5. 보안 이슈 (기본적으로 보안 기능 없음)

• 기본적으로 ElasticSearch는 보안 설정이 없기 때문에
  별도의 인증, 권한 관리 기능을 설정하지 않으면 데이터 유출 위험이 큼.

  ✅ 해결 방법
  : x-pack 보안 기능 활성화 (Elastic Security)
  Kibana에서 Role-Based Access Control(RBAC) 적용
  VPC 내부에서 운영하여 외부 접근 차단

🛠️ ElasticSearch 클러스터 적용 가능 예시

1. 대규모 검색 서비스 (쇼핑몰, 뉴스 포털, 블로그)

• 상품명을 검색하면 빠르게 추천 상품을 보여줌
• 상품 가격, 브랜드, 카테고리 등 필터 기능 제공
• 인기 검색어 및 자동완성 기능 제공

2. 실시간 로그 분석 및 모니터링 (ELK Stack)

• 서버 오류 로그 모니터링 (HTTP 500, 404, 403 등)
• API 응답 속도 분석 및 성능 모니터링
• 실시간 경고 시스템 구축

3. 추천 시스템 (사용자 행동 기반)

• "이 상품을 본 고객이 본 다른 상품" 추천
• 유사한 키워드를 포함한 상품 추천
• 사용자의 클릭 및 검색 이력을 기반으로 개인화 추천

🧹 느낀점

ElasticSearch 의 주요 기능들과 동작 원리들을 간략하게 정리해보았는데, 유용한 기능인 것 같다. ElasticSearch 활용한 실시간 로그 분석이랑 추천 시스템을 직접 적용해보고 싶다!