엘라스틱 스택의 구성요소
엘라스틱 스택은 일반적인 빅데이터 파이프라인을 구성하기 위한 데이터 수집, 가공, 저장, 분석 시각화에 필요한 모든 소프트웨어를 가지고 있다.
- 로그 스태시: 데이터를 수집하고 가공하는 역할
- 엘라스틱 서치: 데이터를 저장하고 분석하는 역할
- 키바나: 저장된 데이터를 시각화하고 모니터링하는 역할
1) 엘라스틱 서치: 분산 검색 엔진
엘라스틱 서치는 검색엔진이지만 구글이나 네이버 같은 포털 서비스와는 다르다. 엘라스틱 서치는 모든 레코드를 JSON 도큐먼트 형태로 입력하고 관리하고 있으며, 일반적인 데이터베이스와 마찬가지로 쿼리 결과에 대해 일치하는 원본 도큐먼트를 반환한다. 또한, 엘라스틱 서치는 텍스트 외에도 숫자, 날짜, 주소 지리 정보 등 다양한 데이터 타입에 대해 최적화되어 있다.
2) 키바나: 시각화 도구
키바나는 엘라스틱 스택의 UI 를 담당한다. 엘라스틱 서치에 대한 대부분의 관리 기능, API 를 실행할 수 있는 콘솔, 솔루션 페이지 등 각 구성요소들을 위한 모니터링 페이지 등이 모두 키바나에 포함되어 있다. 하지만 가장 중요한 기능은 시각화와 대시보드라고 할 수 있다.
3) 로그스태시: 이벤트 수집과 정제를 위한 도구
대량의 데이터를 검색하기 위해 가장 먼저 선행되어야 하는 작업은 데이터를 적재하는 것이다. 이는 빅데이터를 다룰때 가장 손이 많이 가는 작업이며, 변경되는 상황에 맞춰 꾸준히 모니터링을 해야하고 개선도 필요한 부분이다. 데이터 수집과 가공 기능을 제공하는 로그스태시를 사용하면 로그, 메트릭, 웹 애플리케이션 등 다양한 소스로부터 로그를 수집할 수 있다.
엘라스틱 스택의 용도
1) 전문 검색 엔진
엘라스팃 스택의 가장 기본적인 사용처는 바로 전문검색 엔진 구현이다. 전문(Full-Text)는 단순한 문장부터 뉴스기사나 논문 등 다양한 글의 전체 내용을 의미한다. 대상 도큐먼트가 많지 않다면 일반적인 관계형 데이터베이스의 LIKE 질의 만으도로 충분히 검색이 가능하지만 도큐먼트 수가 조금만 늘어나도 인덱스의 도움없이 빠른검색은 불가능에 가깝다.
2) 로그 통합 분석
엘라스틱 스택은 여러 장비와 서비스에서 발생하는 로그를 통합하고 검색하는데 최적화된 솔루션이라 할 수 있다. 시스템과 호스트, 쿠버네티스, 아파치, MySQL, 윈도우 같은 다양한 환경에서 생성되는 로그를 별도의 복잡한 구성없이도 바로 수집 가능하다.
3) 애플리케이션 성능 분석
애플리케이션을 운영하는데 있어 가장 중요한 것 중 하나는 안정적인 서비스 유지다. 이를 위해서는 필연적으로 애플리케이션의 상태를 지속적으로 모니터링해야 한다. 단순히 하나의 애플리케이션 뿐만 아니라 연계된 다른 모든 서비스의 성능 정보를 모니터링 해야한다.
엘라스틱 APM은 로그, 인프라 모니터링 등 다른 UI와 연계했을때 효과가 배가되며, 서비스 지도를 통한 서비스 연결관계 파악, 트랜잭션의 분산 추적, 경보 기능을 사용한 즉각적인 대응 등 APM 의 핵심적인 기능을 제공하므로 단순 모니터링을 넘어 원인 분석과 서비스의 상태 파악을 위한 관측성 강화에 이바지하고 있다.
