EFK stack

EFK 스택이란?

EFK 스택은 Elasticsearch, Fluentd, c의 약자로 로그 수집, 저장, 분석을 위한 오픈소스 솔루션

• Elasticsearch

  • 분산 검색 엔진으로 로그 데이터의 저장과 검색에 사용
  • Json 문서를 통해 데이터 검색 수행 → 조건에 따라 문서 필터링이 가능
    
  • 데이터 CURD 작업은 HTTP Restful API를 통해 수행
  • Inverted index(역색인) 방식으로 검색이 빠름
    • 데이터를 파싱해서 각 단어들을 유사어 체크 등의 작업 후 저장하는 방식

• Fluentd

  • 오픈소스 데이터 콜렉터(로그 수집기)
  • 다양한 시스템에서 들어오는 로그를 수집
    • Tag, Time, Recode(JSON data)로 구성된 이벤트로 처리
    • 이벤트 순서 (플러그인 추가 방식)
      Input → (Parser) → Filter → (Fomatter) → (Storage) → Buffer → Output
      ⇒ Tag를 통해 적절한 이벤트로 이동할 수 있다.
      
  • 로그 수집기로 다양한 소스로부터 로그를 수집하고 Elasticsearch로 전송

• Kibana

  • demo: https://demo.elastic.co/app/logs/stream?flyoutOptions=(flyoutId:!n,flyoutVisibility:hidden,surroundingLogsId:!n)&logFilter=(filters:!(),query:(language:kuery,query:%27%27))&logPosition=(end:now,position:(tiebreaker:1,time:1683020939000),start:now-15m,streamLive:!f

  • 시계열 기반의 Elasticsearch 데이터가 필요

  • Logs

    • Stream
      

      • 실시간 로그 확인 가능

    • Anomalies

      

      • 일정 시간 구간 내에 키워드마다의 log 빈도를 색으로 나타냄
        • ECS(Elastic Common Schema) 필드의 값에 따라 분할된 로그 항목 비율의 전체 색상 코드 시각화를 보여줌
          • ECS: Kibana 머신러닝을 통해 유사 키워드 별 묶음
        • 각 파티션 별 로그 비율의 증가/감소 파악 가능
        • 파티션 눌러서 로그 확인 가능

    • Categories

      

      • 유사한 로그들을 몇 가지 범주로 줄여서 그룹화된 로그를 나열
      • 정보
        • Message count: 범주에 속하는 로그 수
        • Trend: 로그 발생이 시간에 따라 변하는 모양
        • Category: 범주의 이름으로 로그 텍스트의 키워드
        • Datasets: 해당 로그의 데이터세트
        • Maximum anomaly: 범주에서 가장 높은 anomaly 점수
      • 범주 생성 상세 방법: https://www.elastic.co/guide/en/observability/current/categorize-logs.html#create-log-categories

• 과정

  Fluentd 로그 수집 → Elasticsearch로 전송 → Elasticsearch에 저장

  → 저장된 로그를 Kibana가 시각화 및 대시보드 생성
  

EFK 스택의 장점

• 대용량 로그 데이터 처리 용이
• 다양한 소스로부터 로그 수집 가능
• Elasticsearch의 검색 엔진 기능을 이용하여 로그 조회 용이
• Kibana를 이용하여 로그 데이터 시각화 및 대시보드 생성 가능