EFK stack

Joooo·2023년 5월 15일
0
post-thumbnail

EFK 스택이란?

EFK 스택은 Elasticsearch, Fluentd, c의 약자로 로그 수집, 저장, 분석을 위한 오픈소스 솔루션

  • Elasticsearch

    • 분산 검색 엔진으로 로그 데이터의 저장과 검색에 사용
    • Json 문서를 통해 데이터 검색 수행 → 조건에 따라 문서 필터링이 가능
    • 데이터 CURD 작업은 HTTP Restful API를 통해 수행
    • Inverted index(역색인) 방식으로 검색이 빠름
      • 데이터를 파싱해서 각 단어들을 유사어 체크 등의 작업 후 저장하는 방식
  • Fluentd

    • 오픈소스 데이터 콜렉터(로그 수집기)
    • 다양한 시스템에서 들어오는 로그를 수집
      • Tag, Time, Recode(JSON data)로 구성된 이벤트로 처리
      • 이벤트 순서 (플러그인 추가 방식)
        Input → (Parser) → Filter → (Fomatter) → (Storage) → Buffer → Output
        ⇒ Tag를 통해 적절한 이벤트로 이동할 수 있다.
    • 로그 수집기로 다양한 소스로부터 로그를 수집하고 Elasticsearch로 전송
  • Kibana

  • 과정

    Fluentd 로그 수집 → Elasticsearch로 전송 → Elasticsearch에 저장

    → 저장된 로그를 Kibana가 시각화 및 대시보드 생성

EFK 스택의 장점

  • 대용량 로그 데이터 처리 용이
  • 다양한 소스로부터 로그 수집 가능
  • Elasticsearch의 검색 엔진 기능을 이용하여 로그 조회 용이
  • Kibana를 이용하여 로그 데이터 시각화 및 대시보드 생성 가능

0개의 댓글