[Elasticsearch] Logstash

Logstash는 실시간 파이프라인 기능을 가진 오픈 소스 데이터 수집 엔진입니다.
서로 다른 소스의 데이터를 동적으로 통합하고, 데이터를 정규화(변환)하여 원하는 목적지(주로 Elasticsearch)로 전송합니다.

Logstash의 기본 아키텍처 (파이프라인)

Logstash의 핵심은 입력(Input) -> 필터(Filters), -> 출력(Outputs)으로 이어지는 파이프라인 구조 입니다.

1. Input(입력): 모든 종류의 데이터를 수집합니다. (로그, 지표, 웹 애플리케이션 등)

2. Filters(필터): 데이터를 처리하고 변환합니다. (구조화되지 않은 텍스트를 구조화, IP 주소의 지리적 위치 파악, 민감 정보 마스킹 등)

3. Outputs(출력): 정제된 데이터를 저장소로 보냅니다. (Elasticsearch, AWS S3, 파일, kafka 등)