Logstash는
데이터 수집하고 곧바로 전환하여 원하는 대상에 전송할 수 있도록 하는 경량의 오픈 소스 서버측 데이터 처리 파이프라인입니다. (중략) Logstash는 Elasticsearch에 데이터를 로드할 때 가장 많이 사용됩니다.
출처 : Logstash in AWS
AWS 기반 Logstash를 시작하려고한다.
오픈 소스인 Elasticsearch 대신 Logstash와 쉽게 통합이 되는 AWS의 OpenSearch 서비스를 사용하려고 한다.
Amazon OpenSearch Service 도메인을 실행하고 Logstash 서버에서 데이터 로드를 시작하게 한다.
Logstash 장점
1) 비정형 데이터를 쉽게 수집
시스템 로그, 웹 로그, 앱 서버 로그 등 비정형 데이터를 쉽게 수집할 수 있다.
2) 데이터 변환 가능
데이터가 소스에서 저장소로 이동하는 도중에 각 이벤트를 구문 분석하고 명명된 필드를 식별하여 구조화하고, 공통 형식으로 변환하게 해 준다.
- grok을 통해 비정형 데이터에서 구조 도출
- IP 주소에서 위치 좌표 해독
- PII 데이터의 익명화, 민감한 정보 필드 완전 제외
- 데이터 소스나 형태, 스키마에 상관없이 전체적으로 손쉬운 처리
3) 출력 라우팅 가능
여러 저장소로 데이터를 라우팅할 수 있다.
