ELK 설치

ELK 설치

✅ 개요

• Elastic Search는 초기 Master만 지정해주고 모든 노드를 Master와 Data node의 역할을 수행할 수 있는 구조의 클러스터로 구성
• 여기서 LogStash를 사용하지 않은 이유는 Log가 이미 코드단에서 정제되어있어 FileBeat으로 수집만 하면 되어서 Transform 할 필요가 없어 이런식으로 구성
• 현재 ELK에는 Spark Streaming Job 에서 Job의 성공 여부에 따라 Accumulator를 OutputCount 라는 Filed로 값을 증가시켜 Logging 하는 구조를 갖고 있다고 가정하며 Spark Streaming Job의 Log가 filebeat를 통하여 색인이 되었다는 가정하에 설명하겠습니다.
• 위의 ELK에서 예로 사용하던 Server 구조와 IP를 사용하여 설명하겠습니다.
• ELK 설치는 위의 링크에 자세히 나와있습니다.