EFK-STACK
1.# 0. EFK 스택구축 - EFK스택?
ElasticSearchFluentdKibanaEFK스택이란 지속적으로 유입되는 로그 데이터를 수신하고 이 데이터를 차트와 그래프로 시각화 하는 시스템이다. 위의 세가지 오픈소스들을 활용하는데 오픈소스들의 첫 글자를 따서 EFK 스택이라 부른다.데이터가 서버에 지속적으
2.# 1. EFK 스택구축 - 인프라 셋팅
EFK는 Amazon Kubernetes Service인 EKS에 구축하였다. EKS 클러스터는 아래의 Terraform 을 사용하여 프로비저닝한다.다행히 나는 AWS에 여분의 크레딧이 남아있어서 비용부담이 안되지만 쌩돈나가게 생겼다면 그냥 GCP 신규가입하면 300달
3.# 2. EFK 스택구축 - Elasticsearch 배포
모든 EFK가 배포될 네임스페이스(efk-stack)를 생성하고 상태유지를 위해 Statefulset으로 배포한다.NamespaceStatefulsetPersistanceVolumeClaimElasticsearch는 Fluentd에서 수집된 로그를 여러 파드들이 공유받
4.# 3. EFK 스택구축 - Fluentd 배포
Fluentd는 Damonset 형태로 배포되어서 로그정보를 수집 후 Elasticsearch로 전송하는 로그 수집기이다. ServiceAccountClusterRoleClusterRoleBindingDaemonSetFluentd는 상태를 저장할 필요가 없고 모든 워커
5.# 4. EFK 스택구축 - Kibana 배포
Kibana도 Fluentd와 마찬가지로 상태를 유지할 필요가 없다. 따라서 Statefulset으로는 배포하지 않고 Deployment로 배포한다. 이유는 Fluentd와는 달리 각 노드에 균등하게 해당 서비스가 올라갈 필요는 없기 때문이다.ServiceDeploym
6.# 5. EFK 스택구축 - 구축간에 막힌부분
단순히 Kibana 서비스에 문제가 발생한 줄 알고 kubectl logs 로 Kibana의 파드의 로그 확인하였음. 확인결과 엘라스틱 서치의 엔드포인트로 연결이 안됨 \[http://elasticsearch:9200](http://elasticsea