EFK Stack이란?

EFK(Elasticsearch, Fluentd and Kibana): Kubernetes 로그 집계 및 분석을 위한 인기 있는 최고의 오픈 소스입니다.

1. Elasticsearch

• 일반적으로 사용되는 확장 가능한 분산 검색 엔진으로써 대량의 로그 데이터를 선별
• Lucene 검색 엔진(Apache의 검색 라이브러리)을 기반으로 하는 NoSQL 데이터 베이스
• 로그를 저장하고 fluentd에서 로그를 검색

2. Fluentd

Kubernetes의 경우 Fluentd가 추가 구성 없이 컨테이너 로그를 구문 분석할 수 있습니다.

• Fluentd is a log shipper
• 다중 데이터 소스 및 출력 형식을 지원하는 오픈 소스 유형의 로그 수집 에이전트
• 또한 Stackdriver, Cloudwatch, elasticsearch, Splunk, Bigquery 등과 같은 솔류션으로 로그를 전달
• 로그 데이터를 생성하는 시스템과 로그 데이터를 저장하는 시스템 간의 통합 계층

3. Kibana

Elasticsearch는 방대한 양의 비정형 데이터를 분리하는 문제를 해결하는데 도움이 되며 많은 조직에서 사용되고 있습니다. Elasticsearch는 일반적으로 Kibana와 함께 배포됩니다.

• 쿼리, 데이터 시각화 및 대시보드를 위한 UI 도구
• 웹 인터페이스를 통해 로그 데이터를 탐색하고, 이벤트 로그에 대한 시각화를 구축
• 문제를 감지하기 위해 정보를 필터링하는 쿼리별 쿼리 엔진
• Kibana를 사용하여 모든 유형의 대시보드를 가상으로 구축 가능
• KQL(Kibana Query Language)은 Elasticsearch 데이터를 쿼리하는데 사용

EFK 아키텍처

1. 모든 노드에서 컨테이너 로그를 수집해야 하므로 daemonset으로 배포 Elasticsearch 서비스 엔드포인트에 연결하여 로그를 전달
2. 로그 데이터를 보유하고 있으므로 statefulset로 배포 Fluentd 및 Kibana에 연결할 서비스 엔드포인트 노출
3. Deployment로 배포되고 elasticsearch 서비스 엔드포인트에 연결

git clone https://github.com/scriptcamp/kubernetes-efk

EFK 실습

Deploy Elasticsearch Service

💡 elasticsearch 검색을 위한 서비스 생성

kubectl create -f es-svc.yaml

Deploy Elasticsearch Statefulset

• elasticsearch 검색을 위한 statefulset 생성을 시작하기 전에 statefulset 에는 필요할 때마다 볼륨을 생성할 수 있는 사전 정의된 스토리지 클래스가 필요합니다.
• 프로덕션 환경에서는 400~500Gbs이 필요하지만 여기서는 3Gb PVC를 사용하여 배포합니다.
• PVC (Persistance Volumn Claim)은 PV로 볼륨을 요청하고 바인딩하여 할당합니다.

kubectl create -f es-sts.yaml

ElasticSearch 통합 .yaml 파일

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: es-cluster
spec:
  serviceName: elasticsearch
  replicas: 3
  selector:
    matchLabels:
      app: elasticsearch
  template:
    metadata:
      labels:
        app: elasticsearch
    spec:
      containers:
      - name: elasticsearch
        image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0
        resources:
            limits:
              cpu: 1000m
            requests:
              cpu: 100m
        ports:
        - containerPort: 9200
          name: rest
          protocol: TCP
        - containerPort: 9300
          name: inter-node
          protocol: TCP
        volumeMounts:
        - name: data
          mountPath: /usr/share/elasticsearch/data
        env:
          - name: cluster.name
            value: k8s-logs
          - name: node.name
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: discovery.seed_hosts
            value: "es-cluster-0.elasticsearch,es-cluster-1.elasticsearch,es-cluster-2.elasticsearch"
          - name: cluster.initial_master_nodes
            value: "es-cluster-0,es-cluster-1,es-cluster-2"
          - name: ES_JAVA_OPTS
            value: "-Xms512m -Xmx512m"
      initContainers:
      - name: fix-permissions
        image: busybox
        command: ["sh", "-c", "chown -R 1000:1000 /usr/share/elasticsearch/data"]
        securityContext:
          privileged: true
        volumeMounts:
        - name: data
          mountPath: /usr/share/elasticsearch/data
      - name: increase-vm-max-map
        image: busybox
        command: ["sysctl", "-w", "vm.max_map_count=262144"]
        securityContext:
          privileged: true
      - name: increase-fd-ulimit
        image: busybox
        command: ["sh", "-c", "ulimit -n 65536"]
        securityContext:
          privileged: true
  volumeClaimTemplates:
  - metadata:
      name: data
      labels:
        app: elasticsearch
    spec:
      accessModes: [ "ReadWriteOnce" ]
      # storageClassName: ""
      resources:
        requests:
          storage: 3Gi
---
kind: Service
apiVersion: v1
metadata:
  name: elasticsearch
  labels:
    app: elasticsearch
spec:
  selector:
    app: elasticsearch
  clusterIP: None
  ports:
    - port: 9200
      name: rest
    - port: 9300
      name: inter-node

Deploy Kibana Deployment

• Kubernetes deployment로 Kibana 를 생성할 수 있습니다. 그리고, Kibana 배포 매니페스트 파일을 확인하면 Elasticsearch 클러스터 엔드포인트를 구성하기 위해 env var ELASTICSEARCH_URL 이 정의되어 있습니다.
• Kibana는 엔드포인트 URL을 사용하여 Elasticsearch에 연결합니다.

kubectl create -f kibana-deployment.yaml

Deploy Kibana Service

kubectl create -f kibana-svc.yaml

• kubectl get pods를 실행하고 kibana 파드이름으로 포트 포워딩을 합니다.

> kubectl get pods
> kubectl port-forward kibana-7bf5f786b9-q48v5 5601:5601

• localhost:5601 접속
  

Kibana 통합 .yaml 파일

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kibana
  labels:
    app: kibana
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kibana
  template:
    metadata:
      labels:
        app: kibana
    spec:
      containers:
      - name: kibana
        image: docker.elastic.co/kibana/kibana:7.5.0
        resources:
          limits:
            cpu: 1000m
          requests:
            cpu: 100m
        env:
          - name: ELASTICSEARCH_URL
            value: http://elasticsearch:9200
        ports:
        - containerPort: 5601
---
apiVersion: v1
kind: Service
metadata:
  name: kibana-np
spec:
  selector: 
    app: kibana
  type: NodePort  
  ports:
    - port: 8080
      targetPort: 5601 
      nodePort: 30000

Create Fluentd Cluster Role

• kubernetes의 클러스터 역할에는 Cluster role을 나타내는 규칙이 포함되어 있습니다.
• fluentd의 경우 포드 및 네임스페이스에 대한 권한을 부여해야 합니다.

kubectl create -f fluentd-role.yaml

Create Fluentd Service Account

• kubernetes 에서 서비스 계정은 파드에 아이덴티티를 제공하는 엔티티입니다.
• 여기서는 ****fluentd 포드와 함께 사용할 서비스 계정을 생성****하려고 합니다.

kubectl create -f fluentd-sa.yaml

Create Fluentd Cluster Role Binding

• kubernetes의 ClusterRole은 클러스터 역할에 정의된 권한을 서비스 계정에 부여합니다.
• 생성된 역할(fluentd)과 서비스 계정(fluentd) 간에 역할 결합을 생성합니다.

kubectl create -f fluentd-rb.yaml

Deploy Fluentd DaemonSet

• fluentd 데몬 셋을 생성합니다.
• dashboard에서 데몬 셋 생성을 확인합니다.

kubectl create -f fluentd-ds.yaml

• fluentd-ds.yaml
  

• “FLUENT_ELASTICSEARCH_HOST” 및 “FLUENT_ELASTICSEARCH_PORT” 라는 두 가지 환경 변수를 사용
• Fluentd는 이러한 Elasticsearch 값을 사용하여 수집된 로그를 전달합니다.

fluentd 통합 .yaml 파일

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: fluentd
  labels:
    app: fluentd
rules:
- apiGroups:
  - ""
  resources:
  - pods
  - namespaces
  verbs:
  - get
  - list
  - watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: fluentd
roleRef:
  kind: ClusterRole
  name: fluentd
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: fluentd
  namespace: efk
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  labels:
    app: fluentd
spec:
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      serviceAccount: fluentd
      serviceAccountName: fluentd
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1.4.2-debian-elasticsearch-1.1
        env:
          - name:  FLUENT_ELASTICSEARCH_HOST
            value: "elasticsearch.efk.svc.cluster.local"
          - name:  FLUENT_ELASTICSEARCH_PORT
            value: "9200"
          - name: FLUENT_ELASTICSEARCH_SCHEME
            value: "http"
          - name: FLUENTD_SYSTEMD_CONF
            value: disable
        resources:
          limits:
            memory: 512Mi
          requests:
            cpu: 50m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      terminationGracePeriodSeconds: 30
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluentd
  labels:
    app: fluentd

Verify Fluentd Setup

• fluentd 설치를 확인하기 위해 지속적으로 로그를 생성하는 테스트 포드를 시작
• 그런 다음 Kibana 내부에서 이러한 로그를 확인

kubectl create -f test-pod.yaml

test-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: counter
spec:
  containers:
  - name: count
    image: busybox
    args: [/bin/sh, -c,'i=0; while true; do echo "Thanks for visiting devopscube! $i"; i=$((i+1)); sleep 1; done']

Kibana 연동

kubectl port-forward service/kibana-np 5601:8080

• localhost:5601 접속
  

• Create index pattern을 클릭하여 로그 패턴을 생성합니다.
  

• logstash-* 패턴을 사용하여 새 인덱스 패턴 생성
  

• @timestamp를 선택하고 Create index pattern 버튼 클릭
  

• Fluentd에서 내보내는 모든 로그를 볼 수 있습니다.
• counter 파드의 로그 확인
  

---

References: 가천 SW 아카데미