Fluentd 배포 워크로드

Fluentd는 Damonset 형태로 배포되어서 로그정보를 수집 후 Elasticsearch로 전송하는 로그 수집기이다.

• ServiceAccount
• ClusterRole
• ClusterRoleBinding
• DaemonSet

매니페스트 정의

# fluentd-ds.yaml

Fluentd는 상태를 저장할 필요가 없고 모든 워커 노드에 존재해야 하기 때문에 Daemonset으로 배포한다.

# Fluentd를 관리하는 서비스 어카운트 생성
apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluentd
  namespace: efk-stack
  labels:
    app: fluentd
---
# 생성한 서비스 어카운트에 권한(Role)생성
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: fluentd
  labels:
    app: fluentd
rules:
  - apiGroups:
      - ""
    resources:
      - pods
      - namespaces
    verbs:
      - get
      - list
      - watch
---
# 권한(Role) 연결
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: fluentd
roleRef:
  kind: ClusterRole
  name: fluentd
  apiGroup: rbac.authorization.k8s.io
subjects:
  - kind: ServiceAccount
    name: fluentd
    namespace: efk-stack
---
# Fluentd 파드를 Daemonset 타입으로 배포
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: efk-stack
  labels:
    app: fluentd
spec:
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      serviceAccountName: fluentd
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule
      containers:
        - name: fluentd
          image: fluent/fluentd-kubernetes-daemonset:v1.4.2-debian-elasticsearch-1.1
          # Fluentd에 대한 환경변수 설정.
          env:
            - name:  FLUENT_ELASTICSEARCH_HOST
              value: "elasticsearch.efk-stack.svc.cluster.local"
            - name:  FLUENT_ELASTICSEARCH_PORT
              value: "9200"
            - name: FLUENT_ELASTICSEARCH_SCHEME
              value: "http"
            - name: FLUENTD_SYSTEMD_CONF
              value: disable
          resources:
            limits:
              memory: 512Mi
            requests:
              cpu: 100m
              memory: 200Mi
          volumeMounts:
            - name: varlog
              mountPath: /var/log
            - name: varlibdockercontainers
              mountPath: /var/lib/docker/containers
              readOnly: true
      terminationGracePeriodSeconds: 30
      volumes:
        - name: varlog
          hostPath:
            path: /var/log
        - name: varlibdockercontainers
          hostPath:
            path: /var/lib/docker/containers

환경변수에 입력해야 할 Elasticsearch의 호스트명은 다음과 같은 형식에 맞춰서 기입하자.

• ClusterIP의 호스트명을 입력한다.

[서비스명].[네임스페이스].svc.cluster.local

배포확인

배포가 되었으면 모든 리소스가 배포되었는지 확인하자.

> k get ds -n efk-stack
NAME      DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
fluentd   2         2         2       2            2           <none>          3m46s

> k get pod -n efk-stack
NAME              READY   STATUS    RESTARTS   AGE
elasticsearch-0   1/1     Running   0          13m
elasticsearch-1   1/1     Running   0          12m
fluentd-kwpnl     1/1     Running   0          4m6s
fluentd-qrgcm     1/1     Running   0          4m6s