fluentBit - Designed for Cloud and Containerized Environments

fluentbit: fluentd에서 HA구성을 뺀 더 적은 메모리를 사용하는 경량버전

1. fluentd에 대해

• 2022년 Datadog에서 의거한 자료에 의하면 Docker에서 4번째로 많이 쓴 이미지가 fluentd
• Treasure Data에서 2011년에 만든 오픈 소스 로그 수집기로 Ruby 와 C로 작성됨
• Daemonet을 활용해 로그를 수집
• 1000개 이상의 다양한 plugin 지원

https://docs.fluentd.org/
https://docs.fluentbit.io/manual/

2. fleuntbit에 대해

• fluentd에 비해 생태계가 작음
• Treasure Data에서 2015년에 만든 오픈 소스 로그 수집기 & 프로세서
• C언어로 작성되 제한된 capacity에서 최대의 효율발생 (가볍다)
• 고도로 분산된 환경을 염두에 두고 만들어짐.
• ~450KB에서만 실행되고 70여개의 Plugin 지원

3. Yaml파일로 메모리사용 비교

Fluentd:

resources:  
  limits:
    memory: 500Mi  
  requests:
    cpu: 100m
    memory: 200Mi
 

Fluent Bit :

resources:  
  limits:
    cpu: 50m
    memory: 60Mi  
  requests:
    cpu: 5m
    memory: 10Mi

4. Fluentbit과 Fluentd를 활용한 Architecture 예시

5. Conclusion

• Fluentbit은 로그 수집기 (Collector)로 주로 사용
• Fluentd는 로그 전달자 (Aggregator)의 역할로 사용
• 2개를 조합해 손쉽게 로깅스택을 형성 가능하다