비츠?
아파치 httpd 서버 관리는 아주 잘 알고 있지만 엔진 엑스에 대해서는 아직 낯설다면 로그에서 어떤 내용을 찾아서 어떻게 해석해야 할지 막막할 것이다. 리눅스 서버의 정상 동작을 파악하기 위한 메트릭을 알아내기 위해 제법 시간을 들여야 한다. 이 모든 사항을 설정으로 정의해서 소프트웨어가 알아서 파악하게 만드는 방법은 없을까? 에서 시작된 기술이 비츠와 비츠 모듈이 하는 일이다.
비츠는 고언어로 작성된 경량 프로그램이며 때문에 프로그램에 부담을 주지 않으며 로그스테시와 엘라스틱 서치와 연계해 다양한 시스템의 이벤트를 수집할 수 있게 도와준다. 비츠는 오픈소스 라이선스를 따르며 립비트라는 프레임 워크를 제공하므로 사용자들이 직접 필요한 각 비트를 구현할 수 있다.
비츠는 가벼운 프로그램을 자향하기 때문에 하나의 목적만을 수행한다. 그래서 비츠는 목적별로 다향한 비츠들이 존재한다.
비츠 종류
비츠 종류는 매우 많고 특히 사용자들이 직접 만드는 비츠도 많아서 비츠를 하나하나 소개하기힘들기때문에 주로 사용하는 비츠만 위내용에 정리 돼 있다.
비츠 설치후 동작 플로우
- 비츠 다운
- 시트 설정파일 수정
- 엘레스틱서치와 키바나 대시보드사용할수 있게 설정
- 비트 시작
- 키바나 대시보드에서 데이터 확인
파일비트
비츠 사용법은 그리 어렵지 않다. 파일비트의 사용방법을 익혀두면 다른 비츠를 사용하는 것도 어렵지 않다. 가장 많이 사용되는 파일비트 위주로 비츠 사용법과 온라인 문서 보는 방법을 알면 된다.
파일비트 아키 텍쳐
- 파일비트 구성요소
- 입력 : 설정파일에서 하베스터에 대한 입력 소스를 정한다. 파일비트는 하나 혹은 여러개의 입력을 가질 수 있다.
- 하베스터 입력에 명시된 파일을 직접 수집하는 주체다. 파일은 하나의 하베스터를 가지며 하베스터는 파일을 한줄 씩 읽고 내보내는 역할을 한다. 또한 파일을 열고 닫는 역할도 한다. 파베스터가 실행되는 동안에는 파일 디스크립터가 열려있다.
- 스플러 : 하베스터가 수집한 이벤트를 엘라스틱 서치나 로그스테시 같은 장소로 전달한다.
파일비트 실행
filebeeat.yml 설정
인풋은 파일비트가 가져오는 입력이고 아웃풋은 내보내는 출력이다.
인풋타입
아웃풋 타입
설정후 실행
filebeat.exe setup -e파일비트 설정
파일 비트에 config폴더를 보면 filebeat.reference.yml 파일이 있다. 파일비트의 모든 설정에 대한 설정 설명과 기본값이 적혀있는 참조파일이니 참고해서 설정파일을 수정하면 도움될것입니다.
멀티라인 로그도 처리할 수있다.
모듈
모듈은 많이 사용되고 잘 알려진 시스템 데이터를 수집하기 위한 일반적인 설정을 사전 정의해 둔 것이다.
이를 통해 최소한의 비츠 설정으로 손쉽게 로그들을 수집할 수 있다.
파일비트 모듈
