6 비츠를 이용한 데이터 수집과 전송

5장에서는 엘라스틱서치를 사용해 데이터를 분석하고 다양한 유스케이스를 해결하는 방법을 살펴봤습니다.

데이터는 서비스가 구동되는 모든 곳에서 생성되고 보통 하나의 소스가 아닌 다양한 시스템으로부터 수집되므로 이 데이터를 수집해 데이터 플랫폼으로 전달하는 것이 중요합니다.

이번 장에서는 비츠 에이전트를 사용해 여러 소스 시스템에서 이벤트를 수집하고 엘라스틱서치로 전송하는 방법을 살펴보자.

사용하는 에이전트는 이벤트의 특성(로그인지 메트릭인지)과 추출 방법(REST API 사용, 파일추적, 애플리케이션 계측)에 따라 달라집니다. 또한 이번 장에서는 비츠 모듈이 다운 스트림 유스케이스(예 : 검색과 정보, 머신러닝 분석) 에서 데이터 스키마와 형식을 일관되게 유지하는 방법을 알아봅니다.

• 비츠 에이전트의 작동 방식과 엘라스틱서치에서 제공하는 다양한 에이전트

• 파일비트를 이용한 로그 수집

• 메트릭비트를 이용한 시스템 또는 플랫폼 메트릭 수집

• 오딧비트를 이용한 시스템 감사와 보안 이벤트 수집

• 하트비트를 이용한 서비스 구동시간과 가용성 모니터링

• 패킷비트를 이용한 네트워크 트래픽 데이터 수집

---

6.1 기술 요구사항

데이터 수집 작동 방식을 알아보기 위해 이번 장에서는 정적 HTML 웹 페이지를 제공하는 웹 서버를 구성해서 사용합니다.

다음 지침에 따라 해당 컴포넌트를 먼저 설치하고 구성합니다.

6.1.1

최소 2개의 CPU(코어)와 4GB 메모리가 탑재된 가상 머신(로컬 또는 클라우스 서비스에서)을 준비해서 구성합니다. 이번장에서는 Ubuntu 16.04에서 구동되는 머신을 사용하지만 2장, 엘라스틱 스택의 설치와 실행에서 설명한대로 호환 가능한 리눅스 운영체제를 선택합니다.

6.1.2

정적 웹 페이지는 엔진엑스(ngix)를 사용해 제공합니다. 엔진엑스는 오픈소스 웹 서버로, 역방향 프락시(reverse proxy) 구동이 가능합니다.

sudo apt-get update
sudo apt-get install nginx

cent os 에서 설치

• 1. epel-release 패키지 설치 :

sudo yum install epel-release

• 2. nginx 설치 :

sudo yum install ngnix 

• 3. nginx 서비스 시작

sudo systemctl start nginx

• 4. nginx 서비스 활성화

sudo systemctl enable nginx

• 5. ngix 서비스 상태 확인

sudo systemctl status nginx 

6.1.3

엔진엑스를 실행해 설치가 제대로 됐는지 확인합니다.