이번 시간에는 헤비포워더의 라우팅, 필터링 기능을 이용해 다른 인덱서에 각각 저장하는 실습을 해 볼 것이다. 오늘 해볼 구성을 그림으로 표현하면 다음과 같다. 간단한 구성이다.
1. Splunk 인스턴스 설치
설치과정은 Step1에 더 자세히 나오니 필요한 사람은 Step1 게시물을 참고하면 좋다. 참고로 글쓴이는 /home/ubuntu/하위에 Splunk가 설치되었으니 하단의 명령어를 볼 때에는 이 경로를 참고해서 경로를 변경하면 되겠다.
(보통은 /opt/ 하위에 설치되는것이 권장됨으로, 참고하기 바란다.)
- Heavy Forwarder 설치
- wget으로 Splunk 인스턴스를 내려받는다.
wget -O splunk-9.1.2-b6b9c8185839-Linux-x86_64.tgz "https://download.splunk.com/products/splunk/releases/9.1.2/linux/splunk-9.1.2-b6b9c8185839-Linux-x86_64.tgz"- 압축 해제
tar -xvf splunk-9.1.2-b6b9c8185839-Linux-x86_64.tgz - 인스턴스 시작
cd $SPLUNK_HOME/splunk/bin/
./splunk start - Indexer 1, 2 설치
헤비 포워더와 같은 방식으로 설치해주면 된다.
2. 헤비포워더 데이터 수집 설정
- HF에 수집대상이 되는 로그 파일을 생성한다.
cd $SPLUNK_HOME/splunk/var/log/splunk
touch test.log-
설정 -> 데이터 입력 -> 파일 및 디렉터리를 클릭한다. -> 새로컬 파일 및 디렉토리를 클릭한다.
-
파일 또는 디렉터리 경로에
/home/ubuntu/splunk/var/log/splunk/test.log을 입력하고 다음을 눌러준다. -
소스타입은 test로 지정해줬다.
-
cli에서 직접확인하기
방금 1~3에서 입력한 파일 내용을 찾아보자.
다음과 같이 소스타입이 지정되어 입력된 것을 확인할 수 있다.
3. 헤비포워더 데이터 전달 설정
- outputs.conf 설정
cd /home/ubuntu/splunk/etc/system/local
vi outputs.confoutputs.conf의 내용은 다음과 같이 구성했다.
[tcpout:errorGroup]
server = 18.119.0.0:9997
[tcpout:successGroup]
server = 3.143.170.219:9997
- props.conf 설정
1을 수행하던 동일한 경로에서 아래의 명령어를 수행한다.
vi props.confprops.conf 내용은 다음과 같이 구성했다.
[test]
TRANSFORMS-routing=errorRouting,successRouting
[source::/home/ubuntu/splunk/var/log/splunk/test.log]
TZ = KR/Seoul- transforms.conf 설정
1을 수행하던 동일한 경로에서 아래의 명령어를 수행한다.
vi transforms.conftransforms.conf 내용은 다음과 같이 구성했다.
[errorRouting]
REGEX=error
DEST_KEY=_TCP_ROUTING
FORMAT=errorGroup
[successRouting]
REGEX=success
DEST_KEY=_TCP_ROUTING
FORMAT=successGroup- Splunk restart!!
4. 각 인덱서 데이터 수신 포트 지정
설정 > 데이터 전달 및 수신 > 데이터 수신 > 수신설정에 다음과 같이 지정한다.
5. 헤비포워더 설정 내용 웹서버 확인
설정 > 데이터 전달 및 수신 > 데이터 전달에서 아래의 내용을 확인한다.
정상적으로 전달설정이 된 것을 확인했다면, 이제 데이터를 각각 넣어보도록 하자.
6. 각 인덱서에 삽입된 데이터 확인하기
-
에러로그 인덱서 확인
-
success 인덱서 확인
끝이다. AWS 인스턴스는 모두 삭제하자!
