logstash에서 RDS연결하기

이번에는 logstash에서 mysql에 있는 데이터를 받아오는걸 하려고 합니다.

1. 보안그룹 생성

RDS 전용 보안 그룹을 생성
인바운드 MYSQL/Aurora 선택, 사용자 지정 -> 아까 만들었던 logstash 선택
아웃바운드 역시 동일하게 설정

2. rds 생성

-MySQL -> 프리티어 -> 사용자 이름, 암호 -> 스토리지 자동 조정 비활성 -> 생성

3. jdbc설치

1. wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java_8.0.29-1ubuntu20.04_all.deb
2. sudo dpkg -i mysql-connector-java_8.0.29-1ubuntu20.04_all.deb

**위치 -> usr/share/java/mysql-connector-java-8.0.29.jar
출처: https://injekim97.tistory.com/555 [기초부터 다지는 공부기록:티스토리]

4. rds연결

자기가 사용하는 툴을 이용하여 연결 후 db생성 및 test테이블을 생성

5. conf 수정

input {
  jdbc {
    jdbc_driver_library => "/usr/share/java/mysql-connector-java-8.0.29.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://etl.cgskizjipfsf.ap-northeast-2.rds.amazonaws.com:3306/use_bike"
    jdbc_user => bike
    jdbc_password => dbgusals1
    statement => "SELECT * FROM test"
  }
}

output {
  stdout{
  }
}

bin/logstash -f ./config/test.conf 실행

해당 테이블에 있는 데이터가 콘솔에 출력된다.