이번 포스팅의 목표는 아래와 같습니다. AWS EC2에 Kafka 설치하기. Kafka에 topic 생성하기. Kafka에 데이터 produce 하기. Kafka에서 데이터 consume 하기. 0. 작업 환경 및 서버 정보 | Name | Main Info | 기

이번 포스팅의 목표는 아래와 같습니다. AWS EC2에 Logstash 설치하기. Logstash가 Postgresql에 추가된/추가되는 데이터를 수집하여 Elasticsearch에 적재하기. 0. 작업 환경 및 서버 정보 | Name | Main Info | 기타

Kibana의 경우 데이터를 시각화 해주는 서비스입니다.필자의 경우에는 Elasticsearch이 설치되어 있는 서버에 Kibana를 설치하는 것이 속도 측면에서 용이하다 판단하여 동일 서버에 설치하려고 하였으나, EC2 프리티어의 메모리로는 Elasticsearch와

AWS EC2 인스턴스 생성하고 접근하기이전에 작성한 글이 있으니 인스턴스 생성은 위 링크를 참고해주세요.전혀 다른 서버에서 지금 설치하려는 Elasticsearch 서버에 명령을 날릴 수 있도록 9200 포트를 추가해주도록 합니다. (elasticsearch port

먼저, DB 이중화에 대해 알아보겠습니다. DB 이중화란 '기준이 되는 데이터베이스(Master)의 변경된 데이터를 물리적으로 떨어진 각각의 데이터베이스(Slave)에 동일하게 유지하여 관리하는 것'이라고 정의할 수 있습니다. 개인적인 프로젝트를 할 때는 이중화를 할

프리 티어로 사용 가능한 Amazon Linux 2 AMI (HVM), SSD Volume Type 선택.2~5단계는 입력되어 있는 값을 그대로 사용한다.(2단계) 인스턴스 유형 선택 ▶ (3단계) 인스턴스 세부 정보 구성 ▶ (4단계) 스토리지 추가 ▶ (5단계)

프리 티어로 사용 가능한 Amazon Linux 2 AMI (HVM), SSD Volume Type 선택.2~5단계는 입력되어 있는 값을 그대로 사용한다.※ 2단계에서 프리 티어 사용 가능한 인스턴스 유형이 선택되어 있는지만 체크하기. Postgresql에서 사용할