AWS

s3 : 모든 데이터들을 저장할 데이터 레이크같은 역할버킷 : bucket, 객체가 파일이라면 버킷은 연관된 객체들을 그룹핑한 최상위 디렉토리, globally unique name이기 때문에 이름 지을 때 중복을 조심해야 한다.준비물 : AWS 계정, Log Json

EventBrigde : 서버리스 이벤트 버스로 다양한 이벤트를 받아서 라우팅, 필터링, 트리거링할 수 있다. 특정 규칙을 지정하고 그 규칙에 부합하면 AWS의 다른 서비스를 호출할 수 있다. 여기서는 일정 시간마다 AWS 서비스를 호출시켜주는 스케줄러로서 사용해보자.

Kafka : 데이터 파이프라인, 스트리밍 분석, 데이터 통합을 위한 오픈 소스 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform) 준비물 : aws 계정, docker 설치파일 docker 파일 설치후 터미널 재시작 해야한다. 안그러면 설치 업데이트 미반영 됨. 그 후 single-consumer 파일 설...