7월의 프로젝트

5월의 프로젝트도 다 정리 못했는데 7월의 프로젝트를 하게되었네요 허허

최근 토이프로젝트를 시작하면서 데이터베이스들을 설치해야했습니다. 저희가 설치해야하는 데이터베이스는 세가지로 MySQL, MongoDB, redis입니다. 🚦 데이터베이스의 종류들 MySQL 실제 장고에서 운영하면서 회원의 정보들과 게시판의 정보들을 정해진 데이터타

최근 프로젝트를 진행하면서 영화리스트 페이지구축을 하면서 속도에 대한 고민을 하게되었습니다.

속도에 대한 고민은 또다시 발생하였습니다.

듬직하게.

최근 프로젝트를 하면서 직군을 나누었고 해당 해야하는 일 또한 배정하였습니다.

프로젝트를 하면서 mongoDB에 데이터를 적재하고 운영하던중 지금까지 도큐먼트는 JSON형태로 저장되는중알았지만

로그데이터 파이프라인 구축을 하는 과정을 설명드리겠습니다.

앞 포스팅에서 설명했듯이 로그가 파일의 형식으로 남게 됩니다.

이제 Logstash가 보낸 로그를 카프카의 원하는 토픽으로 가게 됩니다.카프카는 실제 인스턴스에 하나씩 카프카를 설치해서 클러스터를 구성하는게 맞지만 서비스의 규모와 비용을 생각해서 docker-compose를 통해서 클러스터를 구축하였습니다.

앞에서의 포스팅을 과정을 거쳐서 브로커의 토픽에 메세지(로그)들이 적재가 되었습니다.이렇게 적재된 메세지들을 이제 컨슈머를 통해서 소비를하고 원하는 목적지에 배달을 해야하는데요 구현한 컨슈머를 통해서 포스팅을 진행하겠습니다.