오늘의 회고

ElasticSearch

API에 ElasticSearch를 붙이기로 했다.
ElasticSearch는 백엔드에서 관리하겠지만 데이터엔지니어 직무 역량으로도 ElasticSearch 사용 능력이 필요하다는 공고를 꽤 봤던 것 같다.

데이터 엔지니어는 Elasticsearch를 통해 효율적인 데이터 검색, 분산 시스템 최적화, 실시간 데이터 분석, 데이터 파이프라인 구축 등 다양한 작업을 할 수 있다고 한다.

ElasticSearch 활용 방안에 대해서도 데이터 엔지니어 관점에서 생각해 봐야 할 것 같다.

Grafana

데이터 엔지니어링 부트캠프에서 Prometheus로 Spark metrics를 수집해서 Grafana 대시보드에서 모니터링하는 토이 프로젝트를 진행한 적이 있다. 하지만 Grafana 대시보드에서 바로 지원되는 기본적인 Spark 대시보드가 없어서 필요한 쿼리만 추가해서 모니터링을 진행했었다. 만족할큼 구현하지 못했다는 아쉬움이 있었는데 페이지3에서 Prometheus와 Grafana를 제대로 사용하는 법을 익힐 수 있을 것 같아서 기대가 된다.

Grafana로 Spark metrics를 모니터링하려다가 잘 안되서 node-exporter를 사용하는 팀도 많았는데 node-exporter는 서버의 하드웨어 성능 지표를 모니터링 하는 도구이기에 그 쓰임이 전혀 다른 것이었다.

node-exporter는 CPU, 메모리, 디스크, 네트워크 등의 로컬 서버 자원에 대한 정보를 Prometheus로 수집할 수 있게 해준다.
node-esporter는 기본적으로 GPU를 모니터링하지는 않으며, GPU 관련 메트릭을 제공하지 않는다.

그래서 GPU를 모니터링 하려면 DCGM Exporter와 같은 별도의 툴을 사용해야 한다. DCGM Exporter는 NVIDIA GPU에 특화된 모니터링 툴로, GPU 성능과 상태를 Prometheus로 수집하여 Grafana에서 시각화할 수 있다.

프로젝트

파트별 Todo를 작성하고 어떤 식으로 프로젝트를 진행해야할지 조금씩 구체화 해나가는 중이다. 나를 포함한 모두가 MSA는 처음이라서 방황의 시간을 갖고 있는 것 같긴 하지만 이또한 잘 이겨내겠지... 😃😃

그래서 주말동안 해야할 일은
☑️ AWS VPC 등 망에 대한 기초 복습
☑️ AWS Redshift에 대해 알아보자
☑️ ElasticSearch에 대해 알아보자
☑️ JIRA 활용법 숙지