(아키텍처)
https://wikidocs.net/89455
(elk)
https://engineering.linecorp.com/ko/blog/excel-to-elastic/
(https://developers.kakao.com/docs/latest/ko/daum-search/dev-guide)
1. 카카오 API에서 검색엔진에서 검색어 입력하고 node.js 서버 몇 개 띄어서 api받는 것을 실시간 log로 남긴다.
2. 해당 log를 logstash, nifi 등 통해서 data streaming
3. kafka, spark sreaming 통해서 ETL 과정 거치고 ElasticSearch와 Kibana 활용해서 실시간 순위
4. 그 외는 하둡클럽스터에 데이터 저장. 배치 성으로. airflow