Part 1
01. API
02. HTTP 요청
03.JSON
04. XML
Part 2
01. 목표 설정
- Logstash를 기반으로 하여 실시간(?)으로 데이터를 수집
- Logstash에서 API(HTTP) 요청으로 JSON 데이터 수집
- 수집한 데이터로 ElasticSearch를 통한 데이터 분석 및 Kibana를 통한 데이터 시각화
02. API 선택
시각화 구성을 떠올리면서 일상에 사용될 수 있는 이왕이면 내가 쓸 수 있는 데이터를 시각화하고 이용해보고 싶었다.
처음에는 트위터의 검색어 바탕으로 진행하려고 했는데,
가입 과정에서 비밀번호를 많이 틀려서 24시간 뒤에 시도하라는 알림과 함께 접었다. 😂
그 뒤에는 날씨, 분실물, 교통체증, 자연 재해 등을 생각하고 공공데이터포털에서 공공 API들을 찾아봤다.
이 과정에서 (ElasticSearch는 JSON 형식을 지원하기 때문에) JSON 형식으로 데이터를 반환해주는 API를 찾아야만 했다.
그래서 JSON 형식으로 데이터를 반환해주는 API를 찾아보다가 소방청의 화재정보서비스를 이용하기로 했다.
HTTP 요청을 사용할 예정이었기 때문에 JSON 형식을 고집하였는데,
이후 내용처럼 코드를 사용하게 된다면 반환되는 데이터의 형식을 고려할 필요는 없다!
소방청의 화재정보서비스 내에 또 다양하게 나누어져 있는데,
나는 "소방청 국가화재정보 시도단위화재발생현황 목록조회" 기능을 사용하였다.
해당 API에 대한 상세 기능 정보는 "공공데이터 오픈 API 활용가이드"에서 확인이 가능하다!
공공데이터포털에서 다운받아서 보면 된다!
