중국발 신종 전염병인 코로나19가 강력한 전파력을 보이며 전 세계를 휩쓸고 있습니다. 관광에 의한 인구 인동으로 인해 한국에서도 대구를 중심으로 확산되기 시작한 코로나19는 들불처럼 번져 2020년 3월 18일까지 누적 확진 환자 수는 8413명, 누적 사망자 수는 84에 달하고 있습니다.
우리는 신종 전염병은 어떤 상황인지에 대한 관심을 두고 있지만, 엄청난 양의 데이터 앞에서 가장 관심 있는 데이터를 찾지 못하는 것이 사실입니다. 게다가 자료를 받더라도 어떻게 비교하는지 잘 모르고, 데이터 뒤의 가치를 파악하기 어렵습니다.
이 문제를 해결하기 위해 많은 정보 플랫폼은 데이터 시각화로 코로나19-대시보드를 만들 것입니다. 한 대시보드에서는 다차원 데이터를 포함하고 있고, 지도 맵, 차트 등에서 데이터를 표시할 수 있어 데이터의 변화를 한눈에 알아보도록 하는 것입니다.
5가지 시나리오 대시보드를 알아보려면 다음 글 참고하세요: 코로나19 사태에 데이터 시각화를 어떻게 활용할까?
대단한 보이는 대시보드를 쉽게 만들 수 있다고 생각해 본 적이 있습니까? 이번 포스트에서는 데이터 추출, 데이터클리닝, 데이터 시각화에 이르기까지 어떻게 실현하는지에 대한 단계적으로 만드는 방법을 알아보고자 합니다.
*여기서는 Octoparse를 사용해 데이터를 트롤링하고 파인리포트를 사용해 대시보드를 만든 것입니다.
파인리포트로 만드는 대시보드
데이터 추출
이번에 사용하는 Octopharse는 매우 간단한 데이터 트롤링(crawling) 도구이며, 많은 템플릿을 그대로 사용할 수 있습니다. 복잡한 코드를 쓰지 않아도 데이터를 쉽게 얻을 수 있고, 조작도 매우 간단합니다.
3 가지 단계만 하면 완성됩니다.
단계 1: URL 입력을 통해 스크레이퍼(scaper) 태스크를 구축하기
단계 2: 웹 데이터 추출
단계 3: 스크레이퍼(scaper) 태스크 실행
먼저, “Advanced mode”를 선택하고, 타깃 링크를 Octoparse에 붙여 넣고, URL을 저장한 다음, 웹사이트를 내장된 브라우저에서 열 수 있습니다.
다음에 테이블 중 하나를 누르면 Octoparse는 해당 내용을 식별할 수 있습니다. 단일 테이블 칼럼이 식별되고 테이블의 내용을 모두 확인해야 하므로, “Expand Selection Area”를 눌려야 하는 것입니다. 이렇게 하면 모든 필수 내용이 선택되어 있습니다.
“Select all sub-elements”-“Select all” 를 누르고 전체 폼을 식별합니다.
마지막으로 “start extraction”를 클릭하면 됩니다.
토글 버튼을 누르고 추출 프로세스를 확인할 수 있습니다. 데이터 추출을 완료하면 엑셀 파일로 내보내고 이를 사용하여 지도 시가화를 만들 수 있습니다.
데이터 클리닝 ( DATA CLEANING)
수집한 데이터 필드가 수정되지 않았고, 일부 데이터는 시각화에 영향을 미치게 됨으로, 간단한 데이터 청소를 실시해야 합니다. 이 단계는 시각화에 매우 중요한 부분입니다.
“filed1, filed2, filed3″를 해당 확진, 사망, 격리된 상태로 변경하고, 일부 쓸모없는 자료를 삭제했습니다.
데이터 청소는 프로세스에서 매우 중요한 단계라고 합니다. 이번에 데이터양이 많지 않기 때문에 시간이 많이 걸리지는 않지만 수량이 많은 경우, 시간이 오래 걸릴 것입니다.
자세한 데이터 정리 방법은 다음 글을 참고하세요: Data Cleaning Guide: Saving 80% of Your Time to Do Data Analysis
데이터 시각화-대시보드
여기에서는 FineReport를 사용하여 코로나19 대시보드를 만든 것입니다. 10분만 걸리면 완성됩니다.
대시보드를 어떻게 만든지 방법을 차근차근 알려드리겠습니다.공식 홈페이지에서 무료로 제품 체험판 다운로드가 가능해서 단계를 따라 연습해 보세요.
데이터 연동하기
먼저 방금 수집한 데이터를 연결해야 합니다. 파인리포트에서는 다양한 DB에서 직접 데이터 연동을 지원합니다.
“plus” 버튼을 누르고 “file”을 선택한 후, 방금 수집한 Excel 파일을 선택하고, 미리 보기로 데이터의 정확성을 확인할 수 있습니다. “확인”을 누르면 데이터 연동이 완성되었습니다.
빠른 대시보드 만들기
코로나19 대시보드를 설계하기 위해서 지도 차트, 버블 차트, 선 차트, 그리고 몇 가지 뉴스 알림을 필요합니다. FineReport는 간단한 드래그 앤 드롭만으로 카테고리 차트 19 여 종을 쉽게 만들 수 있습니다. 지도 차트를 예로 알아보도록 하겠습니다.
차트 유형에 관련 글 참고하세요: 간트 차트 외에 14가지 데이터 시각화 차트도 추천! 한 눈의 들어오는 가치를 잡아주기
먼저 메뉴에서 “insert” 버튼을 누르고 “insert chart”를 선택한 후 지도 차트를 삽입할 수 있습니다. FineReport에 내장된 국가별 지도들이 많습니다. 원하시는 것에 따라 선택하면 됩니다.
다음에 엑셀 파일의 데이터를 지도에서 각 장소에 연결하여 필드를 설정해야 합니다.
마지막으로 전체 대시보드를 더 잘 맞춘 하기 위해 컬러를 수정할 수 있습니다.
이 작업 흐름을 따라, 다른 차트를 동시에 만들 수 있고 대시보드는 완성하였습니다.
데이터는 프런트엔드로 가져오기나 API로 업데이트할 수 있습니다. 여기에 보이는 것은 3.12 업데이트된 한국 코로나19 사태입니다. 카루셀 차트는 각 도시의 확진자와 사망자를 보여줄 수 있습니다. 선 차트는 누적 데이터를 실시간으로 현재 데이터로 업데이트하는 것입니다. 버블 차트는 어떤 도시가 가장 영향을 많이 받는지를 보여줄 수 있습니다. 하이퍼링크에서 코로나19에 관련 최신 뉴스를 볼 수 있습니다.
마치며
신종 전염병이 전 세계 여러 나라로 확산되었지만, 과학적인 예방과 통제 조치를 통해 코로나19 바이러스를 이겨낼 수 있을 것입니다. 날씨가 점점 따듯해질 것이고 코로나19 바이러스는 고온 현상에서 점차 약해질 것입니다. 6월까지 신종 전염병을 통제할 수 있기를 바랍니다!
