AWS / Elastic Cloud

김용환·2023년 9월 9일

목록 보기

1/2

22-2학기에 융합 전공을 통해 ‘빅데이터 시각화와 시뮬레이션'이라는 과목을 수강했고, 이를 통해 AWS의 클라우드 컴퓨팅에 대해 배울 수 있었다. 나아가 'AWS Cloud Practioner' 자격증까지 취득한 상태였다. 우연히 학기 말에 수업 내용과 관련된 프로젝트를 겨울 방학 기간 동안 진행하는 것을 알게 되어 지원했다.

SW 전공자와 비전공자가 나뉘어 ELK Stack에 대해 이론 및 실습 교육을 받았다.
나는 경영학부 학생이었기에, 비전공자 부문에서 Kibana 시각화 교육을 받았다.
그리고 csv 파일로 실습하며 어떤 방식으로 Elastic Search에 데이터를 가져올 수 있고, Kibana로 시각화할 수 있는지 알 수 있었다.

Elastic Search 플랫폼과 AWS 서비스를 사용해야 했고, 자유 주제 프로젝트 형식이었다. 그 중 우리 팀은 공공데이터를 활용한 시각화를 진행하기로 했다.

교육 기간이 끝난 후, 개발자와 분석가 학생들을 나누어 우리 팀은 5인 1조로 구성되었다. 이 때 나는 조장 및 분석가를 맡게 되었고, 다른 학교 및 과정을 거친 팀원들과 만날 수 있었다.

우리 팀은 '항공 통계 데이터를 활용한 이용자수 및 수출입품 분석'을 진행했다.
국가통계포털, 국가물류통합정보센터의 공공 데이터를 이용했다.
개발자 팀원들은 AWS Lambda와 EC2를 이용해 Elastic Search에 Open API를 연동하는 것에 집중했다. 그리고 분석가 팀원들은 이를 어떻게 시각화하고, 이 프로젝트의 의의는 어떤 것인지 고민했다.

이 때 항공 데이터를 필요로 하는 기업에게 대시보드를 제공한다는 가상의 시나리오를 제안했고, 팀원들 모두 동의했다.

또한 이 대시보드를 통해 기업이 얻을 수 있는 정보는 무엇인지 정의했다.

그리고 프로젝트를 진행하며, 팀의 목표 수립이 동기부여 측면에서 중요하다는 것을 깨달았다.

팀원들 대부분 ELK를 처음 접했기에, 1달이라는 기간 동안 이를 적용해 프로젝트를 진행하는 것 자체가 쉽지 않았다.
분석가 팀에서 개발자 팀의 진행 과정을 이해하는 것이 쉽지 않았다.
이는 분석가 팀에서 AWS 서비스의 지식이 필요했기에, 지난 학기 수업에서 배운 내용들을 통해 중간에서 소통을 도왔다.

겨울 방학 기간동안 참여한 5팀 중 2등을 차지했다.

또 인터페이스가 직관적이며 필요한 데이터가 가독성 좋게 시각화되었고
종류별, 국가별로 세세한 데이터를 잘 분류해 놓았다는 피드백을 받았다.

프로젝트