저번주에 회고를 처음 진행해보았는데, 멘토님과 멘티님들의 회고를 보면서 보고 배운 점이 많았고, 나 또한 내 회고에 대한 피드백을 받으면서 도움을 많이 받은 것 같다. 매주 회고를 하는 습관을 들여서 한단계 성장하는 개발자가 되어야겠다! 이번주에도 저번주에 했던 5F 방법으로 회고를 진행해보았다.
🟥 Fact (사실)
지난 3월 21일 (토) 오후 8시, 방탄소년단(BTS)이 광화문에서 글로벌 라이벌 공연으로 화려하게 컴백하였다. BTS 공연을 앞두고 26만명이 운집할 것이라는 분석들이 있었지만, 실제로 모인 숫자는 4만여명에 불과했다는 기사를 접하였다.
방탄소년단(BTS)의 광화문 공연에 당초 최대 예상치인 26만명에 훨씬 못미치는 관람객이 방문하면서 편의점들이 '눈물의 떨이'로 재고를 소진하고 있다는 소식을 접했다. 경찰은 당일 공연에 최대 26만명이 모일 것으로 예상했는데, 서울시 데이터에 따르면 4만6천~4만8천명이 모인 것으로 나타났다.
🟧 Feeling (느낌)
물론 시민 안전과 관련해서는 과도하게 대응해야한다는 서울경찰청장의 해명은 일리가 있고 잘한 일이지만, 경찰 추산만 믿고 간편식과 우유 등 신선식품 발주를 늘렸다가 예상 밖의 판매 부진에 재고를 고스란히 떠안게 된 광화문 인근 편의점 점주들의 고심이 깊어지고 있다는 점이 너무 안타까웠다 (다행히 일부 편의점 본사는 자체적으로 가맹점의 재고 물량을 소화하겠다는 소식을 접했다!).
해당 소식을 접하면서, 경찰의 인원 예상은 대체 어떤 식으로 하는지 문득 궁금해졌다 (어떤 데이터를 수집했는지, 과연 머신러닝 모델을 돌렸는지 여부 등등). 예상되는 방문자 수의 정확한, 또는 그것이 어렵다면 적어도 예상 방문자 수의 최소/최대 범위를 제공했더라면, 불필요한 자원을 낭비하는 일이 없지 않았을까 싶어서 좀더 정확한 모델 개발을 해야할 필요성을 느꼈다.
🟨 Finding (배운 점/발견)
제미나이와 클라우드의 도움을 받아서 인원 예측을 하기 위한 분석 설계안을 단계별로 알아보았다.
1. 데이터 수집 체계 구축 (Data Ingestion)
가장 먼저 어떤 데이터를 어디서 가져올지 결정해야 합니다. 한 가지 소스만으로는 부정확하므로 다각도로 수집합니다.
통신사 유동인구 데이터: SKT, KT, LGU+ 등의 기지국 접속 정보를 API로 연동하여 실시간 광화문 지역 접속자 수를 파악합니다.공공 데이터 (서울시): 지하철(광화문역, 시청역, 종각역) 승하차 인원 데이터와 시내버스 카드 태그 정보를 수집합니다.- SNS 및 웹 크롤링: X(구 트위터), 인스타그램에서 #BTS, #광화문 등의 해시태그 발생 빈도를 분석하여 팬들의 방문 의사 및 밀집도를 파악합니다.
교통 및 CCTV 데이터: 서울시 TOPIS를 통해 인근 도로의 정체 상황과 지능형 CCTV를 활용한 구역별 밀집도를 수집합니다.
2. 데이터 처리 및 정제 (Data Processing)
수집된 원천 데이터(Raw Data)는 형식이 제각각이므로, 분석 가능한 형태로 가공해야 합니다.
- 실시간 스트리밍 처리: 콘서트 당일에는 초단위로 데이터가 쏟아지므로 Apache Kafka나 Spark Streaming을 사용하여 끊김 없이 데이터를 처리합니다.
- 데이터 정제: 단순 통과 인원과 콘서트 관람 목적의 체류 인원을 구분하기 위해 '30분 이상 체류'와 같은 로직을 적용해 필터링합니다.
- 데이터 적재: 가공된 데이터는 향후 분석 및 시각화를 위해
Data Warehouse(BigQuery, Snowflake 등)에 저장합니다.
3. 분석 및 예측 모델링 (Analytics & ML)
과거의 유사 사례와 현재 데이터를 결합하여 예측 수치를 도출합니다.
- 과거 사례 비교 분석: 2002년 월드컵 거리 응원, 과거 대규모 집회, 혹은 타 아티스트의 광화문 공연 데이터를 벤치마킹 모델로 삼습니다.
- 공간 수용량 계산: 광화문 광장의 면적(m2)당 적정 인원(보통 1m2당 3~4명)을 계산하여 물리적 한계치를 설정합니다.
- 예측 알고리즘: 날씨, 요일, 티켓팅 데이터 등을 변수로 활용해 머신러닝 모델을 돌려 예상 인원 범위를 산출합니다.
4. 시각화 및 모니터링 (Visualization)
분석된 결과를 의사결정권자가 한눈에 볼 수 있도록 대시보드를 구성합니다.
- 히트맵(Heatmap) 구현: 광화문 광장 내 어느 구역이 가장 혼잡한지 실시간으로 보여주는 지도를 제작합니다.
- 대시보드 운영: 현재 인원, 유입 속도, 퇴장 예상 시간을 시각화하여 운영팀과 경찰측에 공유합니다.
🟩 Future Action (향후 계획)
아직은 대규모 데이터를 다루는 방법과 실시간 데이터를 스트리밍 처리하는 방법을 모르기 때문에, 나중에 배우고 나면 한번 직접 구현해보면 좋을 프로젝트인 것 같다는 생각이 들었다.
🟦 Feedback (피드백)
- 멘토님도 해당 기사를 보면서 이런 생각을 못했는데, 좋은 생각을 한 것 같다고 칭찬해주셨다. ^^
- "데이터 수집 체계 구축" 부분에서 통신사 유동인구 데이터, 서울시 공공데이터, 교통 및 CCTV 데이터는 실시간 데이터이기 때문에 방문 예상치를 분석하는데 도움이 될 것 같지는 않다고 하셨지만, SNS 및 웹 크롤링은 도움이 될 것 같고, 다른 요소가 또 있을지 고민해보면 좋을 것 같다고 해주셨다.
- 사회현상 및 문제 해결이라는 것을 하나의 주제로 프로젝트를 진행해도 좋을 것 같다고 하셨다. 굳이 분석까지 가지 않더라도, 기획까지만 해도 충분할 것 같다고 하셨다 (이를테면 분석은 3개, 기획은 5~7개).
