항해99 7주 차 WIL

홍당무·2023년 1월 2일

실전 프로젝트 시작(챌린지팀)

기획

데이터 모으기

이 부분은 기획 단계에서부터 많이 생각을 하던 주제였다. 당장 우리에게 직면한 과제는 '대용량 데이터 처리 속도 개선', '대규모 트래픽 발생 시, 동시성 제어 및 속도 개선' 이였기 때문에 데이터를 모을 때, 몇 가지 조건을 정했다.

1. 효용성이 실험 데이터여야 한다.

= 서비스 론칭팀은 아니지만 그래도 간단한 View 작업을 마친 뒤, 최종 결과물에 지도의 특정 위치에 있는 가게나 지명 등에 정확한 URL이 담겨야 하고 실제와 데이터가 같아야 하기 때문이었다.

2. 많은 데이터가 필요하다.

= 초기 목표치는 데이터 1000만건을 조회했을 때의 성능 개선이었기 때문에 1000만건의 데이터를 직접 가져오거나 부족분을 더미데이터로 만들기로 했다.

진행중

대한민국 공식 전자정부 누리집에서 대용량 데이터를 다운받고 이 것을 우리에게 필요한 칼럼별로 정리한 뒤, CSV파일로 변환하는 것까지 진행했다.

profile
공부하는 백엔드 개발자

0개의 댓글