사용한 기술: spark sql
서론
셀러들에게 지표들을 보여주는 프로젝트를 진행했다.
지표는 다음과 같다.
별점, 배송점수, 댓글점수, 셀링점수 등이다.
위 지표들을 가져오기 위해서는 여러 팀으로부터 데이터를 가져와야 했다.
다음과 같은 어려움이 있었다.
정보를 어떻게 추출해야 하지? feat. 다른 팀 도메인
원하는 데이터를 정확하게 추출하는 방법을 몰랐다.
다른 팀 도메인 데이터에서 뽑아야 했다.
팀마다 어떤 디비가 있고, 어떤 컬럼이 있는지 위키가 있었지만, 설명이 부족했다.
그래서 처음에는 서비스를 처음 기획한 기획실의 쿼리를 참고했다.
기획실의 쿼리를 믿고 썼다.
하지만 기획실의 쿼리도 문제가 있었다.
기획실 쿼리는 서비스용이 아니라 분석용
하지만 기획실 쿼리는 실제 뽑고자 하는 지표와 차이가 있었다.
예로 들어, 기획실 쿼리는 배송점수를 정확하게 뽑는 쿼리가 아니었다.(가안으로 뽑는 배송점수)
서비스용으로 정확한 지표를 보여주기 위해, 배송점수 쿼리를 다시 만들어야 했다.
데이터에 대해 궁금한 점들을 정리
기획실 쿼리와 별개로, 원점에서 잘 모르는 부분이 무엇인지 정리했다.
필요한 지표에 대한 모든 질문을 별도의 위키에 정리했다.
정리한 질문들을 각 팀에 직접 질문했다.
결국 원하는 지표를 뽑을 수 있는 쿼리를 만들 수 있었다.
더 잘하려면
→ 여러 팀의 여러 도메인을 서비스해야 한다면(자기 팀 도메인이 아닌 도메인을 서비스해야 한다면) 궁금한 점들을 미리 정리하자.
→ 정리한 질문을 해당 도메인 팀에 확실하게 질문하자. (그리고 질문은 프로젝트 초반에 하자)
→ 질문해서 얻은 답변은 정리하자.
→ 추가로 쿼리를 만들면서 얻은 다른 팀 도메인 지식을 따로 위키에 정리하자.
