[K-Pop 오디오 특성 분석 대시보드] 외부 데이터 수집 (2) Spotify Charts

0. 배경 및 필요성

앞의 과정까지 수집한 데이터를 바탕으로 대시보드의 방향성을 좀 더 세부적으로 기획하였다.

대시보드 기획 (각 Step은 페이지를 의미)

• Step 1. 글로벌 시장에서 K-Pop의 오디오 특성 (시작년도/종료년도/국가 == 입력변수)
  • 차트인한 곡 개수 / 곡명
  • 글로벌 vs 한국 오디오 특성 비교
• Step 2. K-Pop의 오디오 특성의 흐름 (그룹 입력변수로 설정, 데이터 있는 연도부터 최근까지 보여주기)
  • 주요 오디오 특성별로 연도별 흐름 (Valence, Energy 등)
  • 그래프 아래에 해당 그래프에 포함된 곡 리스트도 보여주기
• Step 3. 인기도에 영향을 미치는 오디오 특성 (그룹 입력변수로 설정, 년도 입력변수로 설정)
  • 인기도의 기준? → popularity는 쓰기 힘들 것 같고, kworb 차트에서 크롤링한 peak 순위를 적용

대시보드에서 추가적으로 결정해야 하는 사항들은 다음과 같았다.

1. 연도별, 국가별 차트인 한 kpop 곡들에 대한 시각화를 어떻게 할 것인지
   • 필터 (해당 연도, 국가에서 히트한 곡들 모음)
   • 필요: 곡 개수, 곡명,
2. 국가별 해외 vs. kpop 곡 오디오 특성 비교
   • 해외 : 누적 곡을 활용 가능
   • 여기에서 추가 자료 수집 필요: 국가별 Weekly Chart 상위 50곡 (-> 이후 200곡으로 변경) + 각각의 오디오 특성
3. 그룹 별로 가장 유명한 곡 (대표곡) 한 곡씩 오디오 특성 시각화
   • 한 눈에 예쁘게 보여주는 용도
   • 가장 유명한 곡 - 가장 높은 순위, 동순위 일 때는 streams 높은 거
   • (이것은 이후 대시보드에 포함되었는데 명확한 기준이 아니라 '대표곡'으로 지정했다는 점이 아쉽다.)
4. Kpop 연도별 오디오 특성 흐름
   • 모든 연도의 곡을 다 포함
   • 오디오 특성 중 유의미한 것만 포함시키자 (무의미한 특성 빼버리기)
   • 필터로 연도 range를 설정할 수 있게?
5. 그래프를 오디오 특성 별로 만들기(6개 각각 or 한 장) - 전체 기간
   • 집중해서 보고 싶은 그룹만 표시 + average 특성
   • 그래프 아래에 해당 그래프에 포함된 곡 리스트도 보여주기
6. 인기도에 영향을 미치는 오디오 특성
   • 머신러닝 결과 자체를 보여주기?
   • (시각화 결과 인기도와 오디오 특성 간 명확한 상관관계가 나타나지 않으면서 '인기도에 영향을 미치는 오디오 특성이 무엇이다'라고 명확히 결론은 내리지 못했다.)

추가 데이터 수집 (Spotify Charts)

대시보드에서 '국가'를 변수로, 해당 국가의 차트 상위 곡에 대한 오디오 특성을 추가 수집해야 했다.
먼저 '국가별'로 차트인한 곡(상위 200곡)을 보여주는 차트는 Spotify API 또는 kworb에는 없었기 때문에 Spotify Charts에서 수집하였다.

위 화면에서 Global 드랍다운 메뉴에서 국가를 선택하면 국가별 Weekly Top Songs를 볼 수 있다. (상위 200곡)

이것을 드랍다운 메뉴에 있는 74개 국가별로 크롤링하였다. (우측 위에 아이콘을 클릭하면 Download data as csv를 할 수도 있다.)