데이터 프레임 만들기

앨범 정보 가져오기

먼저 2020에 발매된 음악트랙의 정보를 받아온다.

코드

result = sp.search(q='year:2020', type='track', limit=5, offset=1)

결과

이 때 2020 발매된 앨범에 대한 실질적인 정보는 ‘track → items’의 경로를 통해 얻을 수 있다.

• album → uri : 앨범에 대한 uri로 sp.album(uri)를 이용해서 앨범의 정보를 얻을 수 있다.
  • 이 때 얻은 앨범의 정보를 album_info라고 하겠다.
• album_info → track → items : 앨범에 들어있는 모든 track들이 들어있다. 이는 하나가 될 수 있고, 여러개가 될 수 도 있다. 때문에 리스트에 곡 정보를 추가하는 식으로 코드를 만들어야 할거 같다!
  <track에서 필요한 정보>
  - name : 곡 제목
  - track_number : 앨범 내 트랙순서
  - id : 곡의 id
  - url : 곡 정보가 있는 url (가사를 따오기 위함)
  - audio_features : 곡의 audio_features

최종 코드 예시 (2020년) → 아직 audio_features는 미반영

artist_name =[]
artist_id =[]
song = []

for i in range(0,1000,50):
    track_results = sp.search(q='year:2020', type='track', limit=50, offset=i)
    for i, t in enumerate(track_results['tracks']['items']):
        album_uri = t['album']['uri']
        album_info = sp.album(album_uri)
        artist_name.append(album_info['artists'][0]['name'])
        artist_id.append(album_info['artists'][0]['id'])
        artist_song = []
        for j in range(len(album_info['tracks']['items'])):
            name = album_info['tracks']['items'][j]['name']
            track_number = album_info['tracks']['items'][j]['track_number']
            id = album_info['tracks']['items'][j]['id']
            audio_feature = sp.audio_features(id)
            url = album_info['tracks']['items'][j]['external_urls']['spotify']
            artist_song.append({'name':name,'track_number':track_number,'id':id,'url':url,'audio_feature':audio_feature})
        song.append(artist_song)

artist_name

artist_id

song

데이터프레임 생성하기

song_2020 = pd.DataFrame([artist_id,artist_name,song],index=['Id','Artist','Song']).T
print(song_2020.head())
song_2020.to_excel('song_2020.xlsx')

결과

2020 - 2023까지 곡 정보를 수집했다!!

Audio_feature 추출하기

아래의 코드를 통해 audio_feature를 추출할 수 있다.

sp.audio_features('track id입력')

---

📁 excel 불러와 DataFrame 생성하는 과정

 song_2020 = pd.read_excel('song_2020.xlsx',index_col=0)
 song_2020.head()

  type(song_2020['Song']) # pandas.core.series.Series

‘Song’ 열에 들어있는 데이터는 to_excel()의 과정을 거칠 때 String으로 저장되기 때문에 이를 다시 리스트로 만들어야한다.

pickle을 이용해서 저장하면 리스트의 형태로 저장할 수 있는데 다시 데이터를 수집하기 시간이 오래 걸릴 뿐더러 중간에 API 할당향 오류가 나서 어쩔 수 없이 기존 파일을 이용해야했음
→ ast.literal_eval()을 이용해 String을 List로 변환시킨다.

    import ast
    def to_list(x):
        return ast.literal_eval(x)
    song_2020['Song'] = song_2020['Song'].apply(to_list)

이때 인덱스는 앨범을 뜻하며 리스트 안에 들어있는 것은 앨범안에 수록된 트랙(곡)들 이다. 우리는 곡들의 id를 이용해 audio_features를 가져올 것이다.

이때 song_2020[’Song’]의 인덱스는 앨범을 뜻하며 리스트 안에 들어있는 것은 앨범안에 수록된 트랙(곡)들 이다. 우리는 곡들의 id를 이용해 audio_features를 가져올 것이다. 반복문을 통해 피쳐들을 추출해온다.

2021,2022,2023 파일도 똑같이 진행 할 것이다.

# track마다 id 추출
audio_features_id= []
for i in song_2020['Song']:
    id_list = []
    for j in i:
        id = j['id']
        id_list .append(id)
    audio_features_id.append(id_list)

🚨 비상!!(해결!)

API 할량당의 부족으로 audio_features들을 추출하다가 중간에 끊기는 사고가 발생한다.

다양한 해결책이 있는데 이미 오늘 할당량을 다 써버려서 갱신이 될때까지 기다려야 이 해결책들을 시도해볼 수 있을듯 싶다…ㅠㅜㅜㅠㅜㅠㅜ

🔗 해결책

Rate Limits | Spotify for Developers
위의 페이지를 들어가보면 아래와 같은 문구를 볼 수 있다.

▶︎ Spotify API는 API의 안정성을 유지하고자 속도제한을 두고있다고 한다.

Spotify의 API 속도 제한은 30초 동안 앱이 Spotify에 대해 수행한 호출 수를 기준으로 계산되며, 앱이 앱의 속도 제한을 초과하면 Spotify의 웹 API에서 429 오류 응답이 표시된다.(내가 맞이했던 그 오류!)

때문에 속도 제한에 염두를 두고 앱을 빌드해야한다!!!

💡내가 시도한 방법

1️⃣ 확장 할당량 모드 신청
이 모드의 앱에는 새 앱의 기본 모드인 개발 모드의 앱보다 훨씬 높은 속도 제한이 있다. 이를 신청하기 위해서는 Spotify의 허가를 받아야하는게 나에게는 이 과정이 어려웠다…
→ 이 방법은 나 같이 정보를 수집하기 위해 API를 사용하는 사람들보다는 진짜 앱을 만들 목적으로 사용하는 사람들에게 더 필요할 거 같다.(승인 중간 과정에 앱의 구체적인 사진을 첨부하라는 질문이 있었기 때문!)

2️⃣ 배치 API 활용
Spotify 에는 하나의 API 요청으로 일괄 데이터를 가져올 수 있는 Get Multiple Albums 엔드포인트 와 같은 몇 가지 API가 있다. audio_feature는 track id가 담겨있는 리스트를 입력하면 id 별 audio_feature를 리스트로 반환해준다.

• id 리스트
  

• id별 audio_feature
  

💡 두번째 방법을 사용해 할당량을 모두 채우지 않고 audio_feature를 받아올 수 있었다!

• audio_feature 수집 코드

song_2022 = pd.read_excel('song_2022.xlsx',index_col=0)
song_2022['Song'] = song_2022['Song'].apply(to_list)

audio_features_id= []
for i in song_2022['Song']:
    id_list = []
    for j in i:
        id = j['id']
        id_list .append(id)
    audio_features_id.append(id_list)

audio_features_2022 = []
count = 0
for i in audio_features_id:
    print('count : {}'.format(count))
    feature = sp.audio_features(i)
    audio_features_2022.append(feature)
    count += 1