🐸 해야할 일 🐸

• timestamp 데이터 요일 / 시간대(오전, 오후 야간)으로 labeling 해주기
• 요일 / 시간대에 따른 데이터 분포 확인하면서 유의미한지 파악하기
• 유의미하다면, 요일 / 시간대에 따라 어떤 특징이 있는지 추가 분석 진행하기
• 시간대를 어떻게 분할해야 더 의미있을지 분석해보기

🗓️ 1118

❇️ 또 칸나에서 쓰는 프로젝트 준비 과정. 내일 회의하기 전에 준비를 해야한다. 오늘 할 일은 요일과 시간대로 timestamp를 labeling하는 것이다.

✅ 참고자료

• https://jimmy-ai.tistory.com/331
• https://brunch.co.kr/@data/16
• https://datascienceschool.net/01%20python/04.04%20%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%94%84%EB%A0%88%EC%9E%84%EC%9D%98%20%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%A1%B0%EC%9E%91.html
• https://teddylee777.github.io/scikit-learn/labelencoder-%EC%82%AC%EC%9A%A9%EB%B2%95

✅ pandas의 datetime을 활용하여 요일 라벨링

-📌timestamp에 찍힌 시간을 0~6으로 라벨링하는 과정을 거친 열을 추가하는 것.

-📌같은 요일 라벨링 값을 갖는 event을 grouping하여 분석.

-📌요일별 Top 20 frequencies aids 분석. for문 돌리면 될 걸 내가 노가다했다. 7개 너무 많아서 2개만 그림 넣었다

mon_aid_counts = df1[df1['weekday']==0].groupby('aid')[['aid']].count()
tue_aid_counts = df1[df1['weekday']==1].groupby('aid')[['aid']].count()
wed_aid_counts = df1[df1['weekday']==2].groupby('aid')[['aid']].count()
thu_aid_counts = df1[df1['weekday']==3].groupby('aid')[['aid']].count()
fri_aid_counts = df1[df1['weekday']==4].groupby('aid')[['aid']].count()
sat_aid_counts = df1[df1['weekday']==5].groupby('aid')[['aid']].count()
sun_aid_counts = df1[df1['weekday']==6].groupby('aid')[['aid']].count()

mon_aid_counts = mon_aid_counts.rename(columns={'aid': 'count'}).reset_index()
tue_aid_counts = tue_aid_counts.rename(columns={'aid': 'count'}).reset_index()
wed_aid_counts = wed_aid_counts.rename(columns={'aid': 'count'}).reset_index()
thu_aid_counts = thu_aid_counts.rename(columns={'aid': 'count'}).reset_index()
fri_aid_counts = fri_aid_counts.rename(columns={'aid': 'count'}).reset_index()
sat_aid_counts = sat_aid_counts.rename(columns={'aid': 'count'}).reset_index()
sun_aid_counts = sun_aid_counts.rename(columns={'aid': 'count'}).reset_index()

mon_aid_counts.sort_values(by='count', ascending=False, inplace=True)
tue_aid_counts.sort_values(by='count', ascending=False, inplace=True)
wed_aid_counts.sort_values(by='count', ascending=False, inplace=True)
thu_aid_counts.sort_values(by='count', ascending=False, inplace=True)
fri_aid_counts.sort_values(by='count', ascending=False, inplace=True)
sat_aid_counts.sort_values(by='count', ascending=False, inplace=True)
sun_aid_counts.sort_values(by='count', ascending=False, inplace=True)

mon_20_most_frequent_aids = mon_aid_counts.set_index('aid').head(20).to_dict()['count']
tue_20_most_frequent_aids = tue_aid_counts.set_index('aid').head(20).to_dict()['count']
wed_20_most_frequent_aids = wed_aid_counts.set_index('aid').head(20).to_dict()['count']
thu_20_most_frequent_aids = thu_aid_counts.set_index('aid').head(20).to_dict()['count']
fri_20_most_frequent_aids = fri_aid_counts.set_index('aid').head(20).to_dict()['count']
sat_20_most_frequent_aids = sat_aid_counts.set_index('aid').head(20).to_dict()['count']
sun_20_most_frequent_aids = sun_aid_counts.set_index('aid').head(20).to_dict()['count']

def visualize_aid_frequencies(aid_frequencies, title):
    fig, ax = plt.subplots(figsize=(6, 4), dpi=100)
    ax.barh(range(len(aid_frequencies)), aid_frequencies.values(), align='center')
    ax.set_xlabel('')
    ax.set_ylabel('')
    ax.set_yticks(range(len(aid_frequencies)))
    ax.set_yticklabels([f'{x} ({value_count:,})' for x, value_count in aid_frequencies.items()])
    ax.set_title(title, size=20, pad=15)
    plt.gca().invert_yaxis()
    plt.show()

for most_frequent_aids in [mon_20_most_frequent_aids, tue_20_most_frequent_aids, wed_20_most_frequent_aids, thu_20_most_frequent_aids, fri_20_most_frequent_aids, sat_20_most_frequent_aids, sun_20_most_frequent_aids] :
  visualize_aid_frequencies(
    aid_frequencies=most_frequent_aids,
    title='Top 20 Most Frequent aids'
)

+너무 길어서 짤라넣었다. 그냥 aid number만 print한 것이 아래.

✅ pandas로 오전/오후/야간 3개의 시간대로 분할하여 라벨링

📌 언제를 오전/오후/야간으로 지정할지는 일단 오늘 준비 때는 내가 임의로 기준을 정하고, 내일 예지와 이야기하면서 의미 있는 기준으로 정해야겠다.

📌 pandas의 between_time 메소드를 이용하여 모든 날짜 특정 시간 기간의 관측값을 추출할 수 있다.

• Type 에러가 계속 발생했는데. 기존 DataFrame은 인덱스가 'ts'열이 아니어서 between_time 메소드가 적용될 수 없었다. 따라서 set_index로 timestamp 열이 index로 적용되게 만들었다.

TypeError: Index must be DatetimeIndex

📌 특정 시간대에 대하여 df를 분할하는 것까지 진행하였다. 이제 이 특정 조건에 맞는 데이터들에게 각자에 맞는 라벨이 부여된 Column을 추가하면 될 것 같다.

• 방법1 : between_time을 사용하면 DataFrame형태로 반환된다. 여기서 각자 data frame에 속하는 event index 값('Unnamed :0'이었던 기존 index값. 지금은 between_time을 쓰기 위해 timestamp를 index로 지정한 상태이다.) 을 list에 저장해서 for문을 돌면서 각 리스트에 있으면 각 리스트에 알맞은 값으로 'time zone' 열에 '오전', '오후', '야간' 값을 할당해주는 방식을 떠올렸다. 실제로 작동하는 방법이지만 df1의 길이만큼 for문을 돌면서, 리스트에 i가 있는지 확인하는 과정까지 거치면 시간이 너무 오래걸린다. 실제로도 20분 가량 돌리다가 너무 비효율적이고 다른 방법이 있을 것 같아서 그만두었다. 대충 아래 처럼 코드를 짜서 돌렸는데. 너무 멍청한 코드라 포기

• 방법2 : datetime을 이용해 시간값만 따로 가져와서 이 시간값을 조건부 필터링해서 라벨링하는 방법. 요일 추출했던 방법으로 시간만 가져오면 아래 사진과 같아진다.

이 hour값은 0~23 범위의 정수값일 것이므로 기존 datetime보다 다루기가 쉬울 것 같다. hour에 대한 조건으로 라벨링을 할 수 있을까?

이렇게 하면 내가 의도한대로 되는 것 같다. 근데 이게 좋은 방법인지 잘 모르겠다.

📌 위에서 했던 분석 시간대별로도 해봤다. Top 20 aids도 3개 시각화했는데 여기에는 0일때만(오전) 넣었다.

✅ scikitlearn의 get_dummies와 label encoder 활용해보기

📌 이제 pandas 말고 scikitlearn을 사용해보자. 효준오빠가 알려준 label encoder를 먼저 사용해보았다.

전혀 잘 작동하지 않는 것 같다. 뭔가 전처리를 하고 모델에 fit 시켜야 할 것 같다.

📌 get_dummies를 사용해보자. 내가 뭔가 둘의 기능을 잘못이해한 것 같다. 내가 위에서 pandas를 가지고 timestamp를 0~6(요일)이나 0~2(오전/오후/야간)으로 labeling 하면 그에 대해서 get_dummies와 label_encoder로 one-hot enconding을 진행하는게 맞는 걸까?

🐧 내일 해야할 일 🐧

• 유의미하다면, 요일 / 시간대에 따라 어떤 특징이 있는지 추가 분석 진행하기
• 시간대를 어떻게 분할해야 더 의미있을지 분석해보기
• get_dummies. LabelEncoder로 One-hot-Encoding 처리 해보기
• CF 모델 복습하기
• 내일 회의 보고 준비하기

---