🗓️ 1126 ~ n트 기록

❇️ 나는 어제 Colab Pro 에서 제공하는 컴퓨팅 단위를 다 써버렸다. 프리미엄 GPU 돌렸더니, 왜케 빠를까 싶었는데 이유가 있었구나. 그래서 개망했다. 일반 GPU 쓰니까 모자르다고 나온다.
🗓️ 1126
📌 0트(base) : 0.5646211434906451

📌 1트 : 0.5627
weights에서 logspace 값 np.flip() 적용

📌 2트 : 0.5647 (base + 0.000091 )
"Buy2Buy" Co-visitation Matrix에서 기간 14일->10일

📌 3트 : 0.5647 ( base + 0.000094 )
"Buy2Buy" Co-visitation Matrix에서 기간 14일->7일

📌 4트 : 0.5647 ( base + 0.000110)
"Buy2Buy" Co-visitation Matrix에서 기간 14일->7일
"Clicks" Co-visitation Matrix - Time Weighted 기간 하루 -> 12시간

📌 5트 : 0.5646 -> 시간을 줄이는 것이 좋다는 것에 대한 Validation Test
"Buy2Buy" Co-visitation Matrix에서 기간 14일->7일
"Clicks" Co-visitation Matrix - Time Weighted 기간 하루 -> 48시간

새벽 5시 반까지 5트 돌렸다..^^.. 행복해
🗓️ 1127
📌 6트 : 0.5647
cart recall 올리려고 이것저것 고쳐봤는데 망했다.

📌 7트 : 0.5646
6트에서 바꿨던 type weight를 그냥 원래대로 했다. 더 망했다.

📌 8트 : 0.5646
type weight는 그냥 건들지 말아야 하나. 또 망했다.

하루종일 망하기만 하고 끝났다. 오늘의 교훈 type weight는 건들지 말아야겠다
🗓️ 1128
📌 9트 : 0.5649
가장 성능이 좋았던 4번째 금쪽이를 데려온 다음 조금 더 고쳐봤다. 오늘의 금쪽이 출발~!
"Buy2Buy" Co-visitation Matrix에서 기간 14일->7일
"Clicks" Co-visitation Matrix - Time Weighted 기간 하루 -> 12시간
"Cart-Orders" Co-visitation Matrix - 기간 하루 -> 12시간
아 미친 금쪽아!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 아 미친 우리 9쨰 금쪽이 너무 잘했다ㅜㅜㅜㅜ

📌 10트 : 0.5650
9번째 금쪽이에서 시간 가중치 방식을 바꿔봤다. 최근 데이터 반영할수록 좋은 것 같아서 최근일수록 가중치가 높게 설정해줬다. 아주 조금 똑똑해졌다.
df['wgt'] = 1 + 5*(df.ts_x - 1659304800)/(1662328791-1659304800)

📌 11트 : 0.5649
최근 가중치를 더 높게 줘봤다. 떨어질 거 예상하고 돌린다. 역시 떨어졌다.

📌 12트 : 0.5648
cart recall을 높이기 위해 (2) Buy2Buy matrix에 type weighting을 줘보자.
order recall은 떨어져도 상관없다. cart recall이 올라가는지만 확인해보자.
오히려 click이 올라가고 cart와 order는 둘 다 떨어졌다. 정말 알다가도 모르겠다.

---

🗓️ 1127

❇️ 6트 전에 Kaggle Comments 정리 및 등등

✅ 현재 사용하는 co-visitation matrix
Reference에서 사용하는 3종류의 co-visitation matrix는 다음과 같다.

• (1) Click/Cart/Order 데이터를 가지고 type-weighting을 하여 Cart/Order을 예측
• (2) Cart/Order 데이터를 가지고 weighting 없이 Cart/Order 예측
• (3) Click/Cart/Order 데이터를 가지고 time-weighting을 하여 Click을 예측

따라서 예측이 크게 두 가지로 나눠지게 된다. Clikck 예측과 Buy 예측.

• Click을 예측할 때 (3) Matrix만 사용하여 예측한다.
• Buy(Cart, Order)를 예측할 때 (1), (2) Matrix를 사용하여 예측한다.

즉 Cart와 Order는 예측할 aid 종류가 동일하지만, Click은 다른 것이다.

---

✅ 시간 가중치 매기는 방식

df['wgt'] = 1 + 3*(df.ts_x - 1659304800)/(1662328791-1659304800)

모든 데이터에서 timestamp 최소값 1659304800
모든 데이터에서 timestamp 최댓값A 1662328791
설정하고자 하는 최대 가중치 4, 최소 가중치 1

point-slope equationd을 푼다.
x2 = 1662328791
x1 = 1659304800
y2 = 4
y1 = 1

최댓값은 우리가 최근 데이터에 얼마나 중요성을 둘 지를 결정한다.

사람들이 무엇을 클릭하고 카트에 담고 주문할지는 현재 트렌드에 따라 변하게 될 것이다. 따라서 최근에 가까울수록 가중치를 두는 방식을 사용한다.

---

✅ tail 30개만 사용하는 이유
주요한 이유는 메모리를 덜 사용하기 위해. 그러나 tail에 가까울수록 미래를 예측하는 데 도움이 되고 최근의 트렌드를 반영하는 의미있는 데이터가 된다.

---

✅ 가능한 User/Item Feature

• 사용자 Feature
  사용자가 얼마나 많은 아이템을 클릭했었는지
  사용자가 얼마나 많은 아이템을 구매했었는지
  사용자가 클릭한 평균 시간
  사용자가 주문한 평균 시간
  사용자가 실제 세션을 몇 개 가지고 있는지(실제 세션은 활동 간의 시간 간격으로 정의됨)
  각 사용자 실제 세션의 평균 아이템 수
  사용자가 만든 활동의 마지막 요일(예: 월요일, 화요일)
  사용자가 만든 활동의 첫 번째 요일은 무엇인지
  클릭 사이 평균 시간

• 아이템 Feature
  has this item already been clicked by user
  has this item already been added to cart by user
  if already clicked, what is its relative order? 1 means last clicked, 2 means second to last clicked etc
  has user clicked this item multiple times already? how many
  how many items (that user has already clicked) have recommended this item with their co-visitation matrix
  when was date that this item was first seen in train
  how many times what this item clicked in train
  what is the average hour of day that this item is clicked
  what is the average hour of day that this item is ordered
  how popular is this item on monday (i.e. what percentage of monday clicks are this item)
  how popular is this item on tuesday
  what is the most common day of week this item is clicked
  count up all unique items that were clicked immediately before and after. How many unique items have been clicked immediately before and after. (For example, maybe item only has 10 unique items that get clicked before and after. Whereas another item has 1000 unique items clicked before and after)
  what percentage of users click this item more than once
  has this item ever been bought in train data

---

✅ 왜 click:cart:order 가중치가 1:6:3인지
1) click vs cart 비교했을 때 cart가 더 중요하다. (이건 당연)
The basic idea is this. We want to predict future behavior, so the question is what is more important "someone previously clicked an item OR someone previously put an item in their cart". I would say the second is more important. That means the user will most likely click this item again or order this item. So we give lots of weight to previous behavior of "cart".

2) cart vs order 비교했을 때 cart가 더 중요한 이유
Next, we wonder what is more important "someone previously put an item in their cart OR someone previously ordered an item". In both cases, the user might buy the item. But it is more likely that a user will buy an item if they put it in their cart versus buy an item if they have already bought the item. People do buy items multiple times so previously buying an item is more important than previously clicking an item (when predicting a future purchase).
= 이전에 cart에 담았던 데이터와 이전에 order했던 아이템 모두 구매할 가능성이 높다. 그러나, 이미 샀던 아이템을 사는 것보다는 카트에 담았던 데이터를 살 가능성이 더 높다. order가 click보다 중요한 건 당연하다.

• 추가 참고 Reference: https://www.kaggle.com/code/ingvarasgalinskas/item-type-vs-multiple-clicks-vs-latest-items
  : since not all carted items are ordered and may become relavant later. Also, carted and ordered items probably are more interesting than clicked items.