🗓️ 1113

❇️ 칸나에서 쓰는 EDA 과정 기록이다. 오늘은 여러 Reference를 참고하여 해보았다.

✅ 참고코드1: https://www.kaggle.com/code/gunesevitan/otto-multi-objective-recommender-system-eda
✅ 참고코드2: https://www.kaggle.com/code/mvvppp/otto-eda-to-getting-started
✅ 참고코드3: https://www.kaggle.com/code/edwardcrookenden/otto-getting-started-eda-baseline

✅ 잠시 기록해두는 EDA Guideline 참고 사이트들

• https://medium.com/bondata/%EC%B4%88%EC%8B%AC%EC%9E%90%EB%A5%BC-%EC%9C%84%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%8B%9C%EA%B0%81%ED%99%94-eda-%EA%B0%80%EC%9D%B4%EB%93%9C%EB%9D%BC%EC%9D%B8-%EC%8B%A4%EC%8A%B5-62d11f93e17e
• https://www.kaggle.com/code/himansh96/eda-e-commerce-dataset

✅ 효준오빠가 UNIX TIMESTAMP 전처리와 click, cart, order에 해당하는 'TYPE' label을 0, 1, 2 numeric 데이터로 mapping 해주는 작업을 하고 3개의 샘플로 분할한 csv 파일을 보내주었다. EDA 많이 안 해봐서 참고 코드 Review를 자세히 해보는 것부터 해봐야겠다.

---

✅ 참고 코드 1 Review & 따라해보기

1. Event, Unique Sessions, Unique Products, Clicks, Carts, Orders의 Number을 계산해본다.
📌 주의할 점 : Unique Sessions과 Unique Products를 계산할 때 중복을 제거해줘야 한다.

2. Actions - Clicks, Cart, Order의 개수를 Count하여 히스토그램으로 시각화한다.

3. Training Data에서 기록된 Session의 기간을 살펴본다.

4. 가장 많이 등장한 Aid(Product)의 종류를 알아보고, 얼마나 등장했는지도 포함하여 시각화한다.

📌 위의 방식은 Click, Order, Cart 모두 포함하여 Aid의 빈도를 계산한 것이다. 아래와 같은 형태로 해서 위와 비슷한 과정을 거치면 Click event에서 가장 많이 등장한 Aid, Cart event에서 가장 많이 등장한 Aid, Order event에서 가장 많이 등장한 Aid를 계산하고 시각화할 수 있다.

df_train_aids_by_types  = df_train.groupby(['type', 'aid'])[['aid']].count()

df_train_click_aid_counts = df_train_aids_by_types.loc[0].rename(columns={'aid': 'count'}).reset_index()
df_train_cart_aid_counts = df_train_aids_by_types.loc[1].rename(columns={'aid': 'count'}).reset_index()
df_train_order_aid_counts = df_train_aids_by_types.loc[2].rename(columns={'aid': 'count'}).reset_index()

5. 세션에서 Click, Cart, Order이 어느 정도 비율로 존재하는지 계산해본다.
📌 아래 코드를 돌리는 중인데 자꾸 코랩이 터진다. 슬프다. 어찌 저찌 성공했다. 만세😋😋 나도 코랩 프로 그냥 돌리고 싶어진다. 3학년 때는 정말 필수일지도 모르겠다.
📌 0은 Click이고, 1은 Cart이고, 2는 Order이다. 왜 합이 100%가 아닌지 Reference에 아래처럼 나와있었는데 완벽히 이해가 되지는 않는다.

In training set 93% of sessions are clicks, 16% of sessions are carts and 10% of sessions are orders on average. Those numbers don't add up to 100 because they are averages calculated on all sessions. They have 12, 10 and 8 standard deviations respectively

6. 이후에 모델링 과정에서 발생할 수 있는 문제가 있다는데?
📌 일전에 1110 회의에서 효준오빠가 말했던 내용이 여기서도 있는 것 같다. 아래는 Reference에서 나온 내용을 그대로 옮긴 것이다. 이것만 읽어서는 솔직히 정확히 이해는 안 간다. 일단 기록해둬야겠다. 👀👀

Some of the sessions might not have any clicks, carts or orders but the statistics below doesn't include their missing event types. The highlight is, some of the sessions in test set can only have clicks, carts or orders, but training set sessions are more heterogeneous. Homogeneous sessions in training set are click-only sessions. This discrepancy could be a problem during modelling.

📌 Reference에서 다른 문제 두 가지를 또 제기하는데 이것도 이해는 안가지만 복붙해보겠다.

• Cart와 Order로 시작하는 1% 미만의 극소수 세션들이 잘려나갈 수 있다는 문제가 있다.
• truncation 때문에 테스트 셋의 세션들이 Order로 덜 끝나게 된다?

Another important thing to consider is how sessions start and end. There are two interesting things here. First, sessions are supposed to start with clicks but very few of them start with carts or orders. Those sessions are less than 1% and they might be truncated from their beginning so they could fit into the selected time frame. The other thing is, sessions in test set are less likely to end with an order because of the truncation. Truncated timesteps in test set are more likely order events.

📌 이후에 Reference에서 Ground Truth에 관한 내용이 나오는다. 잘 모르겠다. 이게 뭐지?
그냥 어떤 session에 있어서 Click, Cart, Order의 현황을 살펴본 표인 것 같다. 일단 패스하겠다. Evaluation과 관련된 부분도 아직은 패스하겠다.

---

🗓️ 1114

✅ 참고 코드 2 Review & 따라해보기

1. 각 세션의 평균 시간 확인하기
📌 Reference에 나와있는 평균 시간을 구하는 코드는 Unix timestamp를 기준으로 되어있어서, str 타입으로 변환된 ts 열은 조금 추가 과정을 거쳐서 구간의 길이를 구해야한다. 코랩아 터지지 말아.. 아싸 성공했다!!! 😍😍😍

📌 0분대에 가까워보이는 Session이 너무 많아 보인다. 그래프를 조금 확대해서 그려볼 수 있을까? : 0분에서 1분 사이

📌

📌 구매한 사람 평균 세션 시간 어떻게 하지 => 아직 못함
📌 구매하지 않은 사람 평균 세션 시간 어떻게 하지 => 아직 못함

✅ 회의 기록

📌 Notion 회의록

📌 개인 메모 내용

EDA 목적성?, 예측 관련?
각자 생각해 온 방법론..?..?..?..?
1) CF => 상품 185만개, 이억이백만=.., aid 칼럼에 넣어놓고 type에 점수를 넣어서 계산 or 단순 넘버링
상품에 대해 몇번 관심을 가졌는지.
이후 사용자들끼리 코사인 유사도 계산 => k명 유사 사용자뽑고 가장 빈도가 높은 거 등등 위주로 상품 뽑기
코사인유사도-> 우리가 임의로 점수매기긴 하지만 정확도만 높으면 장땡? 1:3:10으로 배분하는 등의 방법
: 가장 기초, 메모리 용량 너무 커. 코랩 프로 플러스?! 기초 CF는 이렇게
multi-objective : 예측할수있는게 type뿐이다.
2) 후보군 생성해서 Ranking 매기기 => 특징이 잘 나타나있는지 아직은 잘 모르겠다.
클릭한 데이터가 1억9천6백만
직접 카트에 천육백만
시킨게 5백만
카트에담은게 오더링되었는가가 중요. 카트에 안 담았는데 시킨 사람이 있다. 바로 담거나 or 오류?
co-visitation candidate generation : cart-ordering했다는걸 matrix
이전 구매, 재구매 데이터 -> 5백만 시킨거 기준?
후보군->랭킹->유사한 상품 매겨져서 그거 기준으로 추천
데이터 양이 줄어든다는 장점. 데이터 양을 줄여야하니 과적합..보다는 과소적합? 장점이자 단점.
3) 모델 기반. 모델 하나 정해서 그냥 돌려버리기. 전처리가 중요하긴 할 것 같다.
시간이 길면 길수록 쇼핑을 많이 한 사람들?
시간이 짧으면 필수적인 걸 바로 바로 사 간 사람들?
user 베이즈드로 가면 -> 시간이 중요?
시간-> 요일?
이커머스-> 주차마다 요일마다 사람들이 사는 게 다르다는 방법론. 일요일에는 평일필수품. 금요일에는 소비재.
=> 첫 번째 방법 :
CF. Matrix 구성. Time을 2개로 분할. 각 세션마다 컬럼이 3개가 나오게.
요일 0~6, 오전/오후/야간, type별 점수나 count로
한 상품마다 3개가 나올 수 있도록 구성.
칼럼이 555만개
1300만500만

• 시계열 처리 및 분할
  get_dummies label encoder
  요일(0~6), 야간/오전/오후(0,1,2)
  사이킷런에서 지원해준다.