🗓️ 1109

❇️ 11월 7일 쿠다 관심분야 프로젝트 학습 주제가 정해졌다. 효준오빠, 수진이, 예지와 함께 Kaggle OTTO 대회에 참여하기로 하였다. 그리고 11월 9일부터 프로젝트 준비 기록 과정을 남기기로 했다. 화이팅 !-! 💪

✅ 대회 안내 링크 : https://www.kaggle.com/c/otto-recommender-system

✅ 대회 데이터셋 링크 : https://github.com/otto-de/recsys-dataset

🐸🐸 태형오빠한테 전화와서 효준오빠랑 같이 술먹자해서 걍 관두었다. 🐸🐸

---

🗓️ 1110

❇️ 오늘은 비대면으로 오후 10시에 간단한 회의가 있었다. 데이터셋 열람과 향후 진행 계획에 대한 간단한 설명이 있었다.

✅ "train.jsonl" 파일이 어떻게 구성되어있는지 확인할 수 있는 부분이다. session id는 user id에 해당한다고 생각하면 된다.

✅ 유닉스 시간은 시각을 나타내는 방식이다. POSIX 시간이나 Epoch 시간이라고 부르기도 한다. 1970년 1월 1일 00:00:00 협정 세계시 부터의 경과 시간을 초로 환산하여 정수로 나타낸 것이다. (위키백과)

✅ Notion 회의록

📝 회의 당시 효준오빠가 설명해준 부분을 받아적은 기록.txt 📝
✏️ 데이터셋 분할 방식
후보군 선택 -> 전처리 방식에 따라 선택
랭킹-> 뽑은 후보군을 순위를 뽑는다. 3가지 방식.
✏️ 데이터 전처리
세션 빠져있는 데이터 ->차후에 논의. 언제 집계했는지에 따라 시간이 갈린다.아무런 클릭 없이 주문했다고 뜨는 경우 있다. EDA 이후로 진행할 예정.
✏️ 어떤 추천 알고리즘을 쓸 것인지
OTTO - multiple objective 다목적성 : 예측하는 y labeling이 여러개.
unique 사용자에 대해 뭘 클릭하는지 살 지 말지 등을 종합적으로 예측, 예측 총 4가지
aid값 추정을 위해 event 기반으로.
✏️ EDA 데이터 접근 이후에. 각자 EDA해서 데이터 분포. EDA 할 때 나오는 특성 바탕으로 후보군 선택하는 것도 괜찮을 것 같다.
✏️ Reference를 보니 클릭한 상품의 구매 비율이 높아 동시에 방문한 사람들을 행렬에 넣어놓고 일반화해서 랭킹을 매긴 경우 있다 (co-visitation).
✏️ 후보군 생성 안하고 돌려도 괜찮지만 시간이 너무 오래걸린다. 후보군 생성 필요할 것 같다.

✅ 다음 회의는 11월 14일 19시 대면으로 진행할 예정이다. 준비는 주말 포함해서 해야겠다. 오늘은 끝.

---

🗓️ 1111

❇️ 10일 진행했던 회의 내용을 바탕으로 준비를 시작한다. EDA를 위해서 화이팅 !-! 💪💪

✅ Candidate Generation (후보군 선택)

✏️ 출처 : https://developers.google.com/machine-learning/recommendation/overview/candidate-generation
✏️ 후보 생성은 추천의 첫 번째 단계이다. 쿼리가 주어지면 시스템은 관련 후보 집합을 생성한다. 아래 표는 두 가지의 일반적인 후보 생성 방법을 보여준다. 컨텐츠 기반 필터링은 사용자가 좋아했던 아이템을 기반으로 추천하는 방법, 협업 필터링은 비슷한 성향을 지닌 다른 사용자를 기반으로 아이템을 추천한다.

✏️ 지난 회의록 내용을 가져와보면 이 대회의 경우에는 다음 후보군 선택 방법을 떠올릴 수 있다.
-이전에 구매한 아이템(previously purchased items)
-재구매된 아이템(repurchased items)
-전반적으로 가장 인기있는 아이템(overall most populat items)
-군집화 기술의 일종을 사용하여 찾은 비슷한 아이템(similar itmes based on some sort of clustering technique)
-co-visitation 행렬 같은 기타 방법을 기반으로 찾은 비슷한 아이템(similar items based on something such as a co-visitaion matrix)

✅ EDA : Exploratory Data Analysis ( 탐색적 데이터 선택)

✏️ 출처 : http://bigdata.dongguk.ac.kr/lectures/EDA/_book/section-14.html

✏️ 통계학자인 John Tukey (1977)가 그의 저서 Exploratory Data Analysis에서 처음 도입하였다. EDA의 목적은 데이터를 분석하는 분석자의 가설을 정형화하고 세분화하는 것을 돕기 위함이다.

✏️ EDA의 핵심 목표 4가지는 다음과 같다.

• 관측된 현상의 원인에 대한 가설을 제시
• 적절한 통계 도구 및 기법의 선택을 위한 가이드
• 통계분석의 기초가 될 가정을 평가
• 추가 데이터 수집을 위한 기반 제공

✏️ EDA의 주요 내용은 본격적인 데이터 분석에 앞서 데이터의 주요 특성을 요약/시각화하는 것이다.

• 관측치들의 패턴 탐색
• 잘못된 자료들을 탐색
• 연구 가설의 설정 / 연구의 가정을 검토
• 변수들간의 관계 파악

✏️ 평균(Mean), 중앙값(Median), 최빈값(Mode), 표준편차(Standard Deviation), 분산(Variance), 사분위수범위(Interquartile Range), 첨도(Kurtosis), 왜도(Skewness)와 같은 수치적인 방법이다.

✏️Histogram, Density estimation, Quantile-quantile plot, Box plots, Scatter plots과 같은 종류의 그래프로 시각화하는 방법도 있다.

✅ Kaggle Notebooks 둘러보기 (1) : OTTO - Getting Started

✏️ 출처 : https://www.kaggle.com/code/edwardcrookenden/otto-getting-started-eda-baseline