별점 예측(2)
- Latent Factor Model
Factor Model
- 사용자와 아이템을 요소(factor)들로 나타낼 수 있다고 생각
- 아이템, 유저의 구분 없이 정해진 주제로 하나의 좌표(벡터)로 표현하는 것
Laent Factor Model
- 아이템이나 유저를 표현할때 주제가 정해지지 않았음
Matrix Factorization
- 사용자와 아이템을 같은 차원의 공간에 매핑(같은 차원의 벡터로 표현)
- 벡터들을 내적해서 주어진 평가 정보가 나오도록 벡터들을 학습시킴
- 여러개의 linear 리그레이션을 동시에 여러개 하는 것과 동일하다고 생각할 수 있음
- 이미 가지고 있는(별점이 평가되어있는)값만 사용해서 벡터를 학습하고 학습이 완료된 벡터를 사용해서 빈칸을 예측해야함
- Training, Test
- 벡터가 잘 학습되었는지 검증하기위해
- 학습전에 Trin, Test데이터로 분류하고 train데이터로 먼저 학습한 뒤 test데이터로 검증해봄
- Overfitting
- train데이터에 과도하게 맞추어 train을 못 맞추는 현상
- Regularization으로 해결
- 벡터가 너무 큰 값을 가지지 않게 줄이는 것
- L2 norm = 각 벡터의 제곱의 합을 구한 후 1/2제곱(루트)
- Ln norm - n제곱의 합의 1/n제곱
- 결과적으로 차원에서 원점에 멀리 떨어져있는 아이템이나 유저를 끌어오는 역할
Global baseline Estimate + Latent Factor Model
KMU SW