서론
구성요소
전체 article 에서 small subset 추출
rank system 으로 k개의 뉴스 추천
user behavior 기록
[ news recommender 에서 제기되던 문제 ]
- short life cycle
- 새로운 기사들이 뜨면 이전 기사들은 빠르게 사라짐
- 이로인해 cold start problem 유발
- contextual information 의 정확한 습득 필요
- nlp 적 테크닉 요구
- rating 과 같은 explicit 피드백이 없으므로 click 과 같은 implicit 정보로 부터 학습
Personalized News recommendation 의 framework
- 기존의 non-personalized 와의 차이점은 individual user의 interest가 추천에 반영된다는 것이다.
- 기존에 하던 방식대로 content-based, collaborative filtering-based, hybrid 이런 식으로 나누면 신기술을 오래된 것과 같은 그룹으로 구분해버린다는 문제점이 발생
- ex) content based 방식에 전통적인 semantic based 방식, contextual bandit based 방식, deep learning 기반 방식이 한 데에 묶일 여지가 있음
새로운 구분 기준을 위한 프레임워크 제시
- news modeling : news 가 어떤 content를 포함하고 있는지 이해하기 위한 필수적인 요소
- user modeling : 개인 news에 대해 갖는 personal interest를 캐치해 내는 것이 중요함
- ranking candidate news : 1, 2 를 통해 학습된 relevance를 기반으로 candidate news들에 대한 순위를 매기는 것이 중요
추가) responsible news recommendation 에 대한 중요성?
잠시 딴생각 ..
user modeling 을 위해 contrastive learning을 도입 후 clustered 된 user들에 하나의 PBRL 을 적용 후 이를 기반으로 한 ranking system 도입 (2,3 번에 대한 기여를 할 수 있을 것으로 예상)
장점 ) PBRL 을 적용하기 위해서는 많은 dataset이 필요한데 하나의 유저에 대해 하면 데이터가 부족하기 때문에 불가능한 학습 방식이지만 이렇게 되면 가능하다
News Modeling (2.1)
two kinds of techniques
- feature based news modeling
- represented by their IDs (예전 뉴스들이 없어지고 새로운 뉴스들이 등장하는 환경에서는 cold-start 문제에 시달릴 수 있음)
- 단어의 개수를 세는 hand-crafted 방식들이 존재
- deep learning based
- nlp 의 발전으로 content를 효과적으로 표현할 수 있는 방법들이 생겨남
Feature based 는 스킵 .. (3.1)
Deep learning based News Modeling (3.2)
비교적 초창기
- Embedding based news recommendation : denoising autoencoder를 사용해 news representation 을 배운다
- RA-DSSM, DSSM, Reference : doc2vec 을 통과시켜 representation을 만든 후 two layer mlp 를 통과시킨다
한계) semantic info 를 잡아내기가 힘들다
한단락 건너뛰고
pre-trained LM 사용하는 방식
- PLM-NR : multilingual news recommendation 을 위해 다른 PLM 사용
- UNBERT : BERT model input에 news text concat을 시킴
semantic 외에 추가적인 정보를 사용한 경우 (+ entity, keyword)
- DAN : new title 과 entity 각각에 parallel CNN network 사용해서 학습
- entity 사이의 knowledge graph를 만드는 방법
topic category 와 tag를 포함시키는 방법
context feature를 사용하는 방법
- news 의 인기도 정보를 응용
- 한계 ) 실제 상황에서 near-real-time CTR이 불가능할 확률이 높음
graph - based 방식도 있음
Discussion on Deep learning based News Modeling (3.3.2)
import feature를 고르기 위한 transformer-like 구조들이 소개되고 있고 pre-trained network로 보다 정확한 추출이 가능하다
한계) semantic info는 잘 잡아내지만 뉴스에 encoded 된 knowledge나 commonsense information 을 잡아내지 못한다.
category 나 ctr 정보등을 활용하는 방법도 있지만 정보가 주어지지 않을 경우 어려울 수 있다
User modeling (2.2)
- feature based
- Latent Dirichlet Allocation : concatenate news title + summary + body
- average all the clicked news into a vector
- deep learning based
- GRU network to learn from clicked news
- personalized attention network
- hierarchical user interest representation
4.1 Feature based User modeling
news modelig 과 마찬가지로 Id 만 사용해서 modeling 할 경우 sparsity 가 문제가 되는 현상 발생
직관적인 방법으로 news click 정보들을 이용해 user feature를 만드는 방법이 있음
또한 user 를 segment 로 묶어 처리할 수도 있고 demographic info 를 활용해 표현할 수 있음
click 이 항상 양의 preference를 나타내는 것은 아니므로 ⇒ 이 부분을 detect 할 수 있는 방식도 추가하면 좋을 것 같음
머무리는 시간등과 같이 click 이외의 요소들을 추가하는 경우도 많음
4.2 Deep learning based user modeling
- 과거 클릭 정보들에 대한 representation 을 aggregate 하는 방식에 집중
- recent click에 높은 가중치는 주는 방식으로 represent
- attention network 를 활용해 clicked와 candidate news를 aggregate 하는 방법
- 계층적으로 interest topic 을 구분하여 분리하는 방법
- RNN을 사용해 과거 interaction 정보를 feature화 시키는 방식이 많이 사용됨
- news recommendation 은 기존의 sequential representation과 다르게 past와 future clicked news 사이에 diversity 에 강한 preference를 두고 있다는 점에 주의해야 한다. ㄴ
Personalized Ranking (2.3)
기존 많은 방식들 : user interest와의 상관 관계를 통해 순위를 매김
→ 그러므로 relevance를 계산하는 것이 주요 문제가 될 것
예시 : candidate news와 clicked new 사이의 cosine similarity를 계산
뉴스와 사용자 사이의 embedding 사이의 inner product를 구해서 점수를 매기고 점수를 기반으로 순위 부여
SVM 모델을 사용해서 사용자의 관심도와 뉴스 정보를 통해 클릭 여부를 결정
최근)
- 후보군 뉴스들과 클릭된 뉴스들 사이의 relatedness 를 conv 이용해 계산
- 한계) 이전에 클릭된 뉴스들과 계속 비슷한 뉴스를 추천하는 filter bubble 문제를 야기
강화학습 이용한 방법)
- contextual bandit을 이용해 user interest 관련 기사들과 exploration을 이용해 다양한 추천을 가능하게 함
- deep RL을 이용한 방식으로 long term reward를 최대화 시킴
- 추가적으로 exploration을 위해 dueling bandit gradient descent 방식을 사용
- current 클릭 확률보다 long-term reward를 최대화시켜 filter bubble 문제를 해결한다
5.1 Relevance based personalized ranking
이 방식은 candidate news와 user interest 사이의 relevance를 계산해서 나타낸다.
대부분의 방식은 직관적으로 이 둘 사이의 final representation을 바탕으로 relevance를 계산
한계) 사용자 interest 는 대부분 diverse 하며 candidate news는 사용자의 과거 click 흔적에 기반해서만 평가받게 된다.
filter bubble problem : user interset 와 높은 relevance를 보이는 뉴스를 추천하게 되면 이전에 클릭했던 것과 계속 비슷한 뉴스를 보여주는 filter bubble problem 을 겪게 된다.
대안)
- previously clicked 된 뉴스와 비교해서 novelty가 어느정도인지에 따라 가산을 주는 방식
- 원래 하던대로 relevance 바탕으로 점수를 매기고 다시 뉴스 자체의 인기도와 최근 여부를 바탕으로 순위 제안
5.2 Reinforcement learning based personalized ranking
Model Training (2.4)
news 추천 환경에서는 rating과 같은 명시적인 지표들이 굉장히 sparse 하기 때문에 click을 이용한 implicit한 방식을 사용한다
- 한계) click 정보는 heavy noise를 포함하고 있어 user interest를 충분히 반영하고 있지 않을 수 있다
클릭 외에 다른 정보를 활용한 예시
- reading speed를 통해 유저의 만족도를 click preference와 함께 예측
Evaluation (2.5)
대부분은 offline 상태에서 evaluation을 하는데 online에서 측정할 수 있는 방식이 필요하다
Dataset and Benchmark (2.6)
Use MIND dataset maybe?
Responsible News Recommendation (2.7)
filter bubble 문제랑 fairness 문제에 대한 고려 필요?
