마지막으로 앞서 소개한 IDCL 모델의 실험 결과와 의의이다.

4 Experiment

4.1 Experimental Settings

Datasets

• 3가지 데이터 셋
  • 서로 다른 규모의 두 개의 MovieLens 데이터셋
    • 하나는 MultiVAE, 다른 하나는 MacridVAE 분할 방법을 따름
  • Mobile Meituan App1의 플랫폼 추천 시스템에서 MtBusiness라는 데이터셋
• 훈련/검증/테스트 세트로 나누고 → user-item interaction 중 50%를 무작위로 선택

Baselines

• IDCL 비교군이 되는 베이스라인
  • NGCF, LightGCN, NCL → 인기있는 GNN 기반 추천
  • MacridVAE, DGCF → disentangled recommendation

Evaluation Metrics

• top-K 추천 성능을 평가하기 위해 → all-ranking 프로토콜 사용
  • K는 {20, 50, 100} 중 하나, 5회 실행의 평균 점수와 표준 편차
• Recall@K & NDCG@K

Implementation and hyper-parameters

• Pytorch 기반
• 모든 데이터셋에 대해 고정된 훈련/검증/테스트 분할을 사용하여 실험
• 모든 베이스라인은 추천 알고리즘의 통합 오픈 소스인 RecBole 3를 사용하여 하이퍼파라미터를 조절
• Adam optimizer
• random search

4.2 Overall Performance

• IDCL과 베이스라인 성능의 비교 : 모든 베이스라인과 비교할 때 IDCL이 모든 데이터셋에서 SOTA 달성

4.3 Independence Analysis

Are different intents in user behaviors independent of each other?

• 같은 의도에 속하는 표현끼리 군집을 이루고 다른 의도의 표현은 서로 독립적
• IDCL이 서로 다른 의도를 독립적으로 만들어서 행동 표현의 중복을 피함을 시사

Are IDCL able to disentangle user representations?

• 실제 IDCL의 disentangle 작업은 행동에만 적용되지만 IDCL을 분석하기 위해 디센탱글링된 사용자 표현을 학습하는 데 도움이 되는지 확인하는 파트
• 모든 사용자 표현도 K 부분으로 나뉘어지며 Zu = [Zu,1; Zu,2; ...; Zu,K]이고 각각은 동일한 의도를 나타내는 그룹을 나타냄
• 각 의도에 대해 무작위적으로 샘플링한 뒤 각 의도 간의 코사인 유사성을 시각화 → 명시적 디센탱글링이 없더라도 학습된 사용자 표현이 명확한 디센탱글링 구조를 가지고 있음을 확인
• 이는 IDCL의 그래프 인코더가 user-item 그래프에서 독특하고 유의미한 의도 차이를 분리할 수 있다는 것을 시사

4.4 Explainability Analysis

Does the learned representations of intent k capture the semantic of kth intention?

• k번째 의도 표현에 따라 두 표본 공간이 겹치지 않는 하위 집합으로 나뉘는지에 대한 분석
  • 이분법적으로 k번째 의도에 주도된 행동인지 아닌지에 대한 판별
  • 행동의 분포를 계산하여 의도 k에 대한 확률이 상위 3위라면 파란색으로 나타냄
  • 결과에서의 포인트는 파란색과 보라색의 거리 차이 → 명확하게 구분한다
    • 이는 Δd 차원의 행동 표현에 대한 임베딩을 기반으로 user가 의도 k를 가지고 item을 선택할지 말지에 대해 모델이 판별할 수 있다는 의미(실험 해석)

Is the learned user behavior distribution interpretable?

• 학습 결과로 나온 행동 분포가 실제 user와 item의 edge를 어떻게 설명할 수 있는가

• 세 영화를 모두 시청한 두 사용자를 분석
• 각 유저의 행동을 16개의 의도로 분리하고 각 의도에 대한 확률을 원형 그래프로 나타낸 자료
• 결과
  • 유사한 테마의 영화를 시청하는 사용자는 유사한 행동 분포를 보인다
    • user1의 경우 두번째, 세번째 (두 영화 모두 adventure, fantasy 계열) 그래프 양상이 유사
    • 그러나 user1의 첫번째 영화에 대한 (코미디) 그래프 양상을 보면 아래 두 그래프와 양상이 다름
  • 서로 다른 사용자가 동일한 영화를 시청하더라도 IDCL은 사용자 개성을 반영하여 서로 다른 원형 행동 분포를 보임
    • 두 사용자의 첫번째 영화 선택에 대한 의도 그래프가 서로 다른 것을 확인할 수 있음 → 실제 추천 시나리오와 일치했음
    • 사용자의 관심 분포가 사용자 개성 뿐만 아니라 item의 특성에도 의존함을 입증함

4.5 Ablation Studies

• Variant A: IDCL에서 의도별 대조 손실을 제거
  • IDCL이 모든 데이터셋에서 추천 성능이 높다
  • 이는 논문에서 제시하는 모델이 user-item의 표현을 더 잘 추출한다는 점을 의미
• Variant B: IDCL에서 코딩 비율 감소 정규화를 제거
  • CR이 제거된 경우 행동이 몇 가지 의도에 집중되는 경향이 나타남
  • CR이 학습된 행동 특징의 차원 다양성을 향상시킴을 입증

5 Conclusion

• user의 의도를 해석하고 행동 분포를 추론하고자 IDCL을 제안
  • 이 과정에서 behavior disentangling module을 설계했음
  • 의도 별로 대조 학습 모델을 적용하여 의미와 행동 분포를 추론
  • coding rate reduction regularization을 사용하여 다른 의도의 행동과는 독립성을 유지하도록 함
• 실험 결과는 IDCL이 추천의 성능을 상당히 높였다는 것을 입증

최종 논문 리뷰 소감

사용자가 왜 그 item을 선택했는지에 대한 알고리즘을 보면서
향후 "맞춤형" 관련한 AI 모델 논문을 추가적으로 읽으면서 공부하려고 한다.

논문을 리뷰하면서 앞으로의 공부 방향성이 명확해지는 것 같고
논문에서 소개되었던 임베딩을 통해서 의미를 파악한 기저 벡터 추출 방식에 대해서도 더 공부해보고 싶다.

이번 학기 논문 리뷰도 이렇게 마무리하고
겨울 방학때 또 다시 읽어야겠다.
기말고사... 한학기 잘 마무리하자!