[Paper review] ESCM2: Entire Space Counterfactual Multi-Task Model for Post-Click Conversion Rate Estimation (SIGIR'22)

1. 요약

클릭 후 전환율을 정확하게 추정하는 것은 추천 시스템을 구축하는 데 있어 매우 중요하며, 이는 오랫동안 표본 선택 편향 및 데이터 희소성 문제에 직면해 있었습니다. 전체 공간 다중 작업 모델(ESMM) 계열의 방법들은 사용자 행동의 순차적 패턴, 즉 인상 → 클릭 → 전환을 활용하여 데이터 희소성 문제를 해결하려고 합니다. 그러나 이들은 여전히 CVR 추정치의 편향 없음을 보장하지 못합니다.

본 논문에서는 이론적으로 ESMM이 다음 두 가지 문제에 시달리고 있음을 보여줍니다: (1) CVR 추정에 대한 내재적 추정 편향(IEB), 여기서 CVR 추정치는 본질적으로 기본 진실보다 높습니다; (2) CTCVR 추정에 대한 잠재적 독립 우선 순위(PIP), 여기서 ESMM은 클릭에서 전환으로의 인과성을 간과할 수 있습니다. 이를 위해, 우리는 전체 공간 반사실적 다중 작업 모델링(ESCM2)이라는 원칙적 접근 방식을 고안했습니다. 이는 ESMM 내에서 반사실적 위험 최소화기를 정규화기로 사용하여 IEB 및 PIP 문제를 동시에 해결합니다. 오프라인 데이터 세트와 온라인 환경에 대한 광범위한 실험은 우리가 제안한 ESCM2가 내재된 IEB 및 PIP 문제를 크게 완화하고 기준 모델보다 더 나은 성능을 달성할 수 있음을 보여줍니다.

2. 기여 사항

이 논문의 주요 기여는 다음과 같이 요약된다:

1. 이 논문은 ESMM의 CVR 추정치에 내재된 편향을 엄격하게 입증하는 최초의 연구입니다. 이 주장을 뒷받침하기 위해 수학적 증명과 실험 결과가 제공됩니다.
2. 저자는 ESMM의 CTCVR 추정치가 잠재적 독립 우선 순위에 노출되어 있음을 보여줍니다. 이 주장을 뒷받침하기 위한 실험을 설계했습니다.
3. 저자는 인과적 관점에서 ESMM을 개선하는 첫 번째 작업인 ESCM2를 제안합니다. ESCM2는 ESMM에서 IEB와 PIP를 효과적으로 제거합니다. 광범위한 실험 결과와 수학적 증명이 우리의 주장을 검증하기 위해 제공됩니다

3. 방법

저자는 아래 그림과 같이 모델링을 한 후, 는 데이터 희소성을 완화하는 데 효과적인 다중 작업 학습 기법을 사용하여 ESCM2를 훈련시킵니다.

구체적으로, 학습 과정은 세 가지 작업으로 구성됩니다:
1) CTR 추정을 위한 경험적 위험 최소화기,
2) CTCVR 추정을 위한 전체적 위험 최소화기,
3) 그리고 CVR 추정을 위한 반사실적 위험 최소화기입니다.

경험적 위험 최소화기는 전체 인상 공간 𝒟에 걸쳐 CTR 추정의 경험적 위험을 최소화하는 것을 목표로 합니다. 그러나 이 접근법은 내재적 추정 편향(IEB)과 잠재적 독립 우선 순위(PIP)라는 문제를 겪습니다. 이에, 저자는 반사실적 위험 최소화기를 소개하고 ESCM2의 최종 학습 목표를 아래와 같이 도출합니다. $\mathcal{L}_{ESCM^2}=\mathcal{L}_{CTR}+\alpha_1\mathcal{L}_{CTCVR}+\alpha_2\mathcal{L}_{CVR}$. 여기서, $\mathcal{L}_{CVR}$로는 Inverse propensity score (IPS) 혹은 Doubly Robust (DR) 방법을 차용합니다.

4. 실험 결과

실험 성능 측정에 사용한 데이터셋은 아래와 같습니다.

• 산업 데이터셋: 산업 데이터셋은 우리 비즈니스의 추천 시스템에서 나온 90일간의 오프라인 로그에서 왔으며, 훈련, 검증, 테스트를 시간 순서대로 나누었습니다. 이후에, 훈련 세트의 부정적인 샘플을 다운샘플링하여 노출:클릭:전환의 비율을 대략 100:10:1로 유지합니다.
• 공개 데이터셋: 공개 데이터셋 알리바바 클릭 및 전환 예측(Ali-CCP)은 재현성 고려를 위해 관련 방법의 성능을 벤치마킹하는 데 사용됩니다. [25]를 따라, 모든 단일값 범주형 특성이 모델에 입력되며, 우리는 훈련 데이터셋의 10%를 무작위로 검증 데이터셋으로 보류합니다.

성능분석은 아래와 같습니다.

• 편향된 추정기들은 CVR 추정 작업에서 경쟁력 있는 성능을 달성합니다. 구체적으로, ESMM은 산업 데이터셋에서 0.754의 AUC를 달성하는 반면, Naïve와 MTL-IMP 추정기는 각각 0.751과 0.756의 AUC를 달성합니다. 기존의 경험적 증거[14, 27]는 ESMM이 단일 작업 학습에서 편향된 추정기들을 능가한다는 것만을 보여줍니다. 따라서, 우리 사례에서 ESMM의 더 나은 성능은 그것의 다중 작업 학습 패러다임에 기인할 수 있습니다.
• 대체로 편향되지 않은 기준 추정기들은 이 두 데이터셋에서 편향된 추정기들을 일반적으로 능가합니다. 예를 들어, MTL-IPS는 산업 데이터셋에서 두 메트릭에서 가장 좋은 성능을 달성하여 ESMM의 KS와 AUC를 각각 1.04%와 0.39% 향상시킵니다. 따라서 ESMM을 정규화하여 편향되지 않은 CVR 추정과 더 나은 순위 성능을 얻는 것이 유망합니다.
• 제안된 ESCM2는 다양한 최신 기준들에 비해 유의미한 개선을 달성합니다. 앞서 언급한 비교와 결합하여, 우리는 그 성능을 반사실적 위험 최소화기와 IEB 문제 없이 전체 공간 방법론의 효율성으로 인한 추정의 편향되지 않음에 기인한다고 생각합니다.

Real-world 에 대한 성능은 아래와 같다. 온라인 A/B 테스트를 통해 실험을 진행하였고 실제 CVR, CTCVR 성능이 개선된 것을 확인할 수 있었습니다.