[Causal Inference] Mediation modeling at Uber

안녕하세요! 오늘은 Causal Inference 방법 중 하나인 Mediation modeling에 대해 알아보겠습니다. 우선 처음으로 Mediation이란 조정, 중재, 매개라는 의미로 Mediation modeling 방법은 이러한 매개를 검증하는 모델링 방법입니다! 조금 더 쉽게 말하면 인과 관계에서 "왜 이러한 인과관계가 발생하였는가?"를 탐색하는 방법입니다.

실제로 저는 Causal Inference와 관련된 Graphical model을 전공하였고 이러한 내용들을 공부하면서 어떻게 실제로 쓰일 수 있을까에 대한 고민을 굉장히 많이 하였던 것 같습니다. 이러한 배경으로 Uber Engineering에 게시된 Mediation modeling at Uber (https://eng.uber.com/mediation-modeling/)를 굉장히 재밌게 읽었고, 이에 대한 내용을 조금 더 이해하기 쉽게 정리해보고 공유하고자 글을 작성하게 되었습니다. 대부분의 내용을 이해하기 쉽게 번역하였고, 이해가 어려운 부분은 쉽게 풀어 썻으며, 약간의 설명을 추가하였습니다.

Knowing Whether v.s. Understanding Why

Uber에서는 더 나은 사용자 경험을 제공하기 위해 한 변수가 다른 변수에 영향을 미치는지 여부를 테스트하는 실험을 자주 수행한다고 합니다.

Uber에서는 왜 두 변수가 연관되어 있는지에 대한 가설을 가지고 있다고 합니다. 예를 들면,

• 신규 탑승자의 첫 몇 번의 여행에서 신규 탑승자의 여행 할인을 제공하는 프로모션이 신규 탑승자 재방문을 향상시킬 수 있다고 할때, 기존의 분석은 이 프로모션이 새로운 라이더 재방문을 높이는 데 도움이 되었는지는 알 수 있지만, 그 이유는 알 수 없습니다.

• 새로운 승객들은 첫 탑승 요금이 인하로 인해, 다시 앱을 재방문하게 될까요? 아니면 그 프로모션이 새로운 승객들이 앱에 익숙해질 수 있도록 하였기 때문일 수도 있고, 아니면 완전히 다른 무언가가 존재 할까요?

기존의 분석에서 기본 메커니즘(어떤 일의 발생 원인)은 존재한다고 가정하지만, 데이터로 실험되지 않습니다.

우리는 두 변수가 연관되어 있음을 일부 입증할 수 있지만, 왜 그것들이 연관되어 있는지 명확하게 이해하지 못할 수 있고, 그 이유를 이해하지 못하기 때문에 여러 시행착오에 의존하게 됩니다. 하지만 이러한 원인을 파악하는 것은 Uber에도 똑같이 중요한데, 원인을 파악함으로 써 사용자들을 위해 더 나은 서비스를 제공할 수 있습니다.

예를 들어, 위의 예에서 새로운 탑승객이 앱에 대한 익숙함으로 인해 Uber 앱을 재방문한다는 것을 알게 되었다면, Uber는 프로모션이나 서비스를 제공할 때 탑승객들이 앱을 사용하도록 하여 앱 사용에 익숙해 질 수 있도록 우선순위를 정해야 합니다.

Mediation modeling: opening the black box

Mediation modeling은 treatment와 결과 변수 사이의 블랙박스를 열어 근본적인 메커니즘, 즉 어떤 일이 발생한 이유를 밝히는 것입니다. 이 방법은 학계에서 이론적으로 많이 연구되었지만 비즈니스에서 크게 이용되지 않습니다. 인과적 가정이 있을 때, 그것을 그대로 두거나 상관관계에 대한 입증만을 보는 것이 아니라, Mediation modeling을 통해 두 변수 사이의 인과 경로를 실험을 통해 테스트(논리적인 추론) 할 수 있습니다. 여기서 중요한 것은, 테스트를 바탕으로 이러한 인과적 메커니즘을 이해하고 이를 통해 어떤 특징이 제품을 성공적으로 만드는 데 기여하는지 정확하게 파악할 수 있기 때문에 더 나은 서비스를 빠르고 효율적으로 개발할 수 있다는 것입니다.

그렇다면 서비스 개선을 위해 Mediation modeling으로 정확히 무엇을 할 수 있을까요? 아래 그림에서 몇 가지 샘플 가상 사례를 대략적으로 설명합니다.

1. Mediation modeling을 사용하여 제품의 가정을 테스트할 수 있습니다.

   예를 들어, 탑승 요금 인하 프로모션으로 새로운 승객의 재방문을 증가시킬 수 있다고 가정해봅시다(Figure 1a). Mediation modeling을 통해 이 가정을 경험적으로 테스트할 수 있습니다. 이러한 테스트를 통해 앞선 가정이 사실인지, 만약 그렇다면 다른 메커니즘(예를 들어, 앱에 대한 친숙함)과 반대로 감소된 여행 요금 때문에 얼마나 많은 효과가 있는지 알수 있습니다.

2. Mediation modeling을 사용하여 여러 메커니즘을 비교할 수 있습니다.

   가상의 예에서, Uber Eats 메뉴의 새로운 디자인이 둘 이상의 메커니즘을 통해 주문을 증가시킬 수 있다고 가정할 수 있습니다(Figure 1b). Mediation modeling을 통해, 이러한 각 메커니즘에 의해 처리 효과(즉, 주문 증가)가 얼마나 설명되고 어떤 메커니즘이 가장 큰 역할을 하는지 추정할 수 있습니다. 그 결과는 우리가 어떻게 제품을 설계하고 그들의 미래의 행동을 알 수 있도록 도와줍니다.

3. Mediation modeling은 소비자 정서 같은 정성적 변수를 특정 기능과 함께 비즈니스 지표에 연결할 수 있게 해줍니다.

   고객의 감정과 만족은 비즈니스의 성공에 매우 중요합니다. 그러나 비즈니스 영향을 정량화하기 어려운 경우가 많습니다. 그러나 Mediation modeling을 통해 이러한 변수가 다운스트림 비즈니스 메트릭스(KPI)에 어떤 영향을 미치는지 테스트할 수 있습니다(Figure 1c).

4. Mediation modeling은 장기 목표를 더 작은 중간 단계로 분할하는 창의적인 방법이 될 수 있습니다.

   예를 들어, 우리의 목표가 Uber에 대한 장기 탑승자 만족도를 높이는 것이라고 가정해봅시다. 어떻게 하면 이 목표를 일상 업무와 연계할 수 있는 작은 부분들로 나눌 수 있을까요? 이전에 탑승자 만족의 배후에 있는 핵심 Mediation을 식별했다면, 이 Mediation을 단기 핵심 성과 지표(KPI)로 활용할 수 있습니다(Figure 1d). 개입의 효과의 대부분이 특정 메커니즘을 통해 매개되는 경우, 주요 Mediation에 영향을 미치는 것은 개입이 작동하기 위해 필요한 (충분하지는 않지만) 조건이 될 수 있습니다.

다양한 사용 사례에서, 우리는 업스트림 및 다운스트림 변수를 식별하고 그것들이 어떻게 서로 연결되어 있는지 테스트할 수 있습니다. 다음으로, 한 단계 더 나아가 Mediation model의 세부 사항에 대해 알아보겠습니다.

Mediation modeling as causal inference

이 기술을 성공적으로 적용하기 위해, 우리가 추정하는 것은 정확히 무엇이며, 어떤 방법론을 가지고 있는가를 알아보기 위해, 아래의 그림에서 간단한 Mediation model을 알아봅시다!

이러한 모델에서 목표는 세 가지 효과를 추정하는 것입니다.

• The average direct effect (ADE): $c$

• The average causal mediated effect (ACME): $a b$

• The average total effect (ATE): $ab + c$

최근 몇 년 동안 연구자들은 인과관계 추론 측면으로 Mediation modeling을 이해하기 시작했다고 합니다. 이로 인해 Neyman, Rubin 등이 개발한 potential outcomes approach 과 같이 인과적 추론을 위해 개발된 공식 프레임워크를 사용하여 Mediation을 개념화할 수 있었습니다.

이 프레임워크가 어떻게 작동하는지 파악하기 위해 실험군에 속한 경우 $t$가 1이고 대조군에 속해 있는 경우 0인 결과값 $Y$와 조치 변수 $t$가 있다고 가정해봅시다. 이때 개별 탑승객 $i$에 대한 조치 변수 $t$의 결과값 $Y$는 $Y_i(t)$라고 합시다.

여기서, 실험군과 대조군 사이의 $Y$의 차이를 추정하는데 관심이 있는데, 개별 탑승객 $i$는

$Y_i(1)-Y_i(0)$

의 값으로 측정할 수 있습니다. 하지만 개별 탑승객은 보통 하나의 실험 상태에 있기 때문에 대부분의 경우 우리는 이 두 가지 결과값 중 하나만 관측됩니다. 따라서, 개별 탑승객 $i$가 실험군($t=1$)인 경우, 해당 개인에 대한 결과 $Y_i(0)$는 잠재적인 결과입니다. 즉, 발생할 수 있었지만 실제로 발생하지 않은 결과일 뿐입니다.

이렇듯 대부분의 경우 개별 treatment의 효과를 관찰할 수 없으므로, 다음과 같이 정의하여 그룹 수준의 평균 treatment 효과를 추정합니다.

$E[Y_i(1)-Y_i(0)]$

여기서 treatment 및 실험군에 따른 결과 $Y$는 그룹 수준 효과로 추정합니다.

이것이 Mediation modeling과 무슨 관계가 있을까요? 위의 프레임워크를 사용하여 세 가지 주요 조정 수량을 나타낼 수 있습니다. $M(t)$가 $t$의 잠재적 Mediation 값이라고 해봅시다. 그럼 다음과 같이 ATE를 정의할 수 있습니다.

ATE = $E[Y_i(1,M_i(1))-Y_i(0,M_i(0))]$

간단히 말하면 ATE는 실험군에서 실제로 효과가 나타난 것처럼 Mediation이 바뀔 때 실험군과 대조군에서 잠재적인 결과값의 차이입니다. 즉, Treatment에 대한 결과값의 평균적인 효과입니다.

앞서 언급한 바와 같이, Mediation modeling의 목적은 Treatment 효과를 평균 직접 효과(ADE)와 평균 인과 매개 효과(ACME)로 분해하는 것이다. 즉, ADE는 치료로 인해 Mediation을 거치지 않는 효과입니다. 따라서 Treatment를 변화시키면서 Mediation의 값을 고정하면 직접적인 효과만이 발생하며, 다음과 같은 식을 얻을 수 있습니다.

ADE = $E[Y_i(1,M_i(t))-Y_i(0,M_i(t))]$ $\quad for\quad t=0,1$

따라서, 우리가 Treatment에 따라 Mediation이 변하는 것을 제한하면, ADE는 결과에 대한 실험군의 추가적인 효과로 이해할 수 있습니다.

ATE값과 ADE값을 이용하면 ACME값은 다음과 같이 쉽게 얻을 수 있습니다.

ACME = $E[Y_i(t,M_i(1))-Y_i(t,M_i(0))]$ $\quad for\quad t=0,1$

ACME값은 Treatment상태가 고정되어 있으나 Mediation의 값이 각 Treatment에 따른 값을 가지는 경우에 발생하는 잠재적 결과값의 차이입니다.

이러한 정의의 이점 중 하나는 특정 모델을 참조하지 않는다는 것입니다. 결과적으로, Imai et al.과 같은 연구원들은 유효한 모델을 사용하여 Mediation의 양을 추정하는 알고리즘을 개발했습니다. 이것은 무엇보다도 우리가 비모수적 모델과 비선형적 모델을 사용하여 Mediation 그래프의 관계를 추정할 수 있다는 것을 의미합니다. 예를 들어, Hayes의 PROCESS 방법과 같은 전통적인 접근법에서 Mediation은 범주형 변수가 될 수 없고 결과 변수는 일반 최소 제곱 또는 로지스틱 회귀 분석으로 적절하게 모형화할 수 있는 것으로만 제한됩니다. PROCESS 방법에서는 Mediation과 결과 변수에 대한 제한으로 인해 이산 데이터를 모델링할 수 없으므로 Uber에서의 작업에 적합하지 않다고 합니다.

마지막으로, 잠재적 결과 프레임워크는 Mediation 효과에 대한 식별 가정을 수립할 수 있습니다.

Application example: support tickets

이제 고객 집착 팀(Custo\mer Obsession Team)과의 최근 분석을 통해 Uber에서 Mediation modeling을 적용한 구체적인 사례를 살펴보겠습니다. 운전자의 수익을 보여주는 그래프를 추가하면 지원 티켓(Support Ticket)이 줄어들었는지 알고 싶었습니다. 사용자가 지원 티켓을 적게 제출하도록 돕기 위해, Uber는 사용자가 티켓을 제출하는 이유를 이해할 필요가 있었습니다.

이전 실험에서 고객 집착 팀은 운전자 파트너의 주간 수익을 표시하는 그래프를 추가하면 수익에 대한 이해도가 상당히 높아진다는 것을 발견했습니다. 아래 그림은 실험군과 대조군의 UI를 보여줍니다.

이 분석에서 수익 이해도는 운전자들에게 5-scale 척도로 수익 정보를 얼마나 잘 이해하는지 묻는 조사를 사용하여 측정되었습니다.

Uber는 수익에 대한 이해가 수익 관련 지원 티켓의 중요한 행동 메커니즘인지 알고 싶었습니다. 즉, Uber는 수익 이해도를 향상시킴으로써 지원 티켓을 얼마나 줄일 수 있었는지 알고 싶었습니다. 만약 그렇다면, 수익 이해를 통해 Treatment의 효과가 얼마만큼 중재(mediated)되었는지를 추정하고자 합니다. (즉, 지원 티켓 감소에 대한 UI변경의 효과 중 수익이해를 통한 효과)

이러한 인과 관계에 대한 효과를 추정하기 위해 아래의 그림과 같은 개입(intervention)을 독립 변수로 하는 Mediation model (Mediation: 수익 이해, 결과 변수: 지원 티켓)을 사용하였습니다. 또한 운전자의 사전 실험 지원 티켓과 사전 실험 수익 경험(예: 이전 수익, 평생 여행 및 활동 일수)을 제어 변수로 포함시켰다고 합니다. (이 부분은 Support Tickets에 대해 Treatment와 Mediation으로 설명되지 못하는 부분의 error를 줄이기 위함으로 보입니다.) 마지막으로, Uber는 결과가 측정되지 않은 Mediation-Outcome confounder 에 대해 얼마나 강력한지를 결정하기 위해 민감도 분석을 실행하며 분석을 마쳤다고 합니다. (여기서 Outcome confounder는 mediation 과 outcome 사이의 관측되지 않은 latent variable으로 생각됩니다. 이러한 효과가 강하지 않아야 모형이 유효하기 때문입니다!)

Mediation model의 결과는 소득 이해도가 지원 티켓에 대한 중요한 메커니즘으로 전체 treatment 효과의 약 19%를 차지하는 것으로 나타났습니다. 그 결과를 바탕으로 수익에 대한 이해가 지원 티켓을 줄이는 데 얼마나 중요한 경로인지 더 잘 이해할수 있었다고 합니다.

(이러한 결과를 통해 지원 티켓을 줄이기 위해 수익 이해를 위한 다른 강력한 treatment를 이용할 수 있음을 알 수 있습니다.)

The future of mediation modeling

최근 몇 년 동안, 학술 연구자들이 고차원 데이터를 사용하여 자동으로 Mediation 선택을 수행할 가능성을 연구하고 있다고 합니다. 이러한 응용 에서, treatment와 결과 사이에 있는 잠재적으로 수백 개의 Mediation을 지정하고, treatment와 각 후보 Mediation 간 또는 각 후보 Mediation과 결과 변수 사이에 통계적으로 신뢰할 수 있는 연관성이 있는지 여부를 테스트합니다. 이러한 접근 방식을 통해 우리는 잠재적으로 treatment-결과 관계의 블랙박스를 세부적으로 풀어 나갈 수 있을 것이라 보고 있습니다.

Mediation model in R

해당 부분은 추후에 코드 정리해서 설명과 함께 업로드하겠습니다.