(썸네일 출처: 넥슨 인텔리전스랩스)

본 시리즈는 넥슨 인텔리전스랩스 테크블로그에 올라오는 DATA, 머신러닝 분야의 포스팅된 글을 정리 및 실습해보려고 만든 시리즈입니다! 일주일에 하나씩 목표로 진행해 보려고합니다! (항상, 양질의 글을 올려주시는 넥슨 인텔리전스랩스 직원분들 감사합니다🙂.)

Uplift Modeling

첫 번째, 업리프트 모델링을 통해 게임 광고 전환율 향상시키기 입니다.

광고,마케팅에서의 업리프팅

제가 이해한 광고,마케팅에서의 업리프팅 모델을 한마디로 정의하면, "최적의 기회비용" 이라고 느꼈습니다.

이제 부터 "이탈유저 전환율"을 위한 광고 예산을 써야합니다. 광고 예산을 가성비 좋게 쓰려면 어떻게 해야할까요? 🤔

아무래도 모든 이탈유저에게 광고를 사용하는것 보다, 해당 상품에 관심이있는, 전환율을 이끌어 내기 쉬운 고객을 대상으로 해야 할겁니다. 또한 오히려 광고로 인해 부정적인 영향을 끼칠 고객들은 최대한 벗어 나야 하구요.

예를들어, 저희는 이제 이탈유저들의 복귀를 목표로 광고 마케팅을 진행할겁니다.
만약 광고의 핵심 key 가 "아이템 A를 지급" 이라면 아이템 A에 관심이 많은 유저들을 대상으로 하는게 맞을겁니다. 그런데 이런 구분 없이 광고를 싫어하는 유저들, 굳이 할 필요없는 유저들까지 광고예산을 사용하면 굉장히 기회비용이 떨어질겁니다!

위와 같이 접근할 대상과 피해야할 대상을 식별이 가능하게 해주는 것이 바로 업리프팅 모델 입니다.

업리프트 모델링의 전제는 설득할 수 있는 사람들에게만 마케팅 을 하는 것이 타당하다는 것인데요. 아래와 같이 선호, 비선호 성향을 기반으로 4개의 그룹으로 정의하고 있습니다.

업리프트 의 사분면

• Sure Things : 마케팅 개입(zero uplift)을 받았는지 여부에 관계없이 항상 제품을 구매하려는 고객입니다.
• Persuadables : 마케팅 개입(positive uplift)을 받았기 때문에 제품을 구매할 가능성이 더 높아진 고객입니다. 👉 목표대상!
• Sleeping dogs(or defiers) : 오히려 마케팅 개입(negative uplift)을 받았기 때문에 제품을 구매할 가능성이 낮아진 고객입니다. 👉 광고/마케팅 시 피해야할 대상
• Lost causes(or never-takers) : 마케팅 개입을 받았는지 여부에 관계없이(zero uplift) 제품을 구매하지 않을 고객입니다.

게임 광고에서 사용하는 업리프트 모델링

위 포스팅 에서는 아래와 같은 예시로 업리프트 모델을 사용하고 있었습니다.

진행 플로우

① 전환 기준 선정

해당 캠페인을 실시 할 때, 전환의 기준을 무엇으로 선정할 것인가? 입니다.
재구매, 게임복귀 등 여러가지 이벤트가 있겠습니다.

Point✔️ 전환은 개별 오디언스 단위로 발생해야하며, 개별 전환 여부를 데이터로 파악할 수 있어야한다. 예시의 경우 오디언스는 "이탈유저" 대상 , 전환기준은 "게임 복귀"

② 테스트 캠페인 진행

모델링을 하기 전, 광고 캠페인으로 인해 발생한 두 그룹 간의 전환율차이가 유의미한지 확인해야합니다.
이탈유저들을 두 그룹(타겟군, 대조군)으로 나누고, 타겟군에 한정해서 앞서 말한 "복귀시 A 아이템 지급"이란 광고를 집행 했다고 해봅시다!

사전 타게팅 광고를 집행 > 접속 로그 분석 > 게임 복귀 확인

" 이탈유저들중 타겟군에게만 광고 캠페인을 적용 하고, 접속 로그를 분석했더니, 게임을 복귀했군요 "
만약 이렇게 타겟군과 대조군의 차이가 있다면 '광고가 전환율을 유도할 것' 이라는 가설을 입증한 것으로 볼 수 있습니다!

Point✔️ 단!! 당연히 타겟군의 전환율이 대조군 보다 높아야 합니다. 우리는 광고,마케팅을 통해 "유저 복귀"를 목표로 하고 있는데 낮다면 오히려 부작용을 의심해야겠죠!

③ 모델링

가설을 입증했으니, 이 차이를 근거로 예측 모델을 생성해봅시다!

• 목표변수
  ② 테스트 캠페인 진행을 통해 얻은 정보는 광고 캠페인을 통해 획득한 유저별 전환 유무입니다. 즉, y label, 목표변수가 되겠죠.

• 설명변수
  인구통계, 접속, 과금, 이벤트 참여, 퀘스트 참여 등 해당 오디언스들의 정보

(전처리가 완료된 데이터프레임 예시)

모델학습

위 포스팅에서는 Two models approaches 모델 방법을 사용했는데요.
어떤 접근법인지 궁금해서 찾아보았습니다.

There are different Uplift Models existing. The Two-Model-Approach models the Uplift through the difference of the response probabilities in the Treatment and Control group. The response probabilities are calculated separately for each group, which leads to an approach based on two models (Radcliffe and Surry, 1999). link

타겟군과 대조군에서 반응 확률의 차이를 통한 업리프트 모델링이며 응답 확률은 각 그룹에 대해 개별적으로 계산됩니다. (총 두가지 모델을 기반으로 접근)
이게무슨 말일까나..?

The two models approach can be found in almost every uplift modeling research. It is often used as a baseline model. link
two models approach 은 거의 모든 uplift modeling 에서 볼 수 있고, 베이스라인 모델로 이용되는군요

The main idea is to estimate the conditional probabilities of the treatment and control groups separately.
조건부 확률을 이용하여 타겟군과 대조군의 조건부 확률을 별도로 추정하는 것이며

1. Train the first model using the treatment set.
2. Train the second model using the control set.
   Inference: subtract the control model scores from the treatment model scores.

한마디로, 타겟군과 대조군 각각 학습시키고 차이를 구해서 score를 매기는 방법이라고 할 수 있겠습니다. 아하.. 그래서 두개의 독립 모델이구나

다시 돌아가서!

① 광고 캠페인이 이뤄졌을때의 전환 여부를 판별 (target모델)
② 광고 캠페인이랑 관계없이 자연적으로 전환 여부를 판별 (control모델)

이 두개를 각각 모델링을 한다는 것이군요.

Point ✔️ 두 경우의 결과를 모두 관찰하기 위해선 한 오디언스 그룹(이탈유저)을 대상으로 각각의 모델을 통한 별개의 예측을 진행해야한다.

이후 두개의 차이를 구해서 uplift score를 구할 수 있습니다. (-1~1)

• 1 에 가까울 수록 광고효과가 크게 작용하는 유저
• 0, -1에 가까울 수록 영향이 없거나 부작용을 의심해야봐야한다.

④ 실전 캠페인 적용 및 평가

실전 캠페인 오디언스 분류에 모델을 적용 할때, 중요한 점은 ②테스트 캠페인때 실시한 내용,성격이 비슷해야 한다는 것입니다.

Point✔️ 즉, 테스트때 광고의 내용이 "복귀에 따른 A아이템의 지급" 이라는 조건을 했다면, 실전에서도 같은 내용, 성격이어야 한다는 것!

위 내용을 기반으로 광고 캠페인으로 업리프팅 모델을 만들었기 때문에 다른 내용의 광고를 하게 되면 아무래도 성능, 결과가 다를 수 밖에 없습니다!

광고 집행 상황 가정

Point✔️ 광고의 목적에 따라 타게팅 전략, 광고대상, 비용이 다다르다. 이는 기술 적용 전에 구체적인 마케팅 플랜하에 이뤄져야한다.

광고 집행 상황을 가정하고 모델을 적용해봅시다.

• 대상 (오디언스) : 이탈유저
• 광고목적 : 서비스 복귀
• 광고유형 : 리타게팅 배너 광고
• 오디언스 규모 : 50000명
• 1인당 광고비 : 100원

uplift score 분포 해석

오른쪽으로 길게 뻗은 분포, 1에 가까운 score 가 많다는 뜻으로 해당 마케팅시 순영향을 유추할 수 있다.

즉, "이탈유저를 대상으로 A 아이템 지급"이라는 마케팅 적용시 게임복귀에 긍정적인 영향을 끼칠 것으로 예상되는 유저가 많다고 해석 할 수 있겠네요

그리고 50000명을 업리프트 4분면으로 구분한다면 아래와 같이 나눌 수 있는데

광고증대효과를 기준으로,
분류이론에 따르면 핵심 대상인 Persuadables 고객을 기준으로 마케팅 비용을 사용해야하고 Sure Things 고객은 해당 마케팅으로 부터 격리해야 합니다.

만약, 업리프팅 모델을 사용하지 않고 모든 고객 50,000명 모두 에게 마케팅비용을 사용했을시 5,000,000 만원을 지출해야하지만, Persuadables 고객에 집중적으로 마케팅시 2,532,200원 49% 절감된 광고비만 지출하면 된다!

평가시 주의할점

그런데 유저전환수를 보면 그냥 50000명 모두 한테 광고를 썻을때가 수익이 높은데?

앞서 말했듯이 업리프팅 모델은 최적의 '기회비용'

수익이 높아 보이지만! 광고비 지출과 비용대비 효율을 함께 살펴보면
모든 집단에게 광고비 지출시, Sleeping dogs 집단에게는 오히려 손실금이 생긴다.
반면에Persuadables에게만 광고비를 지출 했을때 손실금을 피할 수 있으므로 광고 지출비만 차감되서 이득이며 투자대비효율 지표 ROI 값이 무려 두배 차이난다.

Point✔️ 위 예시는 Persuadables 그룹에 집중했지만, 전환수 최대화, 광고비용지출 같은 광고 집행 상황과 OR 캠페인 목적에 따라 타게팅 전략이 달라 질 수 있다!

---

업리프팅이라는걸 처음 알게 되었는데, 뭐랄까요, RFM 과 A/B 테스트를 섞은 느낌이 들었습니다. 따지고보면 완전히 다르지만요 ㅎㅎ

젠장!!! 너무 재밋어 이제 가상 데이터로 실습을 해봅시다 !!! 일단, Kaggle 에 있는 marketing data set을 이용하려고 하는데요. 다른 데이터도 있으면 찾아보려합니다ㅎㅎ.