• https://medium.com/@AnalyticsAtMeta/creative-fatigue-how-advertisers-can-improve-performance-by-managing-repeated-exposures-e76a0ea1084d

1 Introduction

Creative Fatigue(크리에이티브 피로)란 동일한 Creative(소재)가 반복적으로 노출될 때 발생하는 효과를 의미함. (여기서 중요한 점은 ‘광고(ad)’가 아니라 ‘크리에이티브(creative)’ 자체에 초점을 맞추고 있다는 점)

크리에이티브 피로는 광고 성과에 부정적인 영향을 미칠 수 있음. 데이터를 보면, 사용자들은 같은 크리에이티브를 여러 번 접하는 일이 흔하며, 이로 인해 전환율이 하락하고, 행동당 비용(CPA, cost per action)이 증가하는 경향이 나타남.

하지만 이를 활용해 성과를 개선할 수도 있음. 크리에이티브 피로가 감지되면, 피로가 누적된 광고에 새로운 크리에이티브를 추가하는 방식으로 최적화할 수 있음. 이러한 인사이트는 광고 관리자(Ads Manager) 가이드에도 반영되었으며, 광고 노출 최적화에도 활용됨. 실제로, 피로도를 줄이는 가이드를 적용한 경우, 높은 피로도를 보이는 광고 세트에서 전환율이 평균 8% 향상되는 효과가 나타났다고 함. (아래 테스트 결과 참고)

2 Creative Fatigue 정의

Creative Fatigue(크리에이티브 피로)란 동일한 Creative(소재)가 반복적으로 노출될 때 발생하는 효과를 의미함. 여기서 중요한 점은 ‘광고(ad)’가 아니라 ‘크리에이티브(creative)’ 자체에 초점을 맞춘다는 것. 이는 여러 광고가 동일한 크리에이티브 요소를 사용할 수 있지만, 사용자는 이를 동일한 광고로 인식하기 때문임.

데이터를 보면, 동일한 크리에이티브가 반복 노출될수록 전환율(Conversion Rate)이나 클릭률(Click-Through Rate)이 감소하는 경향이 나타남. 이는 사용자들이 새로운 콘텐츠를 선호하며, 반복 횟수가 일정 수준을 넘어서면 더 이상 관심을 가지지 않기 때문일 수 있음. 또는 반복 노출로 인해 사용자가 해당 크리에이티브를 무시하는 "광고 피로(Ad Blindness)" 현상이 발생할 수도 있음.

중요한 점은, 이런 전환율 감소 현상은 동일 사용자에게 새로운 크리에이티브(동일하거나 더 높은 품질의)를 제공함으로써 개선될 수 있다는 것. 따라서 크리에이티브 피로는 단순히 브랜드의 반복 노출로 인해 발생하는 일반적인 "오디언스 포화(Audience Saturation)" 현상과는 다름. 단순히 새로운 크리에이티브를 추가하는 것만으로 해결되지 않는 오디언스 포화와 달리, 크리에이티브 피로는 신선한 크리에이티브를 도입하는 것만으로도 충분히 개선될 수 있음.

한편, 새로운 크리에이티브를 도입하는 대신, 새로운 오디언스를 타겟팅하는 방법도 있을 수 있음. 하지만 타겟팅할 수 있는 오디언스는 한정적이므로, 차별화된 크리에이티브 자산을 지속적으로 개발하는 것이 크리에이티브 피로를 해결하는 효과적인 전략이 될 수 있음

3 Creative 반복 노출 측정

크리에이티브 반복 노출이 얼마나 흔한지 살펴보기 전에, 먼저 왜 Frequency(빈도) 를 크리에이티브 반복 측정 지표로 사용하지 않는지 짚고 넘어가야 함.

Frequency(빈도) 측정의 문제점

광고주들은 이미 빈도(Frequency)라는 지표를 잘 이해하고 있으며, 많은 크리에이티브 로테이션 전략이 이 값을 낮게 유지하는 데 초점을 맞추고 있음. 빈도는 광고 캠페인에서 흔히 사용되는 지표로, 개별 사용자가 특정 광고를 본 총 횟수를 의미함. 하지만 빈도를 크리에이티브 피로의 신호로 활용하기에는 두 가지 큰 문제가 있음.

• 문제 1: 빈도는 광고/광고 세트/캠페인 수준에서 측정됨. 하지만 피로는 크리에이티브 수준에서 발생함.
  • 동일하거나 매우 유사한 크리에이티브가 여러 광고(ad)에 걸쳐 사용될 경우, 사용자는 서로 다른 광고라도 동일한 크리에이티브를 반복해서 보는 것처럼 인식하게 됨. 즉, 피로는 캠페인, 광고 배치(placements), 최적화 방식과 관계없이 발생할 수 있음.
  • 이를 보다 정확히 측정하기 위해, 우리는 광고(ad) 수준이 아닌 크리에이티브(creative) 수준에서 개별 사용자 노출 데이터를 추적 하였음.
• 문제 2: 빈도는 적절한 측정 지표가 아님
  • 이 문제는 조금 더 추상적이지만 중요. 빈도는 특정 기간 동안의 평균적인 노출 횟수 를 나타낼 뿐, 개별 사용자가 추가적으로 노출될 때의 영향(한계 효과, marginal effect) 을 보여주지 않음.
  • 예를 들어, 다음과 같은 광고 노출이 있다고 가정해 보자.
    • 1일차: 10만 명이 광고를 1번 봄
    • 2일차: 같은 사용자 중 5만 명이 광고를 2번 봄
    • 3일차: 같은 사용자 중 2.5만 명이 광고를 4번 봄
  • 이 경우, 3일 동안의 평균 빈도는 총 노출 수(30만) ÷ 총 사용자 수(10만) = 3 하지만 실제로 3일차에 도달한 사용자들은 같은 광고를 7번이나 본 상태 임.

또한, 빈도는 특정 기간을 기준으로 계산되기 때문에 시간 범위에 따라 값이 달라질 수 있으며, 여러 광고에 걸쳐 동일한 크리에이티브가 노출되는 경우 이를 반영하기 어려움. 이제, 실제로 크리에이티브 반복 노출이 얼마나 흔한지 살펴보자.

사용자들은 시스템 내에서 동일한 크리에이티브를 반복적으로 접하는 경우가 많음. Meta 광고 노출 전체를 기준으로, 개별 사용자당 평균 크리에이티브 반복 노출 횟수는 4.2회이며, 전체 광고 노출의 19% 이상이 동일한 크리에이티브를 5회 이상 본 경우에 해당함. (30일 기준 데이터)

광고주 세그먼트별로 차이가 있긴 하지만, 특히 링크 클릭(Link Clicks) 및 외부 전환(Offsite Conversion) 최적화 광고에서 크리에이티브 반복 노출이 두드러지게 나타남. 반면, 브랜드 광고(Brand Advertising)의 경우, 광고주가 빈도 제한(Frequency Caps)을 설정하는 경우가 많아 이러한 반복 노출이 상대적으로 적게 발생하는 경향이 있음.

4 Creative 반복 노출과 광고 효율

이제 크리에이티브 반복 노출이 얼마나 흔한지 파악했으므로, 이 반복 노출이 광고 성과 변화와 얼마나 밀접하게 연관되어 있는지 살펴볼 필요가 있음. 크리에이티브 반복 노출이 클릭률(Click-Through Rate, CTR)에 미치는 영향을 평가하는 가장 단순한 방법은 노출 횟수(Impression Repetition Count)에 따른 클릭률 변화를 직접 분석하는 것임.

다음으로, 반복 노출과 클릭률 간의 연관성을 구체적으로 살펴보자.

데이터를 보면, 동일한 크리에이티브가 반복 노출될수록 클릭률(CTR)이 지속적으로 감소하는 경향이 뚜렷하게 나타나는것을 볼 수 있다.

4.1 통제 변수 통제하기

하지만, 위 분석은 몇 가지 중요한 혼란 변수(confounding factors)를 고려하지 않았음. (오디언스 포화(Audience Saturation) 및 광고 세트별 전환율)

1. 크리에이티브 피로 vs. 오디언스 포화(Audience Saturation) 구분
   • 오디언스 자체가 이미 광고에 과포화된 경우, 단순히 크리에이티브를 변경하는 것만으로 성과를 완전히 회복할 수 없을 수도 있음.
   • 우리는 동일한 사용자에게 새로운 크리에이티브를 제공했을 때 성과를 얼마나 개선할 수 있는지를 측정하고자 함.
2. 광고주, 광고 세트(ad set)별 클릭률 차이 고려
   • 광고주마다 기본 클릭률(CTR)이나 전환율이 다름.
   • 광고 세트나 광고 유형의 구성 비율이 반복 노출 수준에 따라 달라지면, 단순한 비교는 정확하지 않을 수 있음.
   • 따라서, 광고 세트나 광고주별 차이를 통제해야 함.

이러한 변수를 통제하기 위해, 클릭 데이터와 해당 클릭이 발생한 노출 데이터를 매칭하여 다변량 분석(multivariate analysis)을 수행했음. 이를 위해 로지스틱 회귀(logistic regression) 모델을 사용하여 다음 변수를 고려한 상태에서 사용자가 동일한 크리에이티브를 여러 번 볼수록 클릭 확률이 얼마나 감소하는지 예측함.

1. 이전 크리에이티브 노출 횟수
   • 동일한 크리에이티브에 대해 사용자가 몇 번 노출되었는지 측정.
2. 광고 세트(ad set) 및 계정(account) 수준의 이전 노출 횟수
   • 동일한 광고 세트 및 계정에서 얼마나 반복 노출되었는지를 측정하여 오디언스 포화(Audience Saturation) 를 간접적으로 반영.
3. 예측 클릭률(eCTR, estimated Click-Through Rate)
   • 모든 광고 노출이 클릭으로 이어지지는 않으므로, 개별 노출 수준에서 클릭 가능성을 평가하기 위해 eCTR을 활용.
   • 대규모 샘플에서는 eCTR 값이 실제 CTR과 동일한 수준으로 수렴할 것으로 예상.
4. 광고 세트(ad set)의 과거 eCTR
   • 특정 광고 세트에서 클릭이 발생할 확률의 일반적인 수준을 반영하는 지표.
   • 광고 세트 자체가 클릭률이 낮은 성격을 가지고 있을 수 있으므로 이를 통제.
5. 첫 번째 노출 시 eCTR (First Impression eCTR)
   • 사용자가 특정 광고를 처음 봤을 때 해당 사용자-광고 쌍(user/ad pair)의 예상 클릭률.
   • 이를 통해 특정 사용자군이 원래부터 클릭 성향이 낮은지 여부를 조정(선택 효과, selection effect 통제).

이번 분석에서는 일부 다중공선성(multicollinearity) 이 존재함. 즉, 크리에이티브 피로(creative fatigue) 변수와 오디언스 포화(audience saturation) 변수 간에 상관관계가 있음. 하지만 오디언스 포화 변수를 제거하더라도 크리에이티브 피로 계수는 거의 동일하게 유지됨. 이는 크리에이티브 피로가 클릭률 감소에 미치는 영향이 독립적으로 유의미함을 시사함.

이를 위해 우리는 다양한 조건에서 회귀 분석을 반복 수행하며 결과의 일관성을 검증했음.

1. 다양한 공변량(covariates) 조합 테스트
   • 본문에서 모두 열거하지는 않지만, 여러 버전의 회귀 모델을 실행하며 변수를 조정.
2. 광고주 세그먼트 및 최적화 모델별 분석
   • 다양한 광고주 유형 및 최적화 방식(클릭, 전환 등)에 따른 효과 차이를 확인하기 위해 상호작용 항(interaction terms) 을 테스트.
3. 클릭 데이터 외 다양한 목표 지표 활용
   • 단순 클릭 데이터뿐만 아니라,
     • 전환(post-click/conversion events)
     • 동영상 조회(video views)
     • 기타 최적화 목표 등을 포함한 모델을 구축하여 동일한 효과가 나타나는지 검증.
4. 사용자 특성 및 광고 포맷별 분석
   • 연령, 성별 등의 사용자 특성(user-level features) 에 따른 차이 검토.
   • 정적 이미지, 동영상, 캐러셀 등 광고 포맷(ad format types) 별 효과 차이 분석.

4.2 Interpreting Coefficients

위 그래프는 동일한 크리에이티브를 반복 노출했을 때 클릭 확률이 어떻게 감소하는지를 보여줌.
수식: $(N+1)^{-0.43}$

• $N$ : 사용자가 해당 크리에이티브를 이미 본 횟수 (0부터 시작)
• 클릭 확률은 반복 노출 횟수가 증가할수록 점진적으로 감소하는 패턴을 보임.

반복 노출 횟수가 4회(N=4) 일 때, 클릭 가능성은 약 49.95% 감소함. 즉, 동일한 크리에이티브가 4번 노출되면 클릭 확률이 절반 가까이 줄어든다는 의미임. 즉, 사용자가 같은 크리에이티브를 여러 번 볼수록 클릭 가능성이 기하급수적으로 줄어드는 경향이 있음. 이제, 이러한 패턴을 어떻게 활용하여 크리에이티브 피로를 줄일 수 있는지 살펴보자.

4.3 Wear-in 효과에 대한 검증

많은 마케터들은 일정 횟수까지는 크리에이티브 반복 노출이 긍정적인 영향을 미친다는 믿음을 가지고 있음. 즉, "Wear-in" 효과(초반에는 반복 노출이 광고 성과를 높이다가, 이후 피로도가 쌓이며 성과가 감소한다)는 개념이 존재한다고 보는 것.

그러나, 위 분석 및 추가 연구 결과, 직접 반응(Direct Response) 캠페인에서는 이러한 Wear-in 효과가 존재하지 않는 것으로 확인됨.

• 클릭 및 전환 비용은 크리에이티브 반복 노출이 증가할수록 단조적으로(monotonically) 증가함.
• 즉, 반복 노출이 많아질수록 광고 효율은 계속해서 낮아지는 경향을 보임.
• Wear-in 효과를 찾기 위해 추가적인 분석을 수행했으나, 직접 반응 캠페인에서는 유의미한 상승 구간이 발견되지 않음.

다만, 브랜드 캠페인(Brand Campaigns)에서는 다른 결과가 나타날 가능성이 있음. 예를 들어, 광고 회상(Ad Recall) 같은 브랜드 목표에서는 일정 수준까지 반복 노출이 긍정적인 영향을 줄 수도 있음. 하지만, 클릭이나 전환이 목표인 광고에서는 반복 노출이 증가할수록 비용이 꾸준히 증가하는 것이 데이터에서 확인됨. 이제, 크리에이티브 피로를 줄이기 위한 실질적인 해결책을 살펴보자.

하나 짚고 넘어가야 할 것은 위 결과가 반복 노출 자체가 전혀 가치가 없다는 의미는 아님. 단지, 동일한 크리에이티브를 반복 노출하는 것이 비효율적이라는 점이 확인된 것.

5 실험적 검증 (Experimental Validation)

• 위 분석을 바탕으로, 크리에이티브 피로를 효과적으로 완화하여 광고 성과를 개선할 수 있는지 실험을 진행함. 특히, 피로도가 높은 광고 세트(ad set)에 새로운 크리에이티브를 추가했을 때, 성과가 얼마나 개선되는지를 평가하고자 함.

크리에이티브 피로 수준 지표 (Creative Fatigue Level Metric)

• 각 광고 노출(impression)에서 크리에이티브 피로도를 추정하는 공식은 아래처럼 정의

• $N$ : 사용자가 동일한 크리에이티브를 본 횟수 (0부터 시작)
• 보수적인 추정 방식을 적용하여, 피로도 0 은 피로 없음, 피로도 0.2 는 CTR이 평균적으로 $20 \%$ 감소했음을 의미.
• 크리에이티브 피로도를 광고 수준에서 평가하기 위해, 해당 크리에이티브의 모든 노출에 대해 피로도 값을 평균함.

5.1 실험 설계 (Experimental Design)

이번 실험은 두 개의 그룹으로 나누어(split test) 두 단계에 걸쳐 진행됨

1. 피로도가 높은 광고 세트를 선정
2. 새로운 크리에이티브를 추가한 그룹과 그렇지 않은 그룹으로 나눠 비교

실험 그룹 (Two-Cell Split Test)

• 대조군 (Control Group): 기존 광고 세트를 그대로 유지
• 실험군 (Treatment Group): 동일한 광고 세트에 새로운 크리에이티브 추가

목표:

• 새로운 크리에이티브 추가가 광고 성과(CTR, 전환율 등)를 얼마나 개선하는지 확인
• 개선 효과가 크리에이티브 피로도 수준에 따라 달라지는지(dose-dependent effect) 분석

다음으로, 실험 결과를 살펴보자.

실험 결과, 피로도가 높은 광고 세트에 새로운 크리에이티브를 추가하면 전환율(Conversion Rate)이 유의미하게 개선되는 것으로 나타남. 즉, 크리에이티브 교체가 광고 성과를 높이는 인과적(causal) 영향을 미친다는 점이 확인됨.

6 결론 (Conclusion)

1. 크리에이티브 피로의 정의
   • 크리에이티브 피로는 사용자가 동일한 크리에이티브를 반복적으로 볼 때 발생하는 효과를 의미함.
   • 이번 분석을 통해, 광고 성과 최적화를 목표로 하는 광고주들에게 크리에이티브 피로가 중요한 고려 요소임이 확인됨.
2. 광고 성과에 미치는 영향
   • 사용자들은 동일한 크리에이티브를 자주 접하며, 반복 노출될수록 광고에 대한 반응도(CTR, 전환율 등)가 지속적으로 감소함.
3. 크리에이티브 피로 관리 전략
   • 광고 성과가 저하되는 피로도가 높은 광고 세트에는 새로운 크리에이티브를 추가하는 것이 효과적임.
   • 새로운 크리에이티브를 활용하면 반복 노출로 인한 성과 저하를 막고, 광고 효과를 유지하거나 개선할 수 있음.
4. 미래 방향
   • 앞으로 광고 관리자(Ads Manager) 내 크리에이티브 피로도 측정 및 모니터링 기능을 도입하여 광고주들이 실시간으로 대응할 수 있도록 지원할 예정.
   • 또한, 새로운 제품 기능 및 실험적 연구를 통해 최적의 광고 성과 유지 방안을 지속적으로 제공할 계획.