[논문리뷰] GEO: Generative Engine Optimization

GPT와 같은 생성형 모델에 나의 컨텐츠가 더 잘 나오도록 최적화하는 방법에 관한 논문이다.
KDD 2024에 accept된 논문이다.

GE(GPT, 클로드 등)이 생기기 전엔 SEO을 통해 구글 내 검색 최적화를 하려고 하였다.
하지만 GEO가 생기고 나서는 GE의 검색 결과를 최적화 하려 한다.

본 논문은 컨텐츠 생성자와 웹사이트 운영자(velog, 티스토리, 개인 홈페이지 등) 관점에서 내 상품 및 컨텐츠가 GE의 대답에 더 큰 가시성으로 최적화 하는 기법이라고 생각하면 된다.

• 주의점은, 본 논문은 GE의 대답에 내 콘텐츠가 포함되도록 하는게 아니라, GE의 대답을 위한 지식 베이스에 이미 내 컨텐츠가 포함되었다고 가정하고, 그 대답 안에서 내 컨텐츠의 가시성을 증가시키기 위한 기법이다.

1. Introduction

위 이미지는, 본 논문이 제안하는 GEO 기법이 GE 대답에 대해 그들 컨텐츠의 가시성을 향상시키기 위한 웹사이트 최적화하는 것을 표현하고있다.

Things to do in NY라는 쿼리(질문)에 대해 GEO을 적용하기 전엔 [1]>[2]>[3]의 순서대로 가시성이 높았다.
하지만, 피자가게 사장님 입장에서는 본인 웹사이트의 컨텐츠가 더 높은 가시성을 갖길 원할것이다.
그에 따라 피자가게 사장님의 컨텐츠를 GEO을 통해 GE의 대답에 더 높은 가시성을 갖게 한다.

본 논문에서 말하는 3가지 기여는 다음과 같다.

• GEO을 제안하며, 처음으로 GE에 대한 컨텐츠 소유주들의 최적화 프레임워크를 처음으로 제안한다. 또한 40% 이상의 가시성을 향상 시켰다.
• 가시성 지표의 포괄적인 세트를 제안한다.
• GEO 메서드의 신뢰성 있는 평가를 위해 폭넓은 도메인을 갖은 다양한 검색 쿼리로 이루어진 첫 대용량의 벤치마크를 제안한다. 또한 이 벤치마크 데이터셋은 GE에 맞게 테일러링 되었다.

2. Formulation & Methods

2.1 Formulation of Generative Engines

위 수식에서 $q_u$는 user query, $P_U$은 개인화된 사용자 정보, $r$은 GE의 대답, $f_{GE}$은 $q_u$, $P_U$을 입력해 GE로부터 응답 $r$을 얻는다는 의미이다.

위 그림은, GE의 전체적인 흐름도이다.
사용자가 쿼리를 입력하면 쿼리를 재구성하는 모델인 G1을 거치고, 재구성된 쿼리인 Q1을 출력한다.
그리고 Q1을 입력으로 하여 SE에 검색하고, 그에 따른 Sources인 S을 도출한다 (여기선 SE로부터 얻어진 상위 5개의 랭크에 위치하는 검색 결과를 소스로 하는것 같다).
소스인 S을 요약 모델인 G2에 입력하고, 각 소스별로 요약된 정보인 Sum을 출력한다.
Sum을 입력으로 응답 모델인 G3에 입력하여 최종적으로 응답인 r을 출력한다.
그리고 여기서 r은 또 sentence와 citation으로 나누어진다.
예를들어 응답(대답)이 3문단으로 나누어진다고 가정하자.

1문단 (출처 a,b,c)
2문단(출처 a,d,e)
3문단 (출처 f)

위와 같이 각 문단(sentence)별로 citation(출처)가 표시되어있을 것이다.

2.2 Generative Engine Optimization

본래 SEO가 활발히 연구되어 왔었다. 이는 검색 페이지에서 상위 랭크에 위치할수록 높은 트래픽과 가시성을 의미했다.
하지만 GE에 이러한 SE의 전형적인 메커니즘이 적용되진 않는다.
그 이유는 GE는 SE와 다르게 카워드 매칭에 국한되지 않고, 소스 문서, 원문서와 유저 쿼리의 잘 쓰여진(이해 쉽도록) 글들에 영향을 받는다.

SEO와의 이러한 차이때문에 본 논문에서는 GEO을 제안한다.
$Imp(c_i, r)$은, 응답 $r$에서 $c_i$의 visibility(가시성)을 정의한다. 여기서 $c_i$는 응답 r에서 참조된 i번째 citation이다.
컨텐츠 소유자들은 $Imp(c_i, r)$을 최대화하길 원한다.

하지만, 쿼리와 $c_i$가 연관성이 없는 상태로 $Imp(c_i, r)$만 높게 된다면, 질문과 관련 없는 문서를 인용하게 되므로 GE의 성능 자체가 떨어진다.

그래서 목표를 유저 쿼리와 가장 연관성있는 citation(인용)의 가시성을 최대화 하는것이다.
즉, $\sum_if(Imp(c_i,r),Rel(c_i,q,r))$을 최대화 하는게 목표이다.
여기서 $Rel(c_i,q,r)$은, 응답 r에서, $c_i$가 q와 얼마나 연관이 있는지 측정한다.

2.2.1 Imperssion for Generative Engines

SEO에서는 웹사이트의 가시성을 랭킹에만 의존했다면 GE는 그렇지 않다는것을 알게 됐을 것이다.
그래서 본 논문에서는 GEO을 위한 지표로써 여러 다른 Impression metrics가 존재한다.
length, uniqueness, presentation of the cited website와 같은 요소가 citation의 실제 가시성을 결정한다.

위 이미지처럼 SE는 랭킹에 의해 가시성 측정이 손쉽게 되지만, GE 같은 경우는 여러 복합적 요소가 존재한다.
그에 따라 컨텐츠 소유주는 본인 컨텐츠의 가시성을 측정하기가 상대적으로 어렵다.

이 Imperssion 지표 중 하나로써 word count를 제안한다.

여기서 $S_{c_i}$는 $c_i$가 인용된 sentences의 집합이다.
$S_r$은, 응답의 집합이다.
$|s|$는, sentence s의 단어 개수이다.
즉, word count가 높게 나올수록 해당 citation이 대답에 대해 더 큰 가시성을 갖는다는 것이다.
주의점으로는, 한 sentence에 여러개의 citation이 있다면 그만큼 word count 값을 나눠 갖는다.

하지만 (2)수식은 약간의 부족한점이 존재한다.
사용자 관점에서 보자면, word count도 중요하지만 GE 응답 상위에 존재하는 답변에 더 큰 가중치가 있을수밖에 없다.

위 수식을 보면,
지수함수 관련된 수식이 곱해지게 되는데, 그 수식이 바로 상위에 위치할수록 더 큰 가중치를 주겠다는 의미이다.

이제 우리는 수식 (3)을 통해 GE의 대답에서 객관적, 수치적으로 우리 컨텐츠의 가시성이 얼마나 높은지 알수 있게 된다.
하지만, 사용자 관점에서는 word count가 높고 상위에 위치한다고 더 큰 가시성을 갖는다고만은 할수 없다.
그렇기에 Subjective Impression을 제안한다.

위 word count와 subjective impression 모두 보면 알겠지만,
citation(source)에 대한 가시성을 측정하는 지표이다.
그리고 citation은 사실상 source라고 볼수 있다.

2.2.2 Generative Engine Optimization methods for website

2.2.1은 GE에서의 우리 컨텐츠의 가시성을 판단하는 지표에 대한 내용이였다면
이번 섹션에서는 GEO을 통해 실제 가시성을 향상시킬수 있는 그 기법에 대한 내용이다.
컨텐츠 내용을 수정하는 방식으로 이루어지며
본 논문에서는 9가지 방식을 소개한다.

• Authoritative: 컨텐츠 글 스타일을 좀 더 설들력 있게 수정한다.
• Statistics Addition: 정량적인 통계를 포함한다.
• Keyword Stuffing: 쿼리의 키워드들을 컨텐츠에 삽입한다. (SEO랑 비슷)
• Cite Sources: 신뢰있는 사이트로부터 연관성 있는 인용을 삽입한다.
• Quotation Addition: 신뢰있는 사이트로부터 연관성 있는 인용문을 삽입한다.
• Easy-to-Understand: 웹사이트 언어를 간략화 한다.
• Fluency Optimization: 웹사이트 텍스트를 유창하게 한다.
• Unique Words: 유일한 단어를 삽입한다.
• Technical Terms: 기술적 용어를 삽입한다.

3. Experimental Setup

위 테이블에서
2.2.1 섹션에서 소개한 지표로 position-adjusted word count와 subjective imperssion이 있다.
2.2.2 섹션에서 소개한 9가지 메서드 또한 있다.

핵심은, SEO의 주요 기법인 Keyword Stuffing는 GEO에선 효율적이지 못하다는 결과이다.
그에 반해 Quotation Addition, Statistics Addition 기법은 GEO에 효과적이다.

위 테이블에서 핵심은 GEO가 특히 SE 검색 결과에서 낮은 랭크된 웹사이트에 대해서 유용하다는 것이다.
위 테이블은, SE에서 1위부터 5위에 위치한 source에 각각 GEO method을 적용했을 때, 해당 source의 생성형 엔진 응답 내 가시성이 원본 대비 얼마나 변화했는지를 보여주는 지표다.

위 테이블은 각 카테고리(도메인)별로 GEO을 위해 어떤 method을 선택했을때 가장 효율적이였는지를 보여준다.
즉, 도메인별로 전략적으로 GEO 메서드를 선택해야한다는 점을 시사한다.
예를들어 Law&Gov에서는 '한국인의 시간에 따른 성인 남성 키 변화'와 같은 보고서를 자주 출간하는 특성이 있어서 그런지 (블랙박스라 정확한 이유는 모른다),Statistics Addiction(1등) 혹은 Cite Sources(3등)이 효율적인 전략이였다. (왜냐면 10년동안 1.3cm가 컸다. 혹은 연간 0.3%의 키 성장률이 있었다. 혹은 병무청 공식 자료라는 cited 사이트 첨부 등)

GEO의 예시이다. 그린 박스는 추가 내용, 빨간 박스는 삭제 내용이며, 실제 cite sources등의 내용을 추가하는 수정을 한 예시를 보여주고, 그에 따라 상대적으로 132.4%의 성능 향상이 있음을 시사한다.

위 테이블은 real-world 환경인 perplectiy.ai에서 실험한 실험 결과이다. 실제로 효과적이였으며, 앞선 실험과 같이 Quotation Addition, Statistics Addition에서 가장 효과적이였다.

4. Limitations

본 논문의 한계로써,

• 시간이 지남에 따라 GEs가 발전 및 진화를 하고 그에따라 본 논문에서 제안하는 GEO methods도 그 진화하는 모델에 맞게 적응되어야한다.
• GEO methods에 의해 SE의 랭킹에 어떻게 영향을 끼치는까진 생각하지 않았다. (이걸 왜 생각해야냐면, SE의 랭킹에서 5등정도까지를 source로 보고있기 때문이다.) 하지만 큰 문제는 안될거라고 생각하는게 SEO에서 중요한 백본링크나 domain등은 건들지 않고 단지 content 내용만 수정하기 때문이다.
• 지금은 SE 결과의 5등정도까지만 source로 보고있지만, 미래에는 더 큰 컨텍스트도 비용 효율적으로 처리가 가능해짐에 따라 더 많은 컨텍스트를 source로 볼수 있을것이며, 이에따라 SE의 랭킹 순위의 중요도는 더 감소할것이라고 본다.