생성형 엔진 최적화(GEO) 논문: 실험 조건과 최대 40%의 의미

생성형 엔진 최적화 논문(GEO 논문)은 검색 상위 5개 출처 중 하나만 고쳐 쓴 실험입니다. 고친 뒤 AI 답변에서 그 출처가 차지하는 몫이 어떻게 변하는지 쟀습니다. 논문은 출처 인용·인용문·통계 추가를 상위 세 방법으로 꼽았습니다. 가장 큰 개선은 인용문 추가에서 나왔고 약 40%였습니다.

이 40%는 GPT-3.5 기반 실험 환경에서 고정된 출처 사이의 몫이 상대적으로 늘어난 정도입니다. 실제 AI 서비스의 인용 횟수 증가율과는 다른 값입니다.

논문은 어떤 조건에서 실험했나요?

논문 제목은 「GEO: Generative Engine Optimization」이고 Pranjal Aggarwal 등 6명이 썼습니다. 2023년 11월 arXiv에 처음 공개됐고, 2024년 6월 세 번째 판(v3)까지 수정됐습니다. arXiv 페이지에는 KDD 2024 학술대회 채택 논문으로 적혀 있습니다.

대형 언어 모델(LLM)은 많은 글을 학습해 문장을 만드는 AI입니다. 논문은 검색으로 자료를 모은 뒤 LLM이 답을 요약하는 시스템을 「생성형 엔진」이라고 부릅니다. GEO는 이런 엔진의 답변에서 자기 콘텐츠가 더 잘 보이도록 고치는 방법입니다.

논문의 「가시성」은 무엇을 재는 지표인가요?

첫째 지표는 위치 보정 단어 수(Position-Adjusted Word Count)입니다. 그 출처를 인용한 문장의 단어 수를 세고, 인용이 앞에 나올수록 큰 가중치를 줍니다.

둘째는 주관적 인상(Subjective Impression)입니다. 관련성·영향력·고유성·체감 위치·체감 분량·클릭 가능성·다양성의 7개 항목을 언어 모델이 채점합니다. 논문은 이 점수의 보정이 고르지 않아 첫째 지표와 평균·분산이 같아지도록 맞췄다고 설명합니다.

논문은 한 답변 안 모든 출처의 값을 합하면 1이 되도록 상수를 곱해 정규화한다고 밝힙니다. 몫을 나누는 구조이므로 한 출처가 늘면 다른 출처의 몫은 줄어듭니다. 고치기 전 기준선 19.3은 다섯 출처가 몫을 고르게 나눈 수준에 가깝습니다.

개선율은 같은 출처의 고친 뒤 값이 고치기 전보다 몇 % 늘었는지 나타낸 상대값입니다. 브랜드 이름이 답변에 나왔는지를 보는 언급 여부와 달리, 이미 후보에 든 출처 사이의 배분을 봅니다.

아홉 가지 방법의 결과는 어떻게 달랐나요?

논문은 9가지 고쳐 쓰기 방법을 하나씩 따로 적용했습니다. 아래 값은 GPT-3.5 환경 결과표(표 1)에서 옮겼고, 기준선은 두 지표 모두 19.3입니다.

저자들은 출처 인용·인용문 추가·통계 추가를 상위 세 방법으로 요약했습니다. 위치 보정 단어 수는 30~40%, 주관적 인상은 15~30% 개선됐다고 적었습니다.

다만 이 요약은 저자들의 표현입니다. 표 1 값만으로 계산하면 출처 인용은 약 27%로 유창성 개선과 거의 같습니다. 주관적 인상에서는 권위적 어조가 출처 인용보다 높습니다. 두 지표 모두에서 꾸준히 앞선 것은 인용문 추가와 통계 추가로 읽는 편이 정확합니다. 키워드 반복은 위치 보정 단어 수에서 유일하게 기준선보다 낮았습니다.

순위가 낮은 출처일수록 효과가 컸습니다

검색 순위 5위 출처는 출처 인용을 적용하자 가시성이 115.1% 올랐습니다. 인용문 추가는 99.7%, 통계 추가는 97.9%였습니다. 반대로 1위 출처는 같은 방법에서 각각 30.3%, 22.9%, 20.6% 줄었습니다.

초록의 「최대 40%」에 해당하는 값은 표 1의 인용문 추가로, 기준선의 약 1.4배입니다. 이 값은 시험 질문 전체의 평균이며, 순위별로 나누면 그 안에 큰 차이가 섞여 있습니다.

분야와 조합에 따라 결과가 달랐습니다

권위적 어조는 토론·역사·과학 질문에서 상위였습니다. 출처 인용은 사실 진술·법과 정부 질문에서, 통계 추가는 법과 정부·토론·의견 질문에서 상위였습니다. 인용문 추가는 사람과 사회·설명·역사 분야에서 효과가 컸습니다.

두 방법을 함께 쓴 실험에서는 유창성 개선과 통계 추가의 조합이 가장 좋았습니다. 어느 단일 방법보다도 5.5% 넘게 높았습니다.

Perplexity에서 다시 잰 결과

Perplexity 실험은 따로 잰 것이어서 기준선도 다릅니다. 위치 보정 단어 수는 24.1, 주관적 인상은 24.7입니다.

인용문 추가는 위치 보정 단어 수가 29.1로 기준선보다 22% 높아, 여기서도 가장 좋았습니다. 통계 추가는 주관적 인상이 33.9로 37% 개선됐습니다. 출처 인용은 위치 보정 단어 수가 26.8로 올랐지만 주관적 인상은 19.0으로 기준선보다 낮았습니다. 같은 방법이라도 지표에 따라 결과가 반대로 나온 사례입니다.

결과를 읽을 때 흔히 생기는 오해는 무엇인가요?

「GEO를 하면 검색에 없던 페이지도 인용된다」

출처가 상위 5개로 고정된 실험이므로, 검색 결과에 들지 못한 페이지가 새로 인용되는지는 다루지 않았습니다. 저자들도 한계 절에서 GEO 방법이 검색 순위에 미치는 영향은 평가하지 않았다고 밝혔습니다.

「통계와 인용문은 많이 넣을수록 좋다」

실험에서 통계와 인용문은 GPT-3.5가 원문을 고쳐 쓰는 과정에서 넣었습니다. 실제 페이지에는 원자료를 확인할 수 있는 수치와 인용만 써야 합니다. Google 스팸 정책은 순위를 조작하려고 페이지를 키워드나 숫자로 채우는 것을 키워드 반복 남용으로 설명합니다.

「단정적인 어조로 쓰면 AI가 더 많이 인용한다」

권위적 어조의 위치 보정 단어 수는 21.3으로, 출처·인용문·통계를 더한 방법보다 개선 폭이 작았습니다. 효과가 뚜렷한 분야도 토론·역사·과학 질문으로 좁았습니다.

「논문 결과가 지금의 AI 검색에도 그대로 맞는다」

실험한 엔진은 gpt-3.5-turbo 기반 환경과 Perplexity 두 가지입니다. 저자들은 문맥 창(모델이 한 번에 읽는 글의 분량)이 커지면 더 많은 출처를 읽게 되어 검색 순위의 영향이 줄 수 있다고 봤습니다.

실무에는 어떻게 적용하나요?

논문은 키워드 반복·출처 인용·인용문 추가는 추가 자료가 필요할 수 있다고 구분합니다. 나머지는 기존 내용의 표현을 다듬는 방법으로 분류합니다. 실험의 통계·인용문은 모델이 만든 것이므로, 실무에서는 이미 확인된 근거만 문장에 드러내는 방향으로 적용합니다.

Google 문서는 AI 개요와 AI 모드에 나오는 데 추가 요건이나 특별한 최적화가 필요하지 않다고 설명합니다. robots.txt의 크롤링 허용, 핵심 내용을 텍스트로 제공하기 같은 기본 관리가 먼저입니다.

고쳐 쓸 때는 아래 문안 틀을 쓸 수 있습니다. ○○ 자리에는 실제로 확인한 자료만 넣습니다.

고친 효과는 자사 환경에서 수정 전과 후를 같은 질문으로 비교해 확인합니다. 예를 들어 가상의 산업용 공기청정기 제조사라면 다음 질문을 쓸 수 있습니다.

• 공장용 공기청정기를 고를 때 무엇을 비교해야 하나요?
• 산업용 공기청정기 필터는 얼마나 자주 바꿔야 하나요?
• 작업장 미세먼지 관리 기준은 어디에서 확인하나요?

기록은 아래처럼 한 줄에 한 번의 확인을 적습니다. 표의 값은 가상의 예시입니다.

논문도 답변이 매번 달라지는 영향을 줄이려고 질문마다 답변 5개를 생성했습니다. 같은 질문을 같은 날 여러 번 물어 줄을 나눠 적으면 한 번의 우연한 결과에 기대지 않게 됩니다.

외부 보고서나 제안서가 GEO 논문을 근거로 들면 다음 순서로 확인합니다.

1. 어느 엔진과 모델로 실험한 결과인지 확인합니다.
2. 출처 후보가 몇 개였고 고정돼 있었는지 봅니다.
3. 수치가 어느 지표의 상대 증가율인지 확인합니다.
4. 전체 평균인지, 특정 순위나 분야의 값인지 구분합니다.
5. 자사 사이트에서 다시 측정해 확인한 값인지 묻습니다.

사내 보고서에 논문을 인용할 때는 조건을 함께 적습니다. 예를 들면 다음과 같습니다.

「KDD 2024 채택 논문인 GEO 논문은 GPT-3.5 기반 실험 환경에서 검색 상위 5개 출처 중 한 곳만 고쳐 썼습니다. 인용문을 더하자 그 출처가 답변에서 차지하는 몫이 상대적으로 약 40% 늘었다고 보고했습니다.」

정리

GEO 논문은 표현을 바꿨을 때 고정된 출처 사이에서 몫이 어떻게 이동하는지 보여 준 연구입니다. 실무에서는 다음 순서로 적용합니다.

1. 논문을 인용할 때는 엔진, 출처 수, 지표, 상대 증가율이라는 네 가지 조건을 함께 적습니다.
2. 자사 핵심 주제로 측정 질문 3~5개를 정하고, 수정 전 답변을 기록 양식에 적습니다.
3. 핵심 페이지에서 근거 없이 단정한 문장을 골라 출처·수치·원문 인용이 들어간 문장으로 고칩니다.
4. 새로 넣은 수치마다 원자료 이름과 날짜를 확인하고, 확인하지 못한 숫자는 지웁니다.
5. 수정 뒤 같은 질문·같은 서비스로 다시 기록해 수정 전과 비교합니다.