AI 크롤러 역할: GPTBot·ClaudeBot은 학습, 검색봇은 색인

AI 크롤러는 학습용(GPTBot·ClaudeBot), 검색 색인용(OAI-SearchBot·PerplexityBot), 사용자 요청 조회용(ChatGPT-User 등)으로 나뉩니다. 학습용은 모델 학습에 쓰일 수 있는 자료를, 검색 색인용은 AI 검색 답변용 색인을 모읍니다. 사용자 요청 조회용은 사용자가 질문한 시점에 페이지를 조회합니다.

학습 제외를 정하는 설정과 AI 답변 출처 노출을 정하는 설정은 서로 다릅니다. 서버 기록도 갈래별로 따로 세야 언급 변화의 원인을 좁힐 수 있습니다.

AI 크롤러는 어떤 역할로 나뉘나요?

OpenAI·Anthropic·Perplexity 공식 문서를 기준으로 봇을 갈래별로 묶으면 다음과 같습니다.

막았을 때의 결과는 회사마다 문서 표현이 다릅니다. 학습용 봇을 막으면 OpenAI는 학습에 쓰지 말라는 신호로 설명합니다. Anthropic은 그 사이트의 앞으로의 자료를 학습에서 빼라는 신호로 설명합니다.

검색 색인용 봇을 막으면 OpenAI는 ChatGPT 검색 답변에서 빠진다고, Anthropic은 색인되지 않는다고 설명합니다. 사용자 요청 조회용은 차이가 더 큽니다. Anthropic은 조회가 막힌다고 설명합니다. OpenAI는 규칙이 적용되지 않을 수 있다고, Perplexity는 대체로 규칙을 무시한다고 설명합니다.

Perplexity 문서는 PerplexityBot을 기초 모델 학습용 수집에 쓰지 않는다고 명시합니다. Google은 학습 제어에 크롤러가 아닌 별도 토큰을 쓰므로 아래에서 따로 다룹니다.

각 회사 문서에는 어떤 세부 동작이 적혀 있나요?

OpenAI

OpenAI 문서는 GPTBot이 생성형 AI 기초 모델을 더 유용하고 안전하게 만드는 데 쓰인다고 설명합니다. robots.txt(사이트가 크롤러에게 접근 허용 범위를 알리는 파일)에서 봇별로 규칙을 정합니다.

OAI-SearchBot을 막아도 사이트로 이동하는 내비게이션 링크로는 나올 수 있다는 예외가 있습니다. ChatGPT-User는 자동 웹 크롤링에 쓰이지 않습니다.

문서는 각 설정이 서로 독립적이라고 밝힙니다. 두 봇을 모두 허용한 사이트에는 중복 수집을 피하려고 한 번의 수집 결과를 두 용도에 함께 쓸 수 있다고 설명합니다. IP 목록은 봇별 파일로 따로 공개합니다.

Anthropic

Anthropic 고객센터 문서는 표준 지시문과 비표준 확장인 Crawl-delay를 따른다고 밝힙니다. IP 차단 같은 다른 방법은 제대로 작동하지 않을 수 있다고 경고합니다. IP를 막으면 robots.txt를 읽는 것 자체가 방해된다는 설명도 있습니다.

차단하려는 하위 도메인마다 robots.txt를 따로 고쳐야 합니다. 고객센터 문서는 출발지 IP가 공개 목록에 있으면 Anthropic 크롤러라고 안내합니다.

Perplexity

문서는 Perplexity 검색 결과에 나오려면 robots.txt에서 PerplexityBot을 허용하라고 권합니다. 규칙 변경 반영에는 최대 24시간이 걸릴 수 있다고 설명합니다. 두 봇의 IP 목록은 각각 공개되어 있으며, 항상 최신 목록을 쓰라고 안내합니다.

Google-Extended

Google 문서는 Google-Extended를 독립된 제어 토큰으로 설명합니다. 이 토큰은 이후 Gemini 모델 학습과 그라운딩(답변 시점에 검색 색인 콘텐츠를 모델에 제공하는 것) 사용 여부를 정합니다. 별도 사용자 에이전트(요청을 보낸 프로그램 이름)는 없고, Google 검색 포함 여부와 순위에는 영향을 주지 않습니다.

학습 차단과 AI 검색 노출은 어떻게 조합하나요?

먼저 회사가 원하는 상태를 고른 뒤 갈래별로 규칙을 정합니다. 아래 표는 문서 설명을 선택지에 맞춰 옮긴 것입니다.

어느 선택지든 전체(*) 묶음의 차단 규칙이 의도와 다르게 봇에 적용되지 않는지 확인합니다.

예를 들어 학습만 차단한다면 아래처럼 봇별 묶음을 둡니다. 각 항목의 두 부분은 robots.txt에서 줄을 나눠 입력합니다.

1. User-agent: GPTBot / Disallow: /
2. User-agent: ClaudeBot / Disallow: /
3. User-agent: Google-Extended / Disallow: / (Google 학습도 막을 때)

OAI-SearchBot·Claude-SearchBot·PerplexityBot에는 차단 규칙을 두지 않습니다. Google-Extended 묶음은 Gemini 그라운딩 사용에도 영향이 있습니다.

언급 측정에서도 이 구분이 기준이 됩니다. 학습용 봇 차단은 이후 학습에 관한 신호입니다. 오늘 AI 검색 답변에 출처로 나오는지는 검색 색인용 규칙과 이어집니다. 두 갈래를 한 숫자로 묶으면 언급률이 바뀌어도 원인을 좁힐 수 없습니다.

사용자 요청 조회용 방문은 실제 질문이 있었다는 흔적에 가깝습니다. 다만 요청 하나와 방문 기록 하나가 정확히 맞는다는 공식 설명은 없습니다. 실무에서는 이 방문 수를 질문 수로 환산하지 않고, 어느 페이지가 답변 근거로 조회되었는지 확인하는 용도로 쓰는 방법을 권합니다.

서버 기록에서는 무엇을 확인하나요?

아래 항목은 공식 문서와 robots.txt 표준(RFC 9309)의 동작을 서버 기록 점검에 옮긴 것입니다.

RFC 9309는 캐시한 robots.txt를 24시간 넘게 쓰지 않도록 권합니다. OpenAI는 검색 설정 반영에 약 24시간, Perplexity는 최대 24시간이 걸릴 수 있다고 설명합니다. 표의 하루 기준은 이 24시간 설명을 근거로 한 실무 제안입니다. 표준은 이 규칙이 접근 권한을 통제하는 수단이 아니라고도 명시합니다.

실무에서는 요청 경로가 robots.txt인 기록을 페이지 방문과 따로 세는 방법을 권합니다. Google-Extended는 방문 기록이 생기지 않으므로 robots.txt 규칙으로만 확인합니다.

서버·보안 담당자에게 보낼 요청 문안

1. 제목: AI 크롤러 방문 기록 월간 추출 요청
2. 기간: 지난달 1일부터 말일까지
3. 대상: 대표 도메인과 모든 하위 도메인
4. 추출 조건: 사용자 에이전트에 GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User가 들어간 요청
5. 항목: 일시, 사용자 에이전트, 출발지 IP, 요청 경로, 응답 코드
6. 추가 확인: 방화벽·봇 관리 설정에서 위 봇을 막는 규칙이 있는지, 지난달 바뀐 적이 있는지

기록이 예상과 다르면 원인은 어디서 찾나요?

자주 나오는 현상과 원인 후보를 짝지으면 다음과 같습니다. 원인 후보는 공식 문서의 설명에서 끌어낸 것입니다.

월별 비교에 쓸 기록 양식

원인을 좁히려면 언급 측정과 같은 기간으로 아래 양식을 채웁니다. 가상의 ○○ 기업이라면 한 달에 갈래별로 한 줄씩 적습니다.

robots.txt나 방화벽 설정이 바뀐 달은 표 아래에 변경 일시와 바뀐 규칙을 한 줄로 적습니다. 검색 색인용 방문 수와 AI 답변 인용 경로 수가 함께 움직여도 인과로 단정하지 않습니다. 설정 변경 일시와 나란히 놓고 해석합니다.

정리

1. 대표 도메인과 모든 하위 도메인의 robots.txt를 열어 봇별 규칙을 세 갈래로 나눠 적습니다.
2. 조합 표에서 회사가 원하는 선택지를 정하고, 규칙이 그 선택지와 맞는지 대조합니다.
3. 요청 문안으로 지난달 방문 기록을 받고, OpenAI·Perplexity 방문은 봇별 IP 목록, Anthropic 방문은 공개 IP 목록과 대조합니다.
4. 현상과 원인 후보 표로 이상 기록을 확인하고, 설정 변경 일시를 함께 남깁니다.
5. 월별 기록 양식에 같은 달의 AI 답변 인용 경로와 검색 색인용 방문 기록을 나란히 적어 비교합니다.