Common Crawl(커먼 크롤) 수집 범위와 링크·사이트맵 포함 경로

Common Crawl(커먼 크롤)은 비영리 재단이 CCBot이라는 크롤러로 공개 웹페이지를 모아 무료로 공개하는 웹 아카이브입니다. FAQ는 사이트 전체를 보관하지 않고 무작위로 고른 일부 페이지만 담는다고 설명합니다. 페이지는 다른 사이트의 링크나 robots.txt에 적힌 사이트맵으로 발견되며, robots.txt에서 CCBot을 차단하면 CCBot이 그 규칙을 다시 확인한 뒤부터 수집이 멈춥니다.

Common Crawl은 정확히 무엇을 수집하나요?

Common Crawl FAQ에 따르면 CCBot은 Apache Nutch(오픈소스 크롤러)를 바탕으로 하며 Apache Hadoop을 사용합니다. 페이지를 가져오기 전에 robots.txt를 먼저 확인하고, HTTP GET 요청으로 문서를 받습니다. 자바스크립트는 실행하지 않고 쿠키도 쓰지 않습니다. FAQ는 연속 리디렉션을 최대 4번까지 따라간다고 설명합니다.

수집 결과는 세 가지 형식으로 공개됩니다. 시작 안내 문서는 각 형식을 다음과 같이 설명합니다.

규모는 2026년 8월 공개분(CC-MAIN-2026-34)으로 가늠할 수 있습니다. 공식 블로그는 8월 7일부터 8월 20일까지 수집했으며 21억 4천만 페이지, 압축 해제 기준 360TiB라고 밝혔습니다. 수집 범위는 4,020만 개 호스트, 3,310만 개 등록 도메인입니다. 이 가운데 이전 크롤에서 방문하지 않은 새 URL은 7억 개입니다.

같은 공개분에는 페이지 본문 외의 자료도 함께 담겼습니다. robots.txt 파일, 정상(200)이 아닌 응답, URL 인덱스가 따로 묶여 공개됩니다. 한 페이지를 끝없이 받지 않도록 가져오는 크기에도 상한이 있으며, 같은 블로그 글은 2025년 3월 크롤(CC-MAIN-2025-13)부터 이 상한이 5MiB라고 설명합니다. 상한을 넘는 부분은 잘린 채 저장되므로, 실무에서는 핵심 문장을 HTML 앞부분에 두는 방법을 권합니다.

웹사이트는 어떤 경로로 Common Crawl에 포함되나요?

같은 사이트에서도 어떤 페이지는 들어가고 어떤 페이지는 빠지므로, 발견 경로와 제한 조건을 페이지 단위로 봐야 합니다. FAQ에 나온 내용은 다음과 같습니다.

FAQ는 nofollow가 콘텐츠 접근을 막거나 색인을 막는 용도가 아니라고도 덧붙입니다. 링크 발견에 영향을 줄 뿐, 수집을 막으려면 robots.txt를 써야 합니다.

특히 확인할 항목은 자바스크립트입니다. 자바스크립트를 실행한 뒤에야 서버에서 받아 오거나 만들어지는 문장은 WARC와 WET에 담기지 않습니다. 실무에서는 회사 소개나 제품 설명처럼 남기고 싶은 문장이 초기 HTML에 들어 있는지 확인하는 방법을 권합니다.

응답 코드도 함께 봅니다. 서버가 CCBot 요청에 429나 5xx를 자주 보내면 CCBot은 요청 속도를 늦춥니다. 방화벽이나 봇 차단 설정이 의도와 다르게 CCBot을 막고 있지 않은지 서버 설정을 함께 검토합니다.

검색엔진 색인·AI 학습 데이터와는 어떻게 다른가요?

Common Crawl은 검색 서비스가 아니라 원자료를 보관하는 곳입니다. 검색 순위를 매기지 않고, 누가 어떤 목적으로 쓸지도 고르지 않습니다. FAQ는 자료에 최소한의 제한만 두며, 이용 약관은 주로 남용과 불법 이용을 막기 위한 것이라고 설명합니다.

AI 학습과의 관계도 구분해야 합니다. 2020년 발표된 GPT-3 논문(Brown 외)은 Common Crawl을 그대로 쓰지 않았다고 밝힙니다. 연구진은 고품질 참조 자료와 비슷한 문서만 남기도록 걸러 냈고, 문서 단위로 비슷한 중복을 지웠습니다.

이렇게 걸러 낸 Common Crawl은 학습 데이터 혼합에서 60% 비중을 차지했습니다. 논문은 거르지 않은 Common Crawl이 정제된 데이터셋보다 품질이 낮은 경향이 있다고도 적었습니다. 즉 Common Crawl에 들어가는 것은 출발점일 뿐입니다. 페이지가 Common Crawl에 있다는 사실만으로 특정 AI가 그 페이지를 학습했거나 인용한다고 볼 수 없습니다.

Common Crawl 포함 여부를 판단할 때 혼동하기 쉬운 점은 무엇인가요?

도메인 하나가 보이면 사이트 전체가 들어갔다

한 크롤 공개분에 대표 페이지만 있고 세부 페이지는 없을 수 있습니다. 포함 여부는 사이트 단위가 아니라 URL 단위로, 크롤 공개분마다 따로 확인합니다.

CCBot을 막으면 검색 노출도 줄어든다

robots.txt 규칙은 사용자 에이전트별로 적용됩니다. User-agent: CCBot 아래의 규칙은 Googlebot에 해당하지 않습니다. Google 문서는 Googlebot에 대한 크롤링 설정이 Google 검색에 영향을 준다고 설명합니다. CCBot 차단과 검색 노출은 별개의 설정으로 관리합니다.

robots.txt로 막으면 이미 공개된 과거 자료도 사라진다

차단은 이후 수집을 멈추는 설정이며, 이미 공개된 과거 공개분이 자동으로 지워진다는 설명은 공식 안내에 없습니다. FAQ는 차단 규칙을 넣으면 크롤링이 멈추고, CCBot이 robots.txt를 주기적으로 다시 확인한다고 설명합니다. 이와 별도로 Common Crawl은 게시자가 보낸 법적 제외 요청을 목록(옵트아웃 목록)으로 공개하며, 요청을 접수하는 대로 갱신한다고 밝힙니다. 과거 자료 처리가 궁금하면 그 글에 적힌 문의 메일로 직접 묻습니다.

CCBot이라고 적힌 요청은 모두 Common Crawl이 보낸 것이다

CCBot 안내 문서는 CCBot을 사칭하는 크롤러가 있다고 경고합니다. CCBot은 전용 IP 범위에서 동작하고, IPv4·IPv6 범위를 JSON 파일로 공개합니다. IPv4 요청은 역방향 DNS(IP로 호스트 이름을 찾는 조회)로 확인할 수 있습니다. 문서에 따르면 IPv6는 아직 역방향 DNS를 지원하지 않습니다.

내 사이트의 포함 여부는 어떻게 확인하고 관리하나요?

포함 여부는 서버 기록과 Common Crawl 인덱스 서버(크롤 공개분별 URL 검색 화면) 두 곳에서 확인합니다. 다음 순서로 진행합니다.

1. 서버 접근 기록에서 사용자 에이전트에 CCBot/2.0이 들어간 요청을 찾습니다. FAQ는 버전 번호가 바뀔 수 있다고 밝히므로 CCBot이라는 이름으로 검색합니다.
2. 요청 IP를 Common Crawl이 공개한 IP 범위와 대조합니다. IPv4는 역방향 DNS 결과가 crawl.commoncrawl.org로 끝나는지 봅니다. CCBot 안내 문서의 예시는 IP의 점을 하이픈으로 바꾼 이름 뒤에 이 도메인이 붙는 형태입니다.
3. 인덱스 서버에서 크롤 공개분을 고르고 자사 도메인의 URL 패턴을 입력해 수집된 URL을 검색합니다. 인덱스 서버는 과도한 요청을 자제해 달라고 안내합니다. 대량 필터링과 집계에는 컬럼형 인덱스(대량 분석용으로 열 단위로 저장한 URL 목록)가 더 적합하다고 설명합니다.
4. 남기고 싶은 페이지가 결과에 없으면 외부 링크, robots.txt의 사이트맵 줄, 초기 HTML의 본문 순서로 원인을 찾습니다.
5. 결정한 정책을 robots.txt에 반영하고, 다음 크롤 공개분에서 결과가 바뀌었는지 같은 방법으로 다시 확인합니다.

정책별 robots.txt 문안은 다음과 같습니다. 각 칸의 줄을 그대로 옮겨 씁니다.

실무에서는 사이트 전체를 한 번에 정하기보다 페이지 성격별로 나눠 판단하는 방법을 권합니다. 예를 들어 가상의 B2B 제조 기업이라면 회사 소개·제품 사양 페이지는 수집을 허용하고 사이트맵 줄을 둡니다. 유료 기술 자료가 모인 경로만 위 표의 일부 경로 차단 문안으로 막는 방식입니다.

정리

1. 남길 페이지와 막을 경로를 페이지 성격별로 나눠 목록으로 만듭니다.
2. 남길 페이지의 핵심 문장이 초기 HTML 앞부분에 있는지, robots.txt에 사이트맵 줄이 있는지 점검합니다.
3. 정한 CCBot 정책을 robots.txt에 반영합니다.
4. 다음 크롤 공개분이 나오면 인덱스 서버에서 자사 URL을 다시 검색해 반영 여부를 확인합니다.