AI 크롤러 접근 설정

AI 크롤러란 무엇인가

AI 크롤러란 생성형 AI 서비스가 웹 콘텐츠를 가져가기 위해 보내는 자동 요청 프로그램이며, 하는 일에 따라 네 갈래로 나뉩니다. 모델 학습에 쓸 데이터를 모으는 크롤러, AI 검색이 답변의 출처로 삼을 색인을 만드는 크롤러, 사용자가 채팅창에 URL을 붙여 넣었을 때 그 순간 페이지를 가져오는 사용자 요청형 fetcher, 그리고 페이지를 가져가지는 않고 이미 수집한 콘텐츠의 사용 범위만 정하는 통제 토큰입니다. 여기서 UA(User-Agent)란 요청을 보낸 프로그램이 스스로를 밝히는 이름표를 말합니다. 갈래를 구분하지 않으면 “AI 차단”이라는 한 번의 결정으로 원하지 않던 것까지 함께 막게 됩니다.

구분하지 않으면 생기는 일

가장 흔한 사고는 학습용 수집을 제한하려다 검색·색인용 봇까지 같은 규칙으로 제한하는 것입니다. GPTBot과 ChatGPT 검색이 쓰는 OAI-SearchBot은 별개의 UA이고 설정도 독립적이므로, 목적에 따라 각각의 규칙을 검토해야 합니다. OpenAI 문서는 검색 결과에 나오길 원하면 OAI-SearchBot을 허용하면서 GPTBot만 거절할 수 있다고 안내합니다. robots.txt 규칙은 협조적 봇에 대한 접근 지시이며 검색 결과나 답변 포함을 확정하지 않습니다.

robots.txt는 협조적인 크롤러에 접근 의사를 전달하는 수단입니다. 차단 설정을 이미 수집된 사본의 삭제나 모든 형태의 사용 중단으로 해석하지 마세요.

목적별 토큰과 robots.txt 적용 여부

아래 목록은 각 제공사의 문서를 2026-09-23에 다시 확인해 요약한 것입니다. UA와 정책은 바뀔 수 있으므로 배포 전에도 원문을 확인하세요. 문서에 나오지 않는 토큰은 싣지 않았습니다.

학습용 크롤러

토큰	운영 주체	역할과 robots.txt 적용
GPTBot	OpenAI	모델 학습용 수집. robots.txt를 따릅니다. OpenAI 문서
ClaudeBot	Anthropic	모델 학습용 수집. robots.txt를 따르며, IP 차단은 신뢰할 만한 거절 수단이 아니라고 안내합니다. Anthropic 문서
meta-externalagent	Meta	기반 AI 모델 학습 또는 직접 색인. Meta 문서
Amazonbot	Amazon	Amazon AI 모델 학습에 쓰일 수 있는 수집. Amazon 문서
MistralAI-Training	Mistral	학습용 수집. Mistral 문서
CCBot	Common Crawl	공개 크롤 데이터셋을 만드는 웹 크롤러. robots.txt를 확인합니다. Common Crawl 문서

검색·색인용 크롤러

토큰	운영 주체	역할과 robots.txt 적용
OAI-SearchBot	OpenAI	ChatGPT 검색 결과용 색인. OpenAI 문서
Claude-SearchBot	Anthropic	Claude 검색 품질 개선용. Anthropic 문서
PerplexityBot	Perplexity	검색·색인용. Perplexity 문서
Meta-WebIndexer	Meta	Meta AI 검색과 인용용 색인. Meta 문서
Amzn-SearchBot	Amazon	검색용이며 학습에는 쓰지 않는다고 안내합니다. 전용 그룹이 없으면 다른 검색 봇의 지시를 따릅니다. Amazon 문서
MistralAI-Index	Mistral	검색용이며 학습에는 쓰지 않는다고 안내합니다. Mistral 문서
DuckAssistBot	DuckDuckGo	수집 데이터를 AI 모델 학습에 쓰지 않는다고 안내합니다.
Applebot	Apple	일반 검색 크롤러. robots.txt에 Applebot 그룹이 없으면 Googlebot 그룹의 규칙을 따릅니다. Apple 문서

사용자 요청형 fetcher

토큰	운영 주체	robots.txt 적용
ChatGPT-User	OpenAI	사용자 동작으로 방문하며 설정은 다른 토큰과 독립적입니다. OpenAI 문서
Claude-User	Anthropic	robots.txt를 따릅니다. Anthropic 문서
Perplexity-User	Perplexity	일반적으로 robots.txt 규칙을 무시합니다. Perplexity 문서
meta-externalfetcher	Meta	사용자 요청으로 방문하며 robots.txt를 우회할 수 있습니다. Meta 문서
Amzn-User	Amazon	사용자 요청으로 방문하며 모든 robots 지시를 따르지는 않을 수 있습니다. Amazon 문서
MistralAI-User	Mistral	사용자 요청으로 방문합니다. Mistral 문서

Google의 Google-Agent와 Google-GeminiNotebook도 사용자 요청 기반 fetcher이며 Google 문서는 이들이 일반적으로 robots.txt 규칙을 무시한다고 안내합니다. 이런 토큰은 robots.txt에 적어도 효과를 기대하기 어렵기 때문에 검사기도 평가 대상에서 뺍니다. 실제 접근 제한이 필요하면 인증 등 서버 측 제어를 사용하세요.

사용 통제 토큰

토큰	운영 주체	역할
Google-Extended	Google	별도 UA 문자열이 없는 robots 토큰. Gemini 앱과 Vertex AI의 학습·grounding 사용을 제어하며 Google Search 포함·순위에는 영향이 없습니다. Google 문서
Applebot-Extended	Apple	페이지를 가져가지 않는 토큰. Apple 생성형 기반 모델 학습 사용을 통제합니다. Apple 문서
YandexAdditional, YandexAdditionalBot	Yandex	Yandex AI 답변에서의 사용을 제어합니다. Yandex 문서

그 밖의 토큰

OAI-AdsBot(OpenAI 광고), meta-externalads(Meta 광고), Google-CloudVertexBot, GoogleOther처럼 위 네 갈래에 딱 맞지 않는 토큰도 있습니다. 필요하면 각 제공사 문서를 보고 개별 그룹을 두세요. Google-CloudVertexBot은 Googlebot 토큰에도 함께 매칭됩니다.

Google-Extended가 하는 일과 하지 않는 일

Google-Extended를 막으면 Gemini 앱과 Vertex AI의 학습·grounding에 콘텐츠가 쓰이는 것을 제한할 수 있습니다. 그러나 Google 문서는 이 토큰이 Google Search 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 안내합니다. 즉 Google-Extended 차단으로는 AI Overviews나 AI Mode 노출을 막을 수 없습니다.

AI Overviews와 AI Mode는 Googlebot이 색인한 내용을 기반으로 하므로 제어 수단도 일반 검색과 같습니다. Google robots meta 문서 기준으로 nosnippet은 콘텐츠가 AI Overviews·AI Mode의 직접 입력으로 쓰이는 것을 막고, max-snippet은 그 분량을 제한하며, data-nosnippet은 특정 구간만 제외합니다(JSON-LD는 숨기지 않습니다). 페이지를 아예 빼려면 noindex를 씁니다.

사이트 단위로 결정하려면 Search Console의 설정 > Search generative AI 항목을 쓸 수 있습니다. Search Console 도움말에 따르면 기본값은 포함이고, 2026년 8월 31일부터 전 세계 모든 속성에 적용되며, AI Overviews·AI Mode·Discover의 생성형 AI 기능을 함께 다루고, 변경은 1~2일 안에 반영됩니다. 이 설정은 다른 곳의 순위 신호가 아니고 AI 학습에도 영향을 주지 않습니다. 학습은 Google-Extended가 담당합니다. 기본값은 포함이지만 하위 속성은 상위 설정을 상속할 수 있으며, 포함 상태가 실제 노출을 확정하지는 않습니다.

Bing과 Copilot의 사용 제어

Bing은 robots meta의 NOCACHE와 NOARCHIVE로 생성형 AI 사용을 제어합니다. Bing 안내 기준으로 NOCACHE는 Bing Chat 사용을 URL·제목·스니펫으로 제한하고, NOARCHIVE는 Bing Chat 답변과 Microsoft 기반 모델 학습에서 콘텐츠를 제외합니다. 두 경우 모두 일반 검색 결과에는 계속 나타납니다.

차단이 아니라 선호를 적는 방법

robots.txt에 Content-Signal: search=yes, ai-train=no처럼 적는 Content Signals 문법이 있습니다. Cloudflare 안내는 이 신호가 선호를 표현할 뿐 스크래핑에 대한 기술적 대응책이 아니라고 밝힙니다. Cloudflare 관리형 robots.txt를 켜면 이 줄이 자동으로 추가되며, Cloudflare 문서에 따르면 Google Search Console이 이 줄을 “Syntax not understood”로 표시할 수 있습니다. 검사기는 이런 선언을 차단과 별도로 “선호 선언”으로 근거에 함께 보여 줍니다.

IETF AIPREF 작업반의 Internet-Draft는 robots.txt의 Content-Usage: train-ai=n 줄과 같은 이름의 HTTP 헤더를 정의합니다. 2026-09-23 기준 RFC가 아닌 초안이므로, 어떤 크롤러가 이를 따르는지는 각 제공사 문서로 확인해야 합니다.

Cloudflare AI Crawl Control을 쓸 때

Cloudflare는 2026년 9월 15일부터 Block 설정을 혼합 용도 크롤러에도 적용합니다. Cloudflare 안내에 따르면 현재 Cloudflare의 Block 설정은 Googlebot·Bingbot·Applebot의 검색 접근까지 차단할 수 있습니다. 다만 기존 Training 차단 설정은 Disallow AI Training으로 이관되므로, 기존 사이트가 일괄적으로 새 검색 차단을 받는 것은 아닙니다. 새 도메인에는 프리셋이 제공됩니다.

주의할 점은 WAF나 Crawl Control 단계의 차단이 robots.txt에 나타나지 않는다는 것입니다. 검사기는 robots.txt 텍스트만 해석하므로 Cloudflare 대시보드에서 막힌 크롤러는 검사기에서 허용으로 보일 수 있습니다. Cloudflare 설정을 바꿨다면 대시보드에서 어떤 토큰이 차단 상태인지 따로 확인하세요.

학습·검색용 봇 예제 3가지

1. 별도 제한 없이 허용

AI 관련 봇에 별도 제한을 두지 않는 일반적인 콘텐츠 사이트 예입니다.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

별도 규칙을 두지 않으면 개별 UA는 * 그룹을 따릅니다. 중요: OAI-SearchBot처럼 전용 User-agent 그룹을 추가하면 * 그룹의 /admin/, /cart/ 제한을 상속하지 않습니다. 전용 그룹에는 필요한 제한을 다시 적으세요.

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /cart/

이 예시는 OAI-SearchBot을 공개 콘텐츠에는 허용하면서 와일드카드 그룹과 같은 비공개 경로 제한을 명시합니다.

2. 학습·일부 AI 사용 제한, 검색용 봇은 허용

학습용 봇과 사용 통제 토큰을 제한하고, 나열한 검색용 UA는 허용하는 예입니다. Google-Extended에는 Gemini·Vertex AI의 grounding 사용 제한도 포함되므로 학습 전용 차단 예는 아닙니다. 이 규칙만으로 실제 수집·검색 결과·답변 활용 여부를 확정하지는 않습니다.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /

User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Meta-WebIndexer
User-agent: Amzn-SearchBot
User-agent: MistralAI-Index
Allow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

User-agent 줄을 연달아 적으면 그 아래 규칙이 나열된 모든 UA에 함께 적용됩니다.

3. 학습·검색용 봇 제한, 일반 검색은 유지

학습·검색용 UA에 제한을 선언하면서 일반 검색용 Googlebot은 별도로 허용하는 예입니다.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-externalagent
User-agent: Meta-WebIndexer
User-agent: CCBot
Disallow: /

User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: Googlebot
Allow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Applebot 전용 그룹이 없으므로 이 예에서 Applebot은 Googlebot 그룹을 따라 허용됩니다. 반대로 Googlebot을 Disallow: /로 막으면 Applebot도 함께 막힙니다.

사용자 요청형 fetcher 예제

아래 선언은 UA별 의사를 robots.txt에 적는 형식입니다. Anthropic은 Claude-User가 robots.txt를 따른다고 안내하지만, Perplexity-User는 일반적으로 규칙을 무시하고 meta-externalfetcher와 Amzn-User는 우회할 수 있다고 안내합니다. 다른 사용자 요청형 토큰은 현재 제공사 문서를 따로 확인하세요.

# Anthropic은 Claude-User의 robots.txt 제어를 지원합니다.
User-agent: Claude-User
Allow: /

# 아래 토큰은 제공사 문서상 robots.txt 적용 방식이 다르거나
# 규칙을 따르지 않을 수 있습니다.
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
Allow: /

잘못된 예와 수정된 예

1. 학습을 막으려다 AI 검색까지 차단

# 잘못된 예: 의도는 "학습 거절"인데 검색 색인용까지 막힘
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

OAI-SearchBot과 PerplexityBot은 검색·색인용입니다. 학습만 거절하려던 의도라면 이 두 줄이 잘못 들어간 것입니다.

# 수정된 예
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

2. Google-Extended로 AI Overviews를 막으려는 시도

# 잘못된 예: "AI Overviews에 쓰이는 걸 막겠다"는 의도로 작성
User-agent: Google-Extended
Disallow: /

User-agent: Googlebot
Disallow: /

첫 번째 그룹은 Gemini 학습·grounding만 제한하고 AI Overviews에는 영향이 없습니다. 두 번째 그룹은 Google Search 전체를 차단하며, 전용 그룹이 없는 Applebot까지 함께 막습니다. 검색 노출을 원한다면 치명적인 설정이고, 애드브랜치의 robots-txt-path-allowed가 이 상태를 잡아냅니다.

# 수정된 예: Gemini 학습·grounding 사용은 제한하고 Google Search 색인은 유지
User-agent: Google-Extended
Disallow: /

User-agent: Googlebot
Allow: /

<!-- AI Overviews·AI Mode의 직접 입력에서 빼려는 페이지 -->
<meta name="robots" content="nosnippet" />

AI Overviews·AI Mode에서 빼려면 nosnippet, data-nosnippet, max-snippet 또는 noindex를 쓰거나 Search Console의 Search generative AI 설정을 조정하세요.

3. 크롤링을 막고 noindex를 기대하는 경우

# 잘못된 예
User-agent: *
Disallow: /private/

<!-- /private/report 페이지 -->
<meta name="robots" content="noindex" />

크롤링이 막히면 그 페이지의 noindex를 읽지 못합니다. 색인에서 확실히 빼려면 크롤링을 허용한 채 noindex를 읽게 해야 합니다. meta-robots-indexability와 GEO 항목 A03이 이 지시문을 확인합니다.

# 수정된 예: robots.txt는 열어 두고 페이지에서 noindex
User-agent: *
Allow: /private/

검사기가 판정하는 방식

애드브랜치 검사기의 GEO 진단 항목 geo-a08-ai-crawler-robots와 SEO 항목 ai-crawler-directive는 같은 내부 카탈로그를 사용하고, robots.txt에서 전체 차단(Disallow: /)된 토큰을 목적별로 나누어 봅니다. 일반 검색용 Applebot과 제공사 문서상 robots.txt를 무시하는 Google 사용자 요청형 fetcher는 이 AI 카탈로그에 넣지 않습니다.

• 검색용 또는 사용자 요청형 토큰이 하나라도 전체 차단이면 geo-a08은 warning입니다. 근거에는 “검색:”, “사용자 요청:”, “학습·통제:“로 나뉜 토큰 목록이 나옵니다.
• 학습용·통제 토큰만 차단이면 info입니다. Google-Extended가 포함되면 Gemini 학습·grounding만 제한되고 Google Search·AI Overviews 포함 여부에는 영향이 없다는 설명이 붙습니다.
• 전체 차단이 없으면 pass이고, 검사한 UA 수와 전용 그룹이 있는 UA를 근거로 보여 줍니다.
• robots.txt를 가져오지 못하면 unknown이며, 확인하지 못한 항목은 알 수 없음으로 남깁니다.

geo-a08은 GEO 100점에 넣지 않는 별도 진단이고, ai-crawler-directive의 최대 배점은 SEO 1점입니다. 검사기 카탈로그에서 Google-Extended와 Applebot-Extended는 학습·통제 쪽으로, YandexAdditional은 검색 쪽으로 분류합니다. Google-Agent, Google-GeminiNotebook, YandexAdditionalBot, 일반 검색용 Applebot은 이 카탈로그에 없습니다. 현재 카탈로그에는 제공사 문서가 확인되지 않은 Bytespider도 robotsHonored: unknown인 내부 항목으로 남아 있으므로, 이 토큰을 제공사 정책의 근거로 해석하면 안 됩니다. Content-Signal 줄은 차단과 별도로 근거에 “선호 선언”으로 표시합니다.

선택할 때 확인할 점

선택	robots.txt에 선언하는 범위	확인할 점
별도 제한 없이 허용	개별 AI UA에 별도 Disallow를 두지 않음	봇별 기본 그룹과 현재 제공사 정책을 확인
학습·통제 토큰 제한	학습용·통제 토큰과 검색용 UA를 분리 선언	사용자 요청형 fetcher의 적용 방식은 제공사별로 다름
학습·검색용 봇 제한	해당 UA에만 Disallow를 선언	일반 검색 봇과 사용자 요청형 fetcher 규칙을 별도로 검토

어느 선택이 맞는지는 콘텐츠의 접근 정책과 서비스 요구에 따라 정합니다. robots.txt는 협조적 UA에 대한 지시이므로 실제 수집·학습·검색 결과를 단정하는 수단으로 쓰지 않습니다.

적용 시 주의점

• robots.txt는 강제 장치가 아닙니다. 규약을 무시하는 요청까지 막으려면 서버나 CDN 수준의 차단이 필요합니다.
• 변경 반영에는 시간이 걸립니다. 제공사 문서 기준으로 OpenAI 검색은 약 24시간, Perplexity·Meta는 최대 24시간, Amazon은 약 24시간(robots 캐시는 최대 30일), DuckAssistBot은 72시간, Yandex AI는 2~14일이 걸릴 수 있습니다.
• UA 문자열은 제공사가 바꾸거나 새로 추가합니다. 분기에 한 번은 각 공식 문서를 확인해 갱신하세요.
• UA 이름 비교는 대소문자를 구분하지 않지만, 오타가 있으면 그 규칙은 그대로 무시됩니다. GPTbot과 GPT-Bot은 다른 이름입니다.
• 이 검사는 robots.txt 텍스트와 초기 HTML에서 관찰된 내용만 봅니다. JavaScript 렌더링, 실제 로그인 상태, WAF·CDN 차단, 제공사별 접근 성공 여부는 확인하지 못합니다. <noscript> 대체 본문(A05)은 보완책이 될 수 있지만 실제 제공사 접근을 증명하지 않습니다.
• curl -A 등으로 UA 문자열을 흉내 낸 응답은 서버의 그 문자열 처리만 보여 줍니다. 해당 제공사의 봇이 요청했거나 접근할 수 있음을 증명하지 않습니다.

자주 묻는 질문

AI 크롤러를 차단하면 이미 학습된 내용도 지워지나요

아닙니다. robots.txt 차단은 앞으로의 수집에 대한 요청이며, 이미 수집된 사본이나 학습이 끝난 모델에 소급 적용되지 않습니다. 기존 데이터에 대한 처리는 각 제공사의 별도 절차를 확인해야 합니다.

전부 열어 두면 AI가 우리 글을 인용하나요

인용을 확정하는 설정은 없습니다. robots.txt의 허용 선언만으로 실제 수집이나 인용 여부를 알 수 없으며, 각 서비스의 정책과 판단에 따라 달라집니다.

User-agent: *로 막으면 AI 크롤러도 막히나요

해당 UA를 위한 별도 그룹이 robots.txt에 없다면 * 그룹이 적용됩니다. 그러나 특정 UA 그룹을 만들면 그 UA는 자기 그룹의 규칙만 적용하고 * 그룹의 제한을 상속하지 않습니다. 이 우선순위 때문에 의도와 다른 결과가 나오는 경우가 많으니 개별 그룹을 만들 때는 필요한 규칙을 그 안에 모두 다시 적으세요.

Google-Extended를 막으면 AI Overviews에서 빠지나요

아닙니다. Google-Extended는 Gemini 학습·grounding 사용만 제한하고 Google Search 포함이나 AI Overviews 노출에는 영향을 주지 않습니다. AI Overviews·AI Mode에서 빼려면 nosnippet·data-nosnippet·max-snippet·noindex를 쓰거나 Search Console의 Search generative AI 설정을 조정하세요.

사용자 요청형 fetcher까지 막아야 하나요

사용자 요청에 따른 URL 방문이라는 역할은 같지만 robots.txt 적용 방식은 제공사마다 다릅니다. Perplexity-User와 Google의 사용자 요청 기반 fetcher는 일반적으로 robots.txt 규칙을 따르지 않고, meta-externalfetcher와 Amzn-User도 우회할 수 있다고 안내합니다. Anthropic은 Claude-User의 robots.txt 제어를 지원합니다. 실제 접근 제한에는 인증 등 서버 측 제어를 사용하세요.

관련 가이드

• robots.txt 작성법과 흔한 실수
• GEO 점검 체크리스트
• SEO와 GEO는 무엇이 다른가