보라빛 제어 게이트웨이를 지나며 탐색 신호가 걸러지는 크롤러 접근 제어 일러스트

핵심 요약 · 3줄 체크

  1. 01OpenAI(OAI-SearchBot/GPTBot)와 Anthropic(Claude-SearchBot/ClaudeBot)은 검색·인용용 봇과 학습용 봇을 분리해 운영하며, Perplexity는 학습에 쓰지 않는 PerplexityBot으로 검색 색인을 수행합니다.
  2. 02Google-Extended는 Gemini 앱·Vertex AI 그라운딩과 미래 모델 학습 제어 토큰이며, Google 검색이나 AI Overviews 제어에는 표준 검색 규칙이 필요합니다.
  3. 03Google은 robots.txt의 500 KiB 뒤 규칙을 무시하고 보통 최대 24시간 캐시하므로 파일 크기와 갱신 시점을 관리하고, llms.txt는 접근 제어가 아닌 요약 목차 파일로 활용합니다.

1. 검색 인용과 모델 학습 크롤러를 분리해야 하는 이유

AI 크롤러 제어의 핵심은 “AI 답변 출처로 인용되기 위한 검색용 수집”과 “기초 모델 가중치에 데이터를 반영하는 학습용 수집”을 하나의 차단 규칙으로 묶지 않는 것입니다. 보안이나 트래픽을 줄이려고 인터넷에 떠도는 “AI 봇 일괄 차단” robots.txt 예시를 검증 없이 복사하면, 학습용 봇뿐 아니라 ChatGPT 검색, Claude 검색, Perplexity, 심지어 일반 검색엔진 접근까지 함께 막아 검색 유입과 출처 노출 기회를 동시에 잃을 수 있습니다.

주요 AI 운영사는 웹사이트 소유자가 목적에 따라 접근을 선택할 수 있도록 봇 이름과 제어 토큰을 역할별로 공개합니다(2026년 11월 확인 기준). 따라서 정책을 정할 때는 “모두 허용”과 “모두 차단”의 이분법 대신, robots.txt에서는 검색·AI 인용용 봇과 학습용 봇을 구분해 규칙을 쓰고 llms.txt에는 AI 에이전트가 빠르게 참고할 공개 핵심 문서 목차를 정리하는 방식으로 역할을 나누어 설계해야 합니다.

2. 주요 검색·AI 크롤러 User-Agent 분류표

크롤러를 허용하거나 막기 전에 각 운영사가 공개한 User-Agent 이름과 작동 목적, 차단 시 실제 동작을 정확히 구분해야 합니다. 특히 Google의 Google-Extended는 독립된 크롤러가 아니라 기존 Googlebot이 수집한 콘텐츠를 Gemini 모델 학습과 Gemini 앱·Vertex AI 그라운딩에 사용할지 결정하는 제어 토큰입니다. 이를 차단해도 Google 일반 검색 색인이나 검색 결과 상단의 AI Overviews(AI 개요)에는 영향을 주지 않으므로, AI Overviews 미리보기를 줄이려면 nosnippet·max-snippet 같은 검색 메타 규칙을 써야 합니다. 또한 Googlebot을 robots.txt로 막더라도 다른 페이지에서 해당 URL을 링크하고 있다면 URL 자체는 설명(스니펫) 없이 검색 결과에 남을 수 있습니다.

위쪽 검색 인용 신호는 열린 게이트를 통과하고 아래쪽 모델 학습 신호는 보라빛 방패 앞에서 멈추는 크롤러 분리 개념도
그림 1. 검색 인용용 봇은 통과시키고 모델 학습용 봇은 선택적으로 차단하는 경로 분리
운영사User-Agent / 토큰수집 목적차단 시 영향
GoogleGooglebotGoogle 검색·AI Overviews 색인크롤링 차단(외부 링크 시 URL만 설명 없이 검색에 남을 수 있음)
GoogleGoogle-ExtendedGemini 학습·Gemini 앱 및 Vertex AI 그라운딩 제어해당 AI 학습·그라운딩 제외(Google 검색·AI 개요 유지)
네이버Yeti네이버 검색 웹문서 수집네이버 웹검색 수집 차단
OpenAIOAI-SearchBotChatGPT 검색 색인·출처 링크 표시ChatGPT 검색 답변 노출 제외(탐색용 링크는 남을 수 있음)
OpenAIGPTBotOpenAI 모델 학습용 데이터 수집모델 학습 제외(검색 노출 유지)
AnthropicClaude-SearchBotClaude 검색 결과 색인·정확도 향상Claude 검색 노출 제한
AnthropicClaudeBotClaude 모델 학습용 데이터 수집Anthropic 모델 학습 제외
PerplexityPerplexityBotPerplexity 검색 색인(기초 모델 학습 미사용)검색 색인 수집 차단(사용자 직접 조회 봇과는 별개)
표 1. 검색 및 AI 크롤러 목적별 분류표 — 2026년 11월 공식 문서 확인 기준

한편 ChatGPT-User, Claude-User, Perplexity-User처럼 -User가 붙은 요청자는 사용자가 대화창에서 직접 URL을 입력하거나 실시간 조회를 실행할 때 동작하는 사용자 주도 요청입니다. 운영사마다 정책이 다른데, Anthropic은 Claude-User가 robots.txt를 준수한다고 명시하는 반면 ChatGPT-User는 사용자 요청에 따라 robots.txt가 적용되지 않을 수 있고 Perplexity-User는 일반적으로 robots.txt를 따르지 않습니다(따라서 PerplexityBot을 막아도 사용자 요청 경로까지 모두 차단되는 것은 아닙니다). 결국 사내 문서나 회원 전용 페이지는 robots.txt가 아니라 로그인 인증과 서버 접근 권한 제어로 보호해야 합니다.

3. robots.txt 작성 규격과 흔한 설정 오류

robots.txt의 표준 규격인 RFC 9309(§2.5, 2026년 11월 확인 기준)는 파서가 최소 500 KiB 이상의 파일을 처리할 수 있어야 한다고 정하며, Google 구현 역시 500 KiB를 초과한 부분의 규칙을 무시합니다. 따라서 크롤러가 모든 지시문을 안정적으로 읽게 하려면 파일 크기를 500 KiB(512,000바이트) 미만으로 유지해야 합니다. 또한 Google 등 검색 크롤러는 robots.txt를 보통 최대 24시간 동안 캐시하지만 Cache-Control HTTP 헤더에 따라 캐시 시간이 달라질 수 있고, 재수집이 일시 실패하면 기존 캐시를 더 오래 유지하기도 합니다.

운영에서 주의해야 할 장애는 robots.txt URL 자체가 5xx(500, 503 등) 서버 오류를 반환하는 상태입니다. Google 크롤러가 robots.txt 요청에서 5xx 응답을 받으면 안전을 위해 사이트 크롤링을 일시 중단할 수 있습니다. 반대로 404처럼 파일이 없는 상태는 모든 경로 허용으로 간주됩니다. 또한 Crawl-delay 지시어는 Googlebot이 지원하지 않아 무시하며, 네이버 서치어드바이저의 robots.txt 가이드도 Allow/Disallow 경로 제어 중심으로 안내할 뿐 Crawl-delay 보장을 별도로 문서화하지 않습니다. 따라서 불필요한 경로 차단(Disallow)은 물론 서버 캐싱·요율 제한(Rate Limiting)이나 파라미터 정리를 함께 검토해야 합니다.

다음은 검색엔진과 AI 검색 인용 봇은 허용하면서 모델 학습 제어 토큰(GPTBot, ClaudeBot, Google-Extended)만 차단하고, 관리자·회원 경로를 닫은 robots.txt 예시입니다.

예시 · 검색 허용 + 학습 차단 robots.txt
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /mypage/

User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: Google-Extended Disallow: /

Sitemap: https://example.com/sitemap.xml

위 설정에서는 User-agent: *가 Googlebot, Yeti, OAI-SearchBot, Claude-SearchBot, PerplexityBot에 공통 적용되어 공개 페이지를 읽고 /admin/, /cart/, /mypage/만 피하게 됩니다. 특정 봇 이름의 그룹을 별도로 선언하면 해당 봇은 User-agent: * 규칙을 상속하지 않으므로, 특정 봇에 일부 경로만 허용할 때도 관리자·회원 경로 Disallow를 빼먹지 않도록 주의해야 합니다.

4. llms.txt 파일 형식과 실무 활용 범위

llms.txt는 웹사이트 루트 경로(https://example.com/llms.txt)에 두어 AI 에이전트와 언어 모델이 사이트의 핵심 문서 구조를 빠르게 파악하도록 돕는 Markdown 기반 제안 규격(llmstxt.org, 2026년 11월 확인 기준)입니다. robots.txt처럼 접근을 허용·거부하는 표준 규약이 아니며, 모든 AI 검색엔진이 의무적으로 읽거나 순위에 반영하는 공식 신호도 아닙니다.

그럼에도 제품 스펙, 요금 정책, API·기술지원 문서가 수십 페이지에 흩어져 있는 B2B 기업이나 SaaS 사이트에서는, 핵심 URL과 한 줄 설명을 규격에 맞게 정리해 두면 AI 에이전트가 사이트를 탐색할 때 기준 목차로 참고하기 좋습니다. 최근 v2 규격에서는 루트 /llms.txt뿐 아니라 HTML을 Markdown으로 정리한 개별 .md 문서 버전이나 서비스·문서 하위 경로용 목차를 연결하는 구성도 지원합니다. 작성 형식은 맨 위에 # 사이트명(필수), 이어서 > 핵심 요약, 그 아래 ## 섹션명 목록과 선택적 부차 정보를 담는 ## Optional 순서로 씁니다.

루트 제목과 요약 블록 아래 핵심 섹션 목록이 계층적으로 연결된 llms.txt 마크다운 구조 카드 일러스트
그림 2. 제목·요약·핵심 섹션 목록으로 정리한 /llms.txt 구조
예시 · /llms.txt Markdown 구조
# 한빛물류 WMS
> 중소 유통·제조 창고용 클라우드 재고관리(WMS) 요금·연동·도입 가이드 안내입니다.

## 핵심 서비스

## 기술·고객 지원

## Optional

robots.txt와 llms.txt를 운영 서버에 올린 뒤에는 아래 순서로 확인합니다.

  1. curl -IL https://example.com/robots.txt로 HTTP 200 응답과 text/plain Content-Type을 먼저 확인하고, 이어서 curl -sL https://example.com/robots.txt | wc -c로 압축 해제된 실제 본문 바이트 수가 512000(500 KiB) 미만인지 확인합니다(HEAD 요청만 쓰는 -I는 본문 크기를 측정하지 못합니다).
  2. Google Search Console의 robots.txt 보고서와 네이버 서치어드바이저 검증 도구에서 Googlebot, Yeti 접근이 막히지 않았는지 검사합니다.
  3. 서버 로그에서 실제 요청 User-Agent와 IP가 설정과 맞게 들어오는지 AI 크롤러 로그 분석 기준으로 대조합니다.
  4. 민감한 자료는 robots.txt가 아니라 noindex와 접근 제한 방식에 따라 인증·권한으로 보호합니다.

수집 확인 업무 범위는 수집 확인 솔루션에서 자세히 볼 수 있습니다.

참고 자료(2026년 11월 확인 기준): Google robots.txt 소개, OpenAI 크롤러 안내, Anthropic 크롤러 안내, Perplexity 크롤러 안내, llms.txt 제안 원문.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT 답변에서 우리 회사 링크가 사라지나요?

아닙니다. OpenAI는 모델 학습용 GPTBot과 ChatGPT 검색 색인용 OAI-SearchBot을 분리해 운영합니다. GPTBot만 차단하고 OAI-SearchBot을 허용하면 모델 학습에서는 제외되면서도 ChatGPT 검색 출처에는 노출될 수 있습니다.

Google-Extended를 차단하면 Google AI Overviews(AI 개요)에서도 빠지나요?

아닙니다. Google-Extended는 Gemini 앱 그라운딩과 Vertex AI API 그라운딩, 미래 Gemini 모델 학습을 제어하는 토큰이며 Google 검색과 AI Overviews에는 적용되지 않습니다. AI Overviews 미리보기를 제어하려면 페이지에 nosnippet, data-nosnippet 또는 max-snippet 규칙을 적용해야 합니다.

llms.txt를 만들면 AI 인용이 바로 늘어나나요?

llms.txt는 AI 에이전트가 사이트 핵심 페이지를 찾기 쉽게 돕는 제안 규격이며, 인용을 늘리는 공식 기준은 아닙니다. Google은 AI 검색 기능에 별도 AI 텍스트 파일이 필요하지 않다고 안내합니다(2026년 11월 확인 기준). robots.txt 허용, 읽을 수 있는 HTML 본문, 사이트맵 관리를 먼저 점검하세요.

이 글과 함께 보기

블로그 전체 보기

우리 브랜드의 측정 기록부터 만들어 보세요.

도입 상담 신청