AI 크롤러 robots.txt 설정 실전 — GPTBot·ClaudeBot·PerplexityBot·Google-Extended, 무엇을 열고 무엇을 막을까

왜 robots.txt부터 봐야 하나?

GEO 진단에서 가장 먼저, 가장 자주 발견되는 문제가 "AI 크롤러가 들어올 수 없는 사이트"입니다. 콘텐츠가 아무리 좋아도 크롤러가 읽지 못하면 AI 답변에 인용될 수 없습니다. 그리고 지난주 구글의 존 뮬러가 서버 로그에서 AI 크롤러가 사이트맵과 RSS를 읽는 것을 확인했다고 밝혔듯, AI 크롤러는 실제로 사이트를 돌아다니고 있습니다.

robots.txt는 사이트 루트(내사이트/robots.txt)에 두는 텍스트 파일로, 크롤러에게 어디를 읽어도 되고 어디를 읽지 말라고 알리는 규칙입니다. 구글 문서가 강조하듯 이것은 요청이지 강제가 아닙니다. 공식 크롤러는 지키지만, 지키지 않는 봇을 막는 수단은 아닙니다.

어떤 AI 크롤러가 있고 각각 무엇을 하나?

각 회사의 공식 문서(2026년 10월 기준)를 그대로 정리했습니다. 이름과 용도가 자주 바뀌니 적용 전 출처 링크에서 최신 상태를 확인하세요.

여기서 핵심 구분은 학습용 vs 검색·인용용입니다. "AI한테 내 콘텐츠를 학습시키기 싫다"와 "AI 검색에 우리 회사가 나왔으면 좋겠다"는 양립할 수 있습니다. 학습용만 막고 검색용은 열면 됩니다.

추천 설정 — "검색 인용은 허용, 학습은 선택"

저희가 제작하는 사이트에 기본으로 넣는 구성입니다. 사이트 노출이 목적인 사업자 사이트라면 대부분 이대로 쓰시면 됩니다.

# 기본: 전체 허용
User-agent: *
Allow: /

# AI 검색·인용용 크롤러 — 명시적으로 허용
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# AI 학습용 크롤러 — 허용 (학습 제외를 원하면 아래 Allow를 Disallow: / 로)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

# 사이트맵 — 기본 이름 유지
Sitemap: https://내사이트/sitemap.xml

몇 가지 설명을 붙입니다.

• User-agent: * 에 Allow가 있는데 왜 또 적나? 기본이 허용이라 기술적으로 중복입니다. 그래도 명시하는 이유는 두 가지입니다. 나중에 누가 User-agent: * 아래에 Disallow를 추가해도 AI 크롤러 규칙은 살아남고, 운영자가 파일을 열었을 때 "이 사이트는 AI 크롤러를 의도적으로 허용했다"는 것이 보입니다.
• 학습용을 막고 싶다면 GPTBot·ClaudeBot·Google-Extended 블록의 Allow: /를 Disallow: /로 바꾸면 됩니다. 검색 노출에는 영향이 없다는 것이 각 회사 문서의 설명입니다. 다만 저희 경험상 사업자 사이트는 학습을 막을 실익이 거의 없고, AI가 회사 정보를 "알고 있는" 쪽이 유리한 경우가 많습니다.
• Crawl-delay — Anthropic 문서는 Crawl-delay: 1 같은 비표준 확장을 ClaudeBot이 존중한다고 밝힙니다. 서버가 약하면 쓸 수 있지만, 구글은 이 지시어를 무시합니다.
• 사이트맵 이름은 바꾸지 마세요. 뮬러의 말처럼 AI 크롤러는 사이트맵을 제출받는 창구가 없어 기본 이름 sitemap.xml과 RSS 피드로 찾습니다.

적용했는데도 안 들어온다면 — 세 군데를 더 본다

robots.txt는 올바른데 AI 크롤러가 차단되는 사례가 더 흔합니다. 진단에서 보는 순서입니다.

1. CDN·보안 서비스의 봇 차단 — Cloudflare의 봇 차단 기능, AWS WAF, 국내 호스팅의 "비정상 트래픽 차단"이 AI 크롤러를 통째로 막는 경우가 많습니다. 대시보드에서 알려진 봇 허용 목록에 위 크롤러가 있는지 확인합니다.
2. 보안 플러그인 — 워드프레스의 Wordfence 류 플러그인은 기본 설정에서 "나쁜 봇"을 차단하는데, 그 목록에 AI 크롤러가 들어 있는 경우가 있습니다.
3. 서버 설정 — .htaccess나 nginx 설정에서 User-Agent 문자열로 403을 돌려주는 규칙이 과거 대행사가 남긴 채 살아 있기도 합니다.

Invoke-WebRequest -Uri "https://내사이트/" -UserAgent "OAI-SearchBot/1.0" -UseBasicParsing | Select-Object StatusCode
Invoke-WebRequest -Uri "https://내사이트/" -UserAgent "ClaudeBot/1.0" -UseBasicParsing | Select-Object StatusCode
Invoke-WebRequest -Uri "https://내사이트/" -UserAgent "PerplexityBot/1.0" -UseBasicParsing | Select-Object StatusCode

들어온 뒤에는 무엇을 읽나?

크롤러가 들어왔다고 끝이 아닙니다. 들어와서 읽는 것이 자바스크립트 실행 전의 HTML입니다. 본문이 스크립트로 나중에 채워지는 사이트는 AI 크롤러에게 빈 페이지로 보입니다. 이것이 저희가 정적 생성(SSG)을 고집하는 이유이고, 테크니컬 SEO 체크리스트의 10번 항목입니다. 그다음이 구조화 데이터와 인용하기 쉬운 문장 구조 — GEO 입문 글에서 다룬 내용입니다.

지금 할 일

• 내사이트/robots.txt를 열어 AI 크롤러를 Disallow하는 줄이 없는지 확인
• 위 추천 설정을 참고해 검색·인용용 크롤러 3종(OAI-SearchBot, Claude-SearchBot, PerplexityBot)을 명시 허용
• 학습용 3종(GPTBot, ClaudeBot, Google-Extended)은 사이트 정책에 따라 허용/차단 결정
• PowerShell로 크롤러 User-Agent 응답 코드 확인 (3종 모두 200인지)
• CDN·보안 플러그인의 봇 차단 목록 확인
• Sitemap: 줄이 있고 사이트맵이 기본 이름인지 확인

여섯 항목 중 하나라도 막혀 있으면 콘텐츠 작업 전에 이것부터입니다. 사이트 주소만 보내주시면 AI 크롤러 6종의 실제 응답을 확인해 결과를 알려드립니다.