AI 크롤러 정책 설정하기

무엇을 정하는지 압니다

설정 위치는 관리자 > 환경 설정 > 추가 설정 입니다. 값을 바꾼 뒤에는 화면 오른쪽 위 적용 버튼을 눌러야 저장됩니다.

AI 서비스가 홈페이지 내용을 학습 데이터로 쓰거나 AI 검색에 인용하는 것을 봇 단위로 막을 수 있습니다.

목록에 12개 봇이 있습니다.

GPTBot (OpenAI 학습) · ChatGPT-User (사용자 쿼리) · OAI-SearchBot (OpenAI 검색)
ClaudeBot · anthropic-ai (Anthropic)
Google-Extended (Gemini/AI 학습) · PerplexityBot
CCBot (Common Crawl — 다양한 LLM 학습)
Bytespider (ByteDance/TikTok) · Applebot-Extended
Meta-ExternalAgent · cohere-ai

체크한 봇은 robots.txt에 차단 규칙이 자동 추가됩니다. 체크를 해제하면 정책 없음(기본 허용)입니다.

값을 넣은 뒤 오른쪽 위 적용을 눌러야 저장됩니다.

표를 좌우로 밀어서 보세요.

상황별 판단
상황	권장
AI 검색에 인용되길 원함	차단하지 않습니다. 노출 기회가 늘어납니다.
콘텐츠가 핵심 자산이고 학습에 쓰이길 원치 않음	학습용 봇(GPTBot·Google-Extended·CCBot 등)만 차단합니다.
전부 막고 싶음	모든 AI 봇 차단을 누릅니다.