이 페이지는 비밀번호로 보호되어 있습니다.
검색엔진과 AI 가 우리 홈페이지를 읽어 가는 프로그램(크롤러)에게 주는 안내를 정합니다. 대부분은 비워 두어도 알맞은 기본값이 자동으로 나가므로, 필요한 것만 고치면 됩니다.
크롤러 규칙 구획 찾기
왼쪽 메뉴 환경 설정 → 검색 설정을 누르고 크롤러 · 소유 확인 탭을 연 뒤, 검색엔진 소유 확인 아래로 내려가면 크롤러 규칙 (robots · ads · llms) 이 있습니다. 그림은 안목 홈페이지 예입니다.
추가 메타태그와 AI 크롤러 정책
- 추가 메타태그 — 광고 네트워크 인증처럼 따로 받은 <meta> 태그를 붙여 넣습니다. 홈페이지 머리(<head>)에 그대로 실립니다. 구글·네이버·빙·다음·페이스북 인증은 위 「검색엔진 소유 확인」 칸을 쓰세요.
- AI 크롤러 정책 — 체크한 AI 봇은 홈페이지 글을 읽어 가지 못하도록 robots.txt 에 「들어오지 마세요(Disallow: /)」가 자동으로 붙습니다. 체크하지 않은 봇은 따로 막지 않습니다.
- 모든 AI 봇 차단 · 모든 AI 봇 허용 — 열두 개를 한꺼번에 체크하거나 풉니다.
robots.txt — 보지 말아야 할 곳 알려 주기
- robots.txt — 검색엔진에게 「어디는 봐도 되고 어디는 보지 말라」고 알리는 안내문입니다. 비워 두어도 기본 robots.txt 가 자동으로 만들어집니다. 더할 규칙이 있을 때만 그 규칙을 적으면, 기본값 끝에 붙어 나갑니다.
표를 좌우로 밀어서 보세요.
| 내용 | 설명 |
|---|---|
| 모든 봇에 한 벌로 적용 | 검색엔진 이름을 따로 적지 않습니다 |
| 관리자·내부 폴더 차단 | /admin/, /path/, /include/ 같은 관리용 자리와 회원 자료 폴더 |
| 스캐너 봇 차단 | Ahrefs·Semrush·MJ12 등 20여 종 |
| 사이트맵 주소 | 지금 주소 기준으로 자동 포함 |
| AI 크롤러 정책 | 위에서 체크한 봇의 차단 줄 |
| 다음 인증 | 다음 웹마스터도구 코드를 넣었다면 맨 위에 한 줄 |
ads.txt 와 llms.txt
- ads.txt — 우리 홈페이지에 광고를 팔 수 있는 회사 명단입니다. 구글 애드센스처럼 광고를 붙여 돈을 버는 경우에만, 광고 회사가 준 내용을 그대로 붙여 넣습니다. 광고를 붙이지 않으면 비워 두세요(비우면 /ads.txt 주소는 열리지 않습니다).
- llms.txt — AI 에게 우리 홈페이지를 한 장으로 소개하는 파일입니다. 활성화에 체크하면 /llms.txt 주소에 사이트 제목 · 한 줄 답변 · 회사 정보 · 1차 메뉴 목록 · 첫 화면 FAQ 가 자동으로 담깁니다. 아래 칸에 적은 글은 그 끝에 덧붙습니다. 체크하지 않으면 /llms.txt 는 열리지 않습니다.
저장하고 확인하기
다 고쳤으면 오른쪽 위 적용을 누릅니다.
「지금 상태」 탭의 robots.txt 보기를 누르면 실제로 나가는 robots.txt 를 새 창에서 볼 수 있습니다.
여기까지 확인했나요
- AI 봇을 막을지 정했습니다(알리고 싶다면 그대로 둡니다).
- robots.txt 는 꼭 필요한 규칙만 더했고, 봇 이름으로 Allow 를 주지 않았습니다.
- llms.txt 를 켜고 「적용」을 누른 뒤 robots.txt 보기로 결과를 확인했습니다.
