01
크롤러 이름을 정합니다
기본값은 Googlebot입니다. 전용 그룹이 있으면 User-agent: *의 규칙을 상속하지 않습니다. 전체 HTTP 헤더가 아닌 제품 토큰을 사용하세요.
크롤링 제어
robots.txt 생성기만들고 같은 파일에서 검사
robots.txt 초안을 편집하고 크롤러와 URL 경로 하나를 지정하세요. 실제 사이트에는 접속하지 않습니다.
robots.txt 생성기
경로 판정
크롤링 허용
- 선택된 그룹
- *
- 결정한 규칙
- Allow: /private/public/ · 3번째 줄
가장 긴 규칙이 이기며 동률이면 Allow가 우선합니다.
Sitemap 줄
- https://example.com/sitemap.xml · 4번째 줄
규칙은 이 브라우저 탭에서 처리하며 사이트로 요청하지 않습니다.
규칙 그룹 만들기
현재 초안 검사 완료
넓은 Disallow를 추가하고도 공개 경로가 열려 있어야 할 때가 있습니다. robots.txt 생성기는 규칙을 미리 보여 준 뒤 원문에 추가하고, 그 원문으로 결과를 검사합니다.
별도의 robots.txt 검사기로 옮길 필요 없이 크롤링 규칙 테스트의 선택 그룹과 승리한 줄을 확인할 수 있습니다. 사이트맵 URL은 표시하지만 접근 허용 여부에는 섞지 않습니다.
robots.txt 생성기로 확인할 차이
추측 대신 적용된 그룹과 줄을 보여 줍니다.
더 구체적인 허용 경로가 이깁니다
예시의 /private/는 차단되지만 /private/public/은 더 길어서 그 아래 페이지를 허용합니다. robots.txt 생성기에서 수정한 뒤 테스트 결과의 Allow 줄 번호를 확인하세요.
규칙 작성부터 파일 저장까지 한 원문
새 User-agent 그룹을 미리 본 뒤 원문 끝에 추가합니다. 이 원문으로 경로를 검사하고 동일한 robots.txt를 저장하므로 생성 결과와 테스트 대상이 어긋나지 않습니다.
배포 전에 살필 세 단계
02
정확한 경로를 검사합니다
전체 URL을 입력해도 경로와 쿼리만 비교합니다. 자동 검사는 수정 후 350밀리초 기다립니다. 끄면 검사 버튼이나 Ctrl/Cmd + Enter를 사용하세요.
03
승리한 줄을 확인합니다
허용 여부와 그룹, 결정적인 규칙의 줄 번호를 읽으세요. 입력을 바꾸면 이전 결과는 낡은 것으로 표시되고 복사·다운로드가 일시 중지됩니다.
규칙 해석에 필요한 세 가지
전용 그룹 우선
동일 토큰의 여러 그룹은 검사할 때 합치지만, Googlebot 그룹과 통배 그룹은 합치지 않습니다.
긴 경로 우선
경로 접두사, * 와 끝의 $를 처리합니다. 일치 길이가 같으면 Allow가 Disallow보다 우선합니다.
사이트맵과 오류 줄 분리
유효한 절대 Sitemap URL은 줄 번호와 함께 표시합니다. 알 수 없는 지시문과 잘못된 경로는 알리고 원문은 유지합니다.
이 검사가 보장하지 않는 것
- 실제 사이트는 가져오지 않습니다
- 붙여 넣은 원문만 검사합니다. 서버의 /robots.txt, 리디렉션 또는 HTTP 오류는 읽지 않습니다.
- 한 번에 경로 하나만
- robots.txt 생성기는 사이트 전체 스캔이나 여러 봇의 일괄 검사를 제공하지 않습니다. 중요한 URL은 각각 확인하세요.
- 보안이나 검색 제외가 아닙니다
- Disallow는 협조하는 크롤러에 대한 요청입니다. 이미 알려진 URL은 검색에 남을 수 있으며 비공개 자료에는 인증이 필요합니다.
- 확장 지시문은 결과를 바꾸지 않습니다
- Crawl-delay와 Host는 원문에 보존되지만 로컬 Allow/Disallow 판정에 쓰이지 않습니다. Sitemap도 허용 규칙이 아닙니다.
- 기존 규칙은 자동 수정하지 않습니다
- 생성기는 미리 본 그룹만 끝에 추가합니다. 주석 정렬, 오타 수정 또는 서버 배포는 하지 않습니다.
robots.txt 생성기 자주 묻는 질문
robots.txt 파일은 무엇을 위한 것인가요?
크롤러가 어떤 경로를 요청할 수 있는지 알려 주는 공개 텍스트 파일입니다. 이 페이지는 그 내용을 로컬에서 작성하고 한 경로에 적용해 봅니다.
Allow와 Disallow 규칙은 어떻게 작동하나요?
선택된 User-agent 그룹에서 경로가 가장 길게 일치하는 규칙이 이깁니다. 길이가 같다면 Allow가 우선입니다.
crawl-delay는 무엇을 하나요?
일부 크롤러에게 요청 간 대기 시간을 제안합니다. Googlebot은 이를 무시하며, 이 도구도 접근 허용 판정에 반영하지 않습니다.
왜 사이트맵 줄을 추가하나요?
Sitemap 줄은 크롤러에 사이트맵 주소를 알려 줍니다. 완전한 HTTP(S) 주소를 입력하면 결과에 따로 표시되며 경로 허용에는 영향을 주지 않습니다.
robots.txt가 페이지를 Google에서 제외함을 보장하나요?
아니요. 크롤링을 막아도 외부 링크로 알려진 URL은 검색에 남을 수 있습니다. 검색 제외에는 접근 가능한 페이지의 noindex를 검토하세요.
규칙 결과가 이해되지 않나요?