01
対象クローラーを絞る
初期値はGooglebotです。専用グループがある場合、User-agent: *の規則は引き継がれません。完全なHTTPヘッダーではなく製品トークンを入力します。
クロール制御
robots.txtテスター規則を書いて判定まで確認
貼り付けたrobots.txtだけを使い、クローラーと一つのパスを検査します。公開サイトは取得しません。
robots.txtテスター
経路の判定
クロールを許可
- 選択されたグループ
- *
- 決定的な規則
- Allow: /private/public/ · 3行目
最長一致が優先され、同長ならAllowが勝ちます。
Sitemap行
- https://example.com/sitemap.xml · 4行目
規則はこのブラウザー内で処理し、サイトへ通信しません。
規則グループの作成
現在の草稿をテスト済みです。
公開前の設定でDisallow: /private/を追加したとき、公開ページまで止めていないか気になります。robots.txtテスターは対象パスに適用される行を示し、規則の並び順による思い込みを避けます。
このページのrobots.txtジェネレーターは規則グループをプレビューしてから同じ本文へ追加します。robots.txt構文チェックで無視された行も示し、URLブロック判定とダウンロードの元になる本文を一つに保ちます。
robots.txtテスターで分かること
許可・禁止の結論だけでなく、その根拠となる行を示します。
狭い範囲のAllowが広い禁止に勝つ
robots.txtテスターの例では/private/を禁止しても、より長い/private/public/のAllowが公開ページに適用されます。勝った行番号を確認してから公開できます。
プレビューした規則を同じ本文で試す
User-agentグループとSitemapを確認してから本文へ追加します。その本文をすぐテストし、同じ内容をrobots.txtとして保存します。Sitemapは経路の許可判定には使いません。
公開前に確認したい三つの視点
02
判定する経路を選ぶ
パスのほか完全なURLも入力できますが、照合するのはパスとクエリだけです。自動判定は入力停止から350ミリ秒後に実行。オフにするとボタンやCtrl/Cmd + Enterで実行します。
03
行番号を確かめて保存する
結果に選択グループと決定的な規則を表示します。入力を変えた直後は結果が古くなり、再判定が終わるまでコピーと保存を無効にします。
照合結果の読み方
同名グループの統合
同じトークンの複数グループは判定時に統合します。Googlebot専用グループと通配グループは混ぜません。
最長一致と同長の例外
接頭辞のほか*と末尾$に対応します。最も長く一致した規則が勝ち、同じ長さならAllowがDisallowより優先されます。
Sitemapと構文上の注意
有効な絶対Sitemap URLと行番号を別に表示します。未対応の指示や不正な経路は知らせますが、元の本文は書き換えません。
ローカル判定で扱わない範囲
- 公開中のファイルは取得しない
- 貼り付けた本文だけを調べます。サーバーの/robots.txtやHTTP応答、リダイレクトは確認しません。
- 一度に一つの経路だけ
- robots.txtテスターはサイト全体を巡回しません。大切なURLやクローラーは一つずつ再テストしてください。
- インデックス削除や保護はしない
- Disallowはクロールへの指示であり、検索結果からの削除や秘密情報の保護ではありません。必要ならnoindexや認証を使います。
- 拡張指示は判定に使わない
- Crawl-delayやHostは本文に残りますが、Allow／Disallow判定には参加しません。Sitemapも許可規則ではありません。
- 既存の記述は自動修正しない
- 生成したグループはプレビュー後に末尾へ追加します。コメントの並べ替え、誤記の修正、サーバーへの設置は行いません。
robots.txtテスターのよくある質問
robots.txtはSEOに影響しますか？
重要なページを誤って禁止すると、検索エンジンが内容を取得できなくなります。ここで公開前のパスをテストできますが、順位は予測しません。
robots.txtのDisallowでページをnoindexにできますか？
できません。禁止されたURLが外部リンクから知られれば表示される場合があります。削除にはクロール可能なページのnoindexを検討します。
robots.txtのテスト方法は？
本文を貼り付け、クローラーの製品トークンと経路を入れます。判定結果のグループ、勝った規則、行番号を見てください。
robots.txtの変更はすぐに反映されますか？
このローカル判定はすぐ更新されます。実際のクローラーにはキャッシュがあるため、公開サイトへの反映時刻は本ツールでは確認できません。
robots.txtが存在しない場合どうなりますか？
一般に適用する禁止規則がなければクロールは許可されます。ただし本ツールはサイトへ問い合わせないため、実際の404状態は判定しません。
判定結果について質問がありますか？