01
Crawler-Token festlegen
Voreingestellt ist Googlebot. Eine konkrete Gruppe erbt die Regeln der Sternchen-Gruppe nicht. Geben Sie den Produkt-Token statt eines vollständigen HTTP-User-Agent-Headers ein.
Crawling-Regeln
Robots.txt GeneratorRegeln schreiben und prüfen
Bearbeiten Sie einen robots.txt-Entwurf und testen Sie einen Crawler samt URL-Pfad. Die Website wird nicht abgerufen.
Robots.txt Generator
Pfadurteil
Crawling erlaubt
- Gewählte Gruppe
- *
- Entscheidende Regel
- Allow: /private/public/ · Zeile 3
Die längste passende Regel gilt; bei Gleichstand gewinnt Allow.
Sitemap-Zeilen
- https://example.com/sitemap.xml · Zeile 4
Regeln bleiben in diesem Browser-Tab. Keine Anfrage an die Website.
Regelgruppe erstellen
Aktueller Entwurf geprüft.
Vor einem Relaunch kann eine breite Disallow-Regel aus Versehen einen öffentlichen Pfad sperren. Der Robots.txt Generator führt den Entwurf und einen lokalen Pfadtest zusammen, damit die wirksame Zeile sichtbar wird.
Der Robots.txt Tester nutzt dieselbe Datei, die Sie später herunterladen. Statt robots.txt prüfen nur anhand der Reihenfolge, sehen Sie die längste passende Regel und die betroffene Gruppe. Allow Disallow Regeln bleiben nachvollziehbar.
Warum dieser Robots.txt Generator hilft
Die Entscheidung für einen Pfad ist bis zur Quellzeile nachvollziehbar.
Eine engere Freigabe schlägt eine breite Sperre
Der Robots.txt Generator zeigt am Beispiel: Disallow: /private/ sperrt den Bereich, Allow: /private/public/ gibt den längeren Teilpfad frei. Die Ausgabe nennt die entscheidende Zeile.
Entwurf und Download bleiben identisch
Neue User-agent-Gruppen werden vor dem Anhängen als Text geprüft. Anschließend testen und laden Sie genau denselben robots.txt-Inhalt herunter. Sitemap-Zeilen werden separat angezeigt und ändern keine Freigabe.
Drei Prüfungen vor dem Hochladen
02
Einen echten Pfad testen
Ein vollständiger URL ist erlaubt; verglichen werden nur Pfad und Abfrage. Die automatische Prüfung startet 350 ms nach der letzten Änderung. Nach dem Abschalten dienen Schaltfläche und Ctrl/Cmd + Enter.
03
Entscheidende Zeile lesen
Kontrollieren Sie Gruppe, Allow/Disallow und Zeilennummer. Nach einer Änderung ist das alte Ergebnis veraltet; Kopieren und Herunterladen bleiben bis zur neuen Prüfung gesperrt.
Was der Regeltest auswertet
Spezifische Gruppen
Mehrfach definierte Gruppen desselben Tokens werden für die Prüfung zusammengeführt. Eine Googlebot-Gruppe wird nicht mit User-agent: * kombiniert.
Längster passender Pfad
Präfixe, * und ein abschließendes $ werden berücksichtigt. Bei gleich langen Treffern gewinnt Allow gegenüber Disallow.
Sitemaps und Diagnosezeilen
Gültige absolute Sitemap-URLs erhalten Zeilennummern. Unbekannte Felder und ungültige Pfade bleiben im Text und werden gemeldet.
Grenzen der lokalen Prüfung
- Kein Abruf der Live-Datei
- Der Test liest nur eingefügten Text, keine /robots.txt auf Ihrem Server. HTTP-Status und Weiterleitungen werden nicht simuliert.
- Nur ein Ziel pro Durchlauf
- Der Robots.txt Generator scannt keine ganze Website und keine Crawler-Matrix. Prüfen Sie kritische Pfade einzeln.
- Keine Zugriffssperre und kein noindex
- Disallow steuert Crawling kooperierender Bots, schützt aber keine privaten Daten. Verlinkte URLs können im Index bleiben; verwenden Sie Authentifizierung oder noindex passend zum Ziel.
- Erweiterungen ändern das Urteil nicht
- Crawl-delay und Host bleiben als Text erhalten, gelten aber nicht als Allow/Disallow. Sitemap ist ebenfalls keine Zugriffsregel.
- Keine stille Reparatur
- Der Generator hängt nur eine bestätigte Gruppe an. Er sortiert Kommentare nicht um, korrigiert Tippfehler nicht und veröffentlicht keine Serverdatei.
Fragen zum Robots.txt Generator
Wohin gehört die Datei?
Ins Stammverzeichnis des jeweiligen Hosts, beispielsweise https://beispiel.de/robots.txt. Eine Datei in einem Unterordner gilt nicht für die ganze Domain.
Warum erscheint meine gesperrte Seite weiterhin?
Disallow verhindert Abrufe, aber nicht unbedingt die Anzeige einer verlinkten URL. Für eine Indexsperre muss die Seite für einen noindex-Hinweis erreichbar sein.
Wie sperre ich die gesamte Website?
Unter User-agent: * bewirkt Disallow: / eine vollständige Crawling-Sperre für konforme Bots. Prüfen Sie das unbedingt vor dem Einsatz auf einer Live-Website.
Was bedeutet eine leere Disallow-Zeile?
Sie sperrt keinen Pfad. Der lokale Tester ignoriert diese Regel und erlaubt den Pfad, sofern keine andere passende Sperre greift.
Soll ich CSS- und JavaScript-Dateien sperren?
Normalerweise nicht; Suchmaschinen benötigen sie für die Darstellung. Testen Sie Ressourcenpfade vor dem Veröffentlichen einer breiten Sperre.
Ist ein Regelergebnis unklar?
Robots.txt Generator am Entwurf testen
Ändern Sie eine Regel und prüfen Sie die entscheidende Zeile. Der Robots.txt Generator speichert nur den zuletzt geprüften Text.