Robots.txt Generator
Erstellen Sie online strukturierte Direktiven für Ihre robots.txt-Datei mit Pfadsperren, Sitemap-Angabe und Crawl-Verzögerung.
Tool ausführen
Mit dem Robots.txt Generator erstellen Sie im Handumdrehen passende Direktiven für die robots.txt-Datei Ihrer Website. Sie können den User-Agent festlegen, den gesamten Zugriff freigeben oder gezielte Pfade für Webcrawler sperren. Das Werkzeug unterstützt zusätzlich Angaben für eine Sitemap-URL sowie ein Crawl-Delay zur Steuerung von Abfrageintervallen. Wenn Sie den vollständigen Zugriff erlauben, wird eine leere Disallow-Zeile erzeugt, sodass Suchmaschinen alle Bereiche erfassen können. Deaktivieren Sie diese Option und tragen Sie einzelne Pfade zeilenweise ein, erhält jeder Pfad eine eigene Disallow-Anweisung. Bleibt das Pfadfeld bei deaktivierter Freigabe leer, fügt das Werkzeug automatisch einen Disallow-Eintrag für das Hauptverzeichnis ein. Nach dem Ausführen kopieren Sie den fertigen Text direkt in die Textdatei auf Ihrem Webserver. Das Online-Werkzeug führt keine semantische URL-Validierung durch und veröffentlicht die erzeugten Zeilen nicht automatisch auf Ihrer Domain. So passen Sie Crawling-Regeln für unterschiedliche Bots flexibel an.
Anleitung
- Geben Sie den gewünschten User-Agent an oder belassen Sie das Sternchen für alle Crawler.
- Wählen Sie, ob der gesamte Zugriff erlaubt sein soll oder ob Sie bestimmte Pfade sperren möchten.
- Tragen Sie bei deaktivierter Gesamtfreigabe die zu sperrenden Pfade zeilenweise in das Textfeld ein.
- Geben Sie optional die vollständige URL Ihrer Sitemap und einen Wert für das Crawl-Delay an.
- Starten Sie den Generator und kopieren Sie die erzeugte Textausgabe in Ihre robots.txt-Datei.
Beispiele
- Standard-Konfiguration für alle Suchmaschinen mit Angabe einer XML-Sitemap unter https://example.com/sitemap.xml.
- Sperrung vertraulicher Verzeichnisse wie /admin und /intern für Googlebot mit einem Crawl-Delay von 10 Sekunden.
FAQ
Was passiert, wenn ich das Feld für gesperrte Pfade leer lasse und den Vollzugriff deaktiviere?
In diesem Fall setzt der Generator automatisch eine Disallow-Direktive für den Stammordner (/), wodurch der Zugriff auf die gesamte Website für den gewählten User-Agent gesperrt wird.
Überprüft das Tool die eingegebenen Pfade oder URLs auf syntaktische Korrektheit?
Nein, das Werkzeug übernimmt die eingegebenen Werte direkt und bereinigt lediglich Leerzeilen sowie führende oder nachfolgende Leerzeichen bei Pfadangaben.
Wird die robots.txt-Datei nach dem Erstellen automatisch auf meinem Server gespeichert?
Nein, das Tool generiert lediglich den Text. Sie kopieren die Zeilen manuell in das Stammverzeichnis Ihrer Webpräsenz.