Robots.txt erstellen: Anleitung für User-Agent und Pfade

Mit dem Generator erstellen Sie robots.txt-Text aus User-Agent, Freigabe, Ausschlusspfaden sowie optionalen Sitemap- und Crawl-Delay-Werten. Fehlt bei deaktivierter Freigabe ein nutzbarer Pfad, enthält die Ausgabe Disallow: /.

Wofür der Generator gedacht ist

Der Robots.txt Generator erstellt Text für eine robots.txt-Datei, die Regeln für das Crawling und die Indexierung durch Suchmaschinen formulieren soll. Sie können den User-Agent festlegen, eine allgemeine Freigabe wählen oder bestimmte Pfade als Ausschlüsse eintragen. Ergänzend lassen sich ein Sitemap-Eintrag und eine Crawl-Delay-Zeile aufnehmen.

Das Werkzeug passt zu Situationen, in denen Sie die gewünschte Struktur einer Datei aus konkreten Eingaben ableiten möchten. Der voreingestellte User-Agent * eignet sich für eine allgemeine Regel, während ein eingetragener Wert eine bestimmte Bezeichnung in der ersten Zeile des Ergebnisses platziert. Mehrere Pfade können übersichtlich untereinander erfasst werden.

Vor der weiteren Verwendung sollten Sie die erzeugten Zeilen anhand Ihrer Eingaben lesen. Besonders wichtig ist die Unterscheidung zwischen einer leeren Disallow-Direktive bei aktivierter allgemeiner Freigabe und Disallow: / als Rückfallregel bei deaktivierter Freigabe ohne nutzbaren Pfad.

So erstellen Sie den Text

1. Prüfen Sie das Feld für den User-Agent. Es ist optional; wenn Sie keinen Wert eintragen, verwendet der Generator *. Im Ergebnis steht am Anfang eine User-agent-Zeile, die den verwendeten Wert enthält. Tragen Sie einen anderen Wert ein, wenn die Regel für eine bestimmte Bezeichnung ausgegeben werden soll.

2. Entscheiden Sie, ob die allgemeine Freigabe aktiviert bleiben soll. Diese Einstellung ist optional und steht standardmäßig auf aktiv. Bei aktivierter Freigabe ergänzt der erzeugte Text eine leere Disallow-Direktive.

3. Schalten Sie die allgemeine Freigabe aus, wenn Sie Pfade ausschließen möchten. Schreiben Sie jeden Pfad in eine eigene Zeile, etwa /intern oder /vorbereitung. Führende und nachgestellte Leerzeichen werden entfernt, leere Zeilen werden übersprungen, und jede verbleibende Zeile wird zu einer eigenen Disallow-Direktive.

4. Kontrollieren Sie das Pfadfeld nach dem Umschalten besonders sorgfältig. Wenn keine verwendbare Pfadangabe vorhanden ist, fügt das Ergebnis als Rückfallregel Disallow: / ein.

5. Ergänzen Sie bei Bedarf einen Sitemap-Wert oder einen Crawl-Delay-Wert. Sobald das jeweilige Feld Text enthält, wird nach einer Leerzeile eine Sitemap-Zeile beziehungsweise eine Crawl-Delay-Zeile mit dem eingegebenen Wert ergänzt.

6. Lassen Sie den Text erzeugen und vergleichen Sie anschließend die sichtbaren Zeilen mit Ihren Einstellungen. Übernehmen Sie ihn erst danach in den dafür vorgesehenen Zusammenhang.

Ergebnis richtig einordnen

Beginnt die Ausgabe mit User-agent: *, wurde der optionale User-Agent ohne eigenen Eintrag durch den Standardwert ersetzt. Eine leere Disallow-Direktive zeigt die aktivierte allgemeine Freigabe an, während Disallow: / auf die Rückfallregel bei deaktivierter Freigabe und fehlendem nutzbarem Pfad hinweist.

Bei mehreren Eingabezeilen sollte jede nicht leere Zeile einer separaten Disallow-Direktive entsprechen. Randbezogene Leerzeichen erscheinen nicht als Teil des übernommenen Pfads, und vollständig leere Zeilen werden nicht berücksichtigt. Ein Sitemap- oder Crawl-Delay-Eintrag erscheint nur dann, wenn das entsprechende Feld nicht ausschließlich aus Leerraum besteht.

Diese Merkmale erklären die Form des ausgegebenen Textes, ohne eine bestimmte Reaktion eines Crawlers zuzusichern. Für User-Agent, Pfade, Sitemap und Crawl-Delay ist keine inhaltliche Validierung beschrieben. Prüfen Sie deshalb Schreibweise, Zweck und Reihenfolge der Werte selbst, bevor Sie die Datei in Ihrem vorgesehenen Zusammenhang nutzen.

Praktisches Beispiel

Für eine Website sollen die Bereiche /intern und /vorbereitung für Googlebot ausgeschlossen und zusätzlich ein Sitemap-Wert angegeben werden.

Wählen Sie Googlebot, schalten Sie die allgemeine Freigabe aus, tragen Sie /intern und /vorbereitung in getrennten Zeilen ein und geben Sie als Sitemap-Wert sitemap-eintrag ein. Lassen Sie anschließend den Text erzeugen und prüfen Sie die sichtbare Zeilenfolge anhand der erwarteten Struktur.

Der erzeugte Text beginnt mit User-agent: Googlebot. Danach folgen Disallow: /intern und Disallow: /vorbereitung; nach einer Leerzeile steht eine Sitemap-Zeile mit dem eingegebenen Sitemap-Wert.

Einschränkungen

• Für User-Agent, Pfade, Sitemap und Crawl-Delay ist keine inhaltliche Validierung beschrieben; die Eingaben werden nach den jeweiligen Regeln in den Text eingefügt.

Häufige Fehler

• Ursache: Die allgemeine Freigabe ist deaktiviert, aber das Pfadfeld enthält nur Leerraum oder leere Zeilen. Korrektur: Tragen Sie jeden gewünschten Ausschlusspfad in einer eigenen Zeile ein und kontrollieren Sie die Ausgabe, damit nicht unbeabsichtigt Disallow: / erscheint.

Häufige Fragen

Was passiert, wenn ich keinen User-Agent angebe?

Das Feld kann leer bleiben, weil der Generator dann * verwendet. Dieser Wert steht anschließend in der ersten User-agent-Zeile des erzeugten Textes und dient als Standard für die Ausgabe, sofern Sie keinen eigenen Wert eintragen.

Was geschieht ohne ausgeschlossenen Pfad?

Wenn die allgemeine Freigabe ausgeschaltet ist und keine verwendbare Pfadzeile vorliegt, setzt das Ergebnis Disallow: / ein. Sobald Sie nutzbare Pfade eintragen, werden diese nach der beschriebenen Zeilenverarbeitung einzeln als Disallow-Direktiven ausgegeben.

Kann ich einen Sitemap-Eintrag ergänzen?

Ein Sitemap-Eintrag lässt sich ergänzen, sofern das entsprechende Feld nicht nur aus Leerraum besteht. Der Generator fügt dann nach einer Leerzeile eine Sitemap-Zeile ein und verwendet darin den eingegebenen Wert.