Générateur de fichier robots.txt
Créez rapidement le contenu textuel d'un fichier robots.txt configuré avec vos règles d'exploration, vos répertoires exclus et votre sitemap.
Exécuter l’outil
Ce générateur produit le texte structuré destiné à votre fichier robots.txt pour guider l'exploration de votre site web par les moteurs de recherche. L'outil configure la directive User-agent, définie par défaut sur un astérisque pour cibler l'ensemble des robots, ou adaptée à un agent spécifique. Lorsque l'option d'autorisation globale reste cochée, une directive Disallow vide est générée. Si vous décochez cette option pour restreindre certains répertoires, l'outil découpe chaque ligne saisie pour créer les directives Disallow correspondantes. En l'absence de chemin spécifique alors que l'accès global est désactivé, l'outil applique un blocage complet avec une directive Disallow ciblant la racine. Vous pouvez également intégrer l'adresse de votre plan de site sitemap ainsi qu'un délai d'exploration Crawl-Delay selon vos besoins d'indexation. Le résultat textuel obtenu s'affiche immédiatement dans l'interface, prêt à être copié dans votre fichier local sans téléversement automatique.
Mode d’emploi
- Renseignez le champ d'agent utilisateur ou conservez l'astérisque par défaut pour viser l'ensemble des robots.
- Cochez l'autorisation globale pour autoriser l'exploration de tout le site, ou décochez la case afin de définir des restrictions d'accès.
- Indiquez un chemin par ligne dans la zone des répertoires interdits si l'autorisation globale est inactive.
- Ajoutez éventuellement l'URL complète de votre sitemap XML et un délai d'exploration en secondes.
- Exécutez la génération pour afficher le bloc textuel et copiez le contenu obtenu.
Exemples
- Pour bloquer l'exploration des dossiers d'administration et du panier : désactiver l'autorisation globale, renseigner `/admin/` et `/panier/` sur des lignes distinctes, puis ajouter l'URL `https://example.com/sitemap.xml`.
- Pour configurer un robot spécifique avec une temporisation : indiquer `Googlebot` comme agent utilisateur, conserver l'autorisation générale et fixer le délai d'exploration à `10`.
FAQ
Comment bloquer l'intégralité d'un site web aux robots ?
Pour interdire l'exploration globale, décochez la case d'autorisation sans renseigner aucun chemin. Le résultat génère automatiquement la règle Disallow: / sous l'agent utilisateur.
Le fichier robots.txt est-il directement envoyé sur mon serveur ?
Non, l'outil génère uniquement le texte dans votre navigateur. Vous devez copier les lignes obtenues et les enregistrer dans un fichier nommé robots.txt placé à la racine de votre domaine.
Comment déclarer plusieurs répertoires interdits ?
Décochez l'autorisation générale puis écrivez chaque chemin sur une nouvelle ligne dans la zone dédiée, par exemple `/prive/` puis `/temporaire/`.
Tous les moteurs de recherche respectent-ils la directive Crawl-Delay ?
Certains robots d'indexation prennent en compte la directive Crawl-Delay pour espacer leurs requêtes, mais la prise en charge varie selon les moteurs de recherche.