Generatore Robots.txt
Genera file robots.txt personalizzati con regole di accesso, percorsi esclusi, sitemap e crawl delay per i motori di ricerca.
Esegui lo strumento
Questo generatore online crea il testo per il file robots.txt, utile per indicare ai motori di ricerca le regole di scansione del tuo sito web. Puoi definire l'identificativo del crawler tramite il campo User Agent, impostare l'accesso generale oppure specificare i percorsi da escludere uno per riga. Se disattivi l'accesso universale, lo strumento produce una direttiva Disallow per ogni percorso non vuoto, oppure il blocco totale con Disallow: / se il campo è vuoto. Puoi anche aggiungere l'indirizzo assoluto della sitemap XML per facilitare la scoperta dei contenuti e inserire un intervallo di attesa in secondi per controllare la frequenza delle richieste dei crawler compatibili. Il pannello dei risultati mostra immediatamente il blocco di direttive formattate, pronto da salvare nella cartella principale del dominio.
Istruzioni
- Inserisci il nome del bot nel campo User Agent oppure lascia l'asterisco per applicare le direttive a tutti i motori di ricerca.
- Mantieni selezionata l'opzione Consenti tutto per consentire l'accesso completo, oppure disattivala per bloccare percorsi specifici.
- Se disattivi l'accesso completo, scrivi nel campo dedicato i percorsi da escludere, inserendo un percorso per riga.
- Aggiungi l'URL della sitemap XML e l'eventuale valore di Crawl-Delay per controllare la frequenza delle richieste.
- Copia il testo generato dal pannello dei risultati e salvalo nel file robots.txt posizionato nella radice del tuo server web.
Esempi
- Configurazione con accesso completo e sitemap: imposta User Agent su * e inserisci l'URL https://example.com/sitemap.xml. Il generatore produce la direttiva User-agent: *, una riga Disallow senza valore (vuota) e la riga Sitemap: https://example.com/sitemap.xml.
- Configurazione con cartelle escluse e Crawl-Delay: disattiva Consenti tutto e inserisci i percorsi /admin/ e /privato/ con un Crawl-Delay di 10. Il generatore produce User-agent: *, le due righe Disallow: /admin/ e Disallow: /privato/, e la riga Crawl-Delay: 10.
FAQ
Dove va caricato il file robots.txt sul server?
Salva il file nella cartella principale del tuo server web, in modo che sia accessibile direttamente dall'indirizzo principale del dominio, ad esempio https://example.com/robots.txt.
Cosa accade se disattivo Consenti tutto senza specificare cartelle?
Lo strumento applica automaticamente la direttiva Disallow: /, che dice ai crawler di non scansionare alcuna pagina dell'intero sito.
Il generatore pubblica direttamente il file sul sito web?
No, lo strumento genera solo il testo formattato. Devi copiare le direttive e caricarle manualmente sul tuo server tramite FTP, pannello di hosting o gestore file.