Cómo generar un archivo robots.txt paso a paso

Genera el texto de un archivo robots.txt con un agente de usuario, directivas de acceso y campos opcionales como sitemap y Crawl-Delay. Introduce tus valores, revisa las directivas resultantes y coloca el texto en tu sitio mediante tu propio proceso.

Qué puedes preparar con la herramienta

Un archivo robots.txt expresa directivas destinadas a orientar el rastreo y la indexación de los buscadores. Esta herramienta genera el texto a partir de varias decisiones: qué agente debe leerlo, si se permite el acceso, qué rutas se excluyen y si se añade un sitemap o un retraso entre solicitudes.

Puedes usarla cuando quieras preparar el contenido de ese archivo antes de revisarlo y colocarlo en tu sitio. El resultado es texto generado a partir de los valores que introduces, por lo que conviene comprobar que los agentes, las rutas y las direcciones escritas representan la configuración que necesitas.

Pasos para generar el texto

1. Introduce el nombre del agente de usuario si quieres dirigir el bloque a un rastreador concreto. Este campo es opcional: si lo dejas vacío, se utiliza *, que representa el valor predeterminado de la herramienta.

2. Decide si el acceso será general. Con la opción de permitir el acceso activada, el texto incluye una directiva Disallow vacía. Si la desactivas, escribe las rutas que no deben incluirse en el bloque, una por línea, por ejemplo /privado y /admin.

3. Revisa cómo se tratan las rutas. Se eliminan los espacios de los extremos de cada línea y se ignoran las líneas vacías. Cada ruta restante se convierte en una directiva Disallow. Si desactivas el acceso y no proporcionas ninguna ruta utilizable, el resultado incorpora Disallow: /.

4. Añade el valor del sitemap si quieres que aparezca en el texto. Solo se incorpora cuando el campo contiene algún carácter distinto de un espacio en blanco; en ese caso, se añade una línea Sitemap con el valor suministrado.

5. Escribe un valor para Crawl-Delay solo si quieres incluir esa directiva. También se añade únicamente cuando el campo no está compuesto solo por espacios.

6. Genera el resultado y lee el bloque completo. El texto comienza con una línea User-agent que contiene el agente indicado o el valor predeterminado. Después, comprueba que las directivas de acceso coinciden con tu elección y que las líneas opcionales aparecen cuando has introducido sus valores.

Cómo leer el resultado y sus límites

La primera comprobación es la línea User-agent: debe reflejar el agente que has escrito o mostrar * si no has indicado uno. Después, interpreta Disallow según la opción elegida. Una directiva vacía corresponde a la configuración de acceso permitido de la herramienta; varias directivas con rutas reflejan las líneas utilizables que introdujiste. Si aparece Disallow: /, significa que la opción de permitir el acceso estaba desactivada y no había una ruta utilizable.

Las líneas Sitemap y Crawl-Delay son opcionales. Su presencia depende de que sus respectivos campos contengan texto no compuesto solo por espacios. El generador inserta los valores suministrados, así que debes revisar por tu cuenta la dirección del sitemap, las rutas y el valor del retraso antes de usar el resultado.

Este resultado no demuestra por sí mismo que un rastreador vaya a aplicar las directivas ni que cambie el rastreo o la indexación. Tampoco representa una publicación automática en tu sitio: la herramienta genera el texto, y la colocación del archivo queda fuera de ese comportamiento. La declaración de acceso de red del servicio es negativa, pero ese dato no permite deducir almacenamiento, borrado, confidencialidad o ejecución local.

Ejemplo práctico

Una persona prepara un bloque específico para un rastreador y quiere excluir dos rutas mientras añade un sitemap y un retraso entre solicitudes.

Selecciona Googlebot, desactiva el acceso general, escribe /privado y /admin en líneas separadas, introduce una dirección de sitemap y añade 5 como retraso antes de generar el texto.

El resultado comienza con User-agent: Googlebot y contiene directivas Disallow para /privado y /admin, además de una línea Sitemap con el valor introducido y una línea Crawl-Delay con 5.

Limitaciones

• La herramienta genera el texto, pero el comportamiento revisado no incluye su publicación o instalación en un sitio ni garantiza que los rastreadores apliquen sus directivas.
• Los valores de sitemap y Crawl-Delay se incorporan cuando contienen texto no compuesto solo por espacios; el generador inserta los valores suministrados y no se describe una validación adicional.

Errores frecuentes

• Causa: se desactiva el acceso, pero las rutas contienen solo espacios o líneas vacías. Corrección: escribe al menos una ruta utilizable por línea, o vuelve a activar el acceso si no quieres bloquear /.

Preguntas frecuentes

¿Qué ocurre si dejo vacío el agente de usuario?

Si no escribes un agente de usuario, la herramienta utiliza * y genera la línea User-agent con ese valor.

¿Cómo se comporta el bloqueo de rutas?

Si desactivas el acceso y no hay ninguna ruta utilizable, se genera Disallow: /. Si escribes rutas válidas, cada línea no vacía se convierte en su propia directiva Disallow.

¿Cuándo aparece el sitemap en el resultado?

Solo se añade la línea Sitemap cuando el campo contiene texto no compuesto únicamente por espacios. El valor introducido se utiliza en esa línea.