Generador de robots.txt
Crea directivas de texto para el archivo robots.txt con reglas de acceso, rutas excluidas, sitemap y retraso de rastreo.
Ejecutar herramienta
Genera el contenido estructurado del archivo robots.txt para orientar el rastreo de los motores de búsqueda en tu sitio web. Configura directivas claras indicando el agente de usuario deseado, como el comodín general o rastreadores específicos. Cuando decides restringir rutas concretas, desmarca la opción de acceso total e introduce cada directorio o archivo en una línea separada dentro del formulario. Además, puedes añadir la dirección completa de tu mapa del sitio web para facilitar el descubrimiento de contenidos y definir un intervalo de rastreo en segundos si necesitas espaciar las solicitudes de los robots compatibles. El generador reúne todos estos parámetros y crea al instante las directivas en formato de texto plano estándar. Copia el bloque resultante y guárdalo en la raíz de tu servidor para gestionar qué secciones públicas deseas exponer y cuáles prefieres excluir del rastreo ordinario de los buscadores.
Instrucciones
- Indica el agente de usuario al que aplicarás las reglas, utilizando el asterisco (*) para todos los motores de búsqueda o el identificador de un bot concreto.
- Mantén activada la opción de permitir todo para dar acceso general, o desactívala si necesitas restringir directorios específicos.
- Si has desactivado el acceso general, escribe cada ruta que quieras bloquear en una línea independiente.
- Introduce de forma opcional la dirección web completa de tu sitemap y el intervalo de espera en segundos entre peticiones.
- Pulsa el botón de generación y copia el texto obtenido directamente en el archivo robots.txt ubicado en la raíz de tu servidor web.
Ejemplos
- Configuración abierta con sitemap: agente de usuario '*', acceso total activado y URL del sitemap en 'https://ejemplo.es/sitemap.xml'. El resultado muestra 'User-agent: *', 'Disallow:' y la línea con la dirección del sitemap.
- Bloqueo de directorios privados: agente de usuario 'Googlebot', acceso total desactivado y rutas '/admin/' y '/privado/' en líneas separadas. El resultado genera las directivas 'Disallow: /admin/' y 'Disallow: /privado/'.
Preguntas frecuentes
¿Dónde se debe colocar el archivo generado?
Guarda el contenido en un archivo de texto llamado robots.txt y súbelo al directorio raíz de tu dominio, por ejemplo en https://ejemplo.es/robots.txt.
¿Qué ocurre si desactivo el acceso total sin introducir rutas?
La herramienta añade automáticamente una directiva 'Disallow: /', indicando a los rastreadores que no deben acceder a ninguna sección del sitio web.
¿El archivo robots.txt garantiza que una página no aparezca indexada?
No. Este archivo solo da instrucciones a los rastreadores sobre qué rutas explorar. Para evitar la indexación de páginas enlazadas externamente, se recomienda utilizar etiquetas meta noindex o cabeceras HTTP específicas.
¿Cómo se introducen múltiples rutas bloqueadas?
Escribe cada ruta o carpeta en una línea distinta dentro del campo correspondiente, por ejemplo '/panel/' en una línea y '/tmp/' en la siguiente.