Gerador de Robots.txt
Crie ficheiros robots.txt personalizados online para definir regras de rastreio, indicar sitemaps e gerir o acesso de motores de busca ao seu website.
Executar ferramenta
O gerador de robots.txt permite estruturar rapidamente as diretivas de rastreio destinadas aos motores de busca e outros agentes web. A ferramenta organiza as instruções essenciais para orientar robôs de indexação no seu website. Pode definir o agente de utilizador aplicável, optando pelo identificador geral ou indicando um rastreador específico. Se pretender conceder acesso total, a opção de permissão geral gera uma instrução aberta. Caso precise de restringir secções privadas, áreas administrativas ou conteúdos temporários, basta desativar essa opção e introduzir os caminhos pretendidos linha por linha no campo correspondente. Quando nenhum caminho é fornecido com o acesso geral desativado, o texto gerado bloqueia por defeito a raiz do sítio. Também é possível adicionar o endereço absoluto do seu mapa do site para facilitar a descoberta de páginas e definir um intervalo de atraso entre pedidos sucessivos. Todo o conteúdo de texto gerado pode ser copiado e guardado no ficheiro robots.txt na raiz do seu servidor.
Instruções
- Indique o agente de utilizador no campo respetivo ou mantenha o asterisco para abranger todos os rastreadores.
- Mantenha a opção de permitir tudo ativada para acesso total ou desative-a se desejar bloquear caminhos específicos.
- Se desativar a permissão total, insira os caminhos a bloquear, um por linha, no campo de caminhos não permitidos.
- Introduza opcionalmente o URL completo do mapa do site e o valor de atraso entre pedidos nos campos correspondentes.
- Execute a ferramenta para visualizar o texto formatado do robots.txt pronto para ser copiado para o seu servidor.
Exemplos
- Configuração básica para permitir todos os motores de busca e apontar para o sitemap: mantenha o agente de utilizador como '*', deixe a permissão total ativada e insira 'https://exemplo.pt/sitemap.xml' no campo do URL do mapa do site.
- Configuração restritiva para Googlebot com bloqueio de áreas internas: defina o agente de utilizador como 'Googlebot', desative a permissão total, introduza '/admin/' e '/tmp/' em linhas separadas nos caminhos não permitidos, e defina o atraso de rastreio como '10'.
Perguntas frequentes
Onde deve ser colocado o ficheiro robots.txt no servidor?
O ficheiro deve ser colocado diretamente na pasta raiz do domínio, ficando acessível no caminho /robots.txt (por exemplo, https://exemplo.pt/robots.txt).
O que acontece se a permissão total for desativada sem indicar caminhos?
Se a opção de permitir tudo estiver desativada e o campo de caminhos estiver em branco, a ferramenta gera uma diretiva de bloqueio geral para a raiz (/).
Como posso indicar vários caminhos a restringir?
Basta desativar a permissão total e escrever cada caminho relativo pretendido numa nova linha no campo de caminhos não permitidos.
O ficheiro robots.txt é aplicado automaticamente ao meu website?
Não. A ferramenta gera apenas o texto das diretivas, sendo da responsabilidade do utilizador copiar o conteúdo e criar ou atualizar o ficheiro no respetivo servidor web.