Como gerar um ficheiro robots.txt

Para que serve

O Robots.txt Generator cria texto para um ficheiro robots.txt, destinado a indicar regras de rastreio e indexação aos motores de pesquisa. Pode ser útil quando precisa de preparar uma regra permissiva, bloquear determinados caminhos ou acrescentar referências para um sitemap, sem escrever manualmente cada diretiva. O resultado é texto configurável: não deve assumir que fica publicado ou aplicado num site apenas por ser gerado.

Como gerar o texto

Abra a ferramenta e comece pelo campo do agente de utilizador. Pode deixá-lo vazio para usar o valor predefinido *, que representa o agente abrangido pela regra. O texto produzido começa por uma linha User-agent com esse valor.
Escolha entre permitir o acesso ou definir caminhos a bloquear. A opção de permitir tudo fica ativa por predefinição; nesse caso, a saída inclui uma diretiva Disallow vazia. Para bloquear caminhos, desative essa opção e introduza os caminhos em linhas separadas.
Ao preencher os caminhos, escreva um por linha. A ferramenta remove espaços no início e no fim de cada linha, ignora linhas vazias e transforma cada caminho restante numa diretiva Disallow. Se desativar a permissão geral sem fornecer um caminho utilizável, a saída usa Disallow: / como alternativa.
Se quiser incluir um sitemap, introduza o respetivo valor no campo próprio. Quando esse campo contém texto que não é apenas espaço em branco, é acrescentada uma linha Sitemap, precedida por uma linha vazia.
Preencha o campo de atraso de rastreio apenas quando precisar de o incluir. Se contiver texto que não seja apenas espaço em branco, a saída acrescenta uma linha Crawl-Delay com o valor fornecido. Reveja o texto gerado antes de o utilizar, sobretudo depois de alternar entre permitir tudo e bloquear caminhos.

Como interpretar o resultado

Leia o resultado por blocos. A linha User-agent identifica o agente a que se aplica a regra. Uma diretiva Disallow vazia corresponde ao comportamento produzido quando a opção de permitir tudo está ativa. Já uma ou mais diretivas Disallow com caminhos mostram os valores introduzidos depois de desativar essa opção; quando não há um caminho utilizável, procure Disallow: /.

A presença de Sitemap depende de ter sido fornecido texto nesse campo, enquanto Crawl-Delay depende do preenchimento do respetivo campo com texto não vazio. Estes elementos permitem conferir se as opções escolhidas foram refletidas na saída, mas o texto gerado não constitui uma garantia de que um motor de pesquisa irá cumprir as diretivas ou produzir um resultado específico de rastreio e indexação. Verifique também os valores introduzidos: a ferramenta insere-os segundo as regras descritas, sem que se deva presumir uma validação adicional de URLs, números ou semântica.

Exemplo prático

Está a preparar regras para que dois caminhos específicos apareçam no texto gerado, juntamente com uma referência para o sitemap.

No campo do agente de utilizador, mantenha o valor predefinido. Desative a permissão geral, introduza /privado e /rascunhos/ em linhas separadas e preencha o campo do sitemap com o respetivo valor.

O resultado começa por uma linha User-agent: *, inclui diretivas Disallow para os caminhos válidos introduzidos e acrescenta uma linha Sitemap quando o campo correspondente contém texto.

Limitações

A ferramenta gera texto com as diretivas escolhidas. Reveja os valores fornecidos e não presuma, apenas a partir da saída, que um crawler irá cumprir as regras ou que o sitemap e o atraso terão um efeito garantido.

Erros comuns

Esperar que um caminho seja bloqueado sem desativar a permissão geral. Corrija a configuração, desative a opção de permitir tudo e introduza o caminho numa linha própria; se não houver um caminho utilizável, será aplicada a regra de bloqueio de /.

Perguntas frequentes

Tenho de preencher o agente de utilizador?

O campo é opcional: se não indicar um valor, a ferramenta usa * e começa o resultado com uma linha User-agent correspondente.

Como bloqueio caminhos específicos?

Quando a opção de permitir tudo está ativa, o resultado inclui uma diretiva Disallow vazia. Para bloquear caminhos, desative essa opção e introduza cada caminho numa linha; se não fornecer um caminho utilizável, surge Disallow: /.

Quando aparece a linha Sitemap?

O sitemap só é acrescentado quando o campo contém texto que não seja apenas espaço em branco. Nesse caso, é inserida uma linha vazia antes da linha Sitemap.