O que e um Arquivo robots.txt?
Um arquivo robots.txt e um arquivo de texto simples colocado na raiz de um site que informa aos rastreadores dos mecanismos de busca quais paginas ou secoes eles podem ou nao acessar. Ele segue o Protocolo de Exclusao de Robos, um mecanismo padrao do setor para controlar o comportamento de bots. Configurar corretamente o robots.txt e essencial para SEO, pois direciona os rastreadores para conteudo valioso e os afasta de areas duplicadas, de staging ou privadas. Um arquivo mal configurado pode acidentalmente bloquear paginas importantes da indexacao ou expor diretorios sensiveis.
Como Usar Este Gerador
- Selecione o user-agent (ou mantenha
*para atingir todos os bots). - Adicione caminhos que voce deseja permitir ou bloquear para o bot selecionado.
- Opcionalmente, insira a URL do seu sitemap e um valor de crawl-delay.
- Clique em "Gerar robots.txt" para produzir o conteudo do arquivo.
- Copie a saida e salve como
robots.txtno diretorio raiz do seu site.
Perguntas Frequentes
Onde devo colocar o arquivo robots.txt?
Ele deve estar na raiz do seu dominio, ex.: https://example.com/robots.txt. Coloca-lo em um subdiretorio nao tera efeito sobre o comportamento dos rastreadores.
O robots.txt garante que as paginas nao serao indexadas?
Nao. Embora a maioria dos principais mecanismos de busca respeite o robots.txt, e uma diretiva, nao uma garantia. Para protecao mais forte, use a meta tag noindex ou o header HTTP.