Sitemap e robots.txt: o que são e para que servem
O sitemap é um arquivo (em geral sitemap.xml) que lista as páginas do site para os buscadores: ajuda o Google a encontrá-las, mas não garante indexação nem posição. O robots.txt é um arquivo público na raiz do site que diz aos robôs o que eles não devem rastrear. Ele não é cadeado e não tira página do Google: uma URL bloqueada ainda pode aparecer na busca. Para isso, use noindex; para conteúdo privado, senha.
Atualizado em · Por Luis Henrique Cuba
O mapa e a placa na porta
O Google manda robôs (o Googlebot) andarem pela internet, de página em página, seguindo links e anotando o que encontram. É assim que um site passa a aparecer na busca. Dois arquivos do seu site conversam só com esses robôs.
O sitemap é o mapa que você entrega: "estas são as minhas páginas, e esta mudou ontem". O robots.txt é a placa na porta: "robô, não entre no estoque". Os robôs educados, como os dos buscadores, leem a placa e obedecem. Mas placa não é tranca.
Sitemap: o que é e o que ele faz
O que contém
A lista das URLs que você quer nos buscadores, em XML. Cada URL pode trazer a data da última mudança (lastmod).
Quando ajuda mais
Em sites novos, com poucos links de fora, em sites grandes e em páginas que ficam longe da página inicial. Num site pequeno e bem ligado, o Google acharia as páginas de qualquer jeito, mas o sitemap não atrapalha.
O que ele não faz
Não garante que a página seja indexada nem melhora a posição. É uma indicação do que rastrear.
O que o Google ignora
Segundo a documentação do Google, os campos priority e changefreq são ignorados. O lastmod é usado quando é consistente e confere com a página, então use a data real da última mudança de conteúdo.
Limites
Cada arquivo de sitemap aceita até 50 mil URLs ou 50 MB sem compressão. Acima disso, divida em vários e use um índice de sitemaps.
robots.txt: o que é e o que ele faz
É um arquivo de texto que fica sempre na raiz do domínio (suaempresa.com.br/robots.txt). Ele lista, por robô, os caminhos que não devem ser rastreados, e pode indicar onde está o sitemap. Serve para controlar o tráfego de robôs: evitar que eles gastem tempo em áreas sem interesse para a busca, como resultados de busca interna ou páginas de carrinho.
# suaempresa.com.br/robots.txt
User-agent: *
Disallow: /busca
Disallow: /carrinho
Sitemap: https://suaempresa.com.br/sitemap.xmlA pegadinha: o robots.txt não tira página do Google
Qualquer um lê
O arquivo é público. Escrever "Disallow: /senhas-clientes" é avisar a qualquer curioso onde está o que você queria esconder.
Robô mal-intencionado ignora
O robots.txt é uma convenção. Os buscadores respeitam; ferramentas de raspagem e robôs de ataque, não necessariamente.
A URL bloqueada ainda pode aparecer na busca
A documentação do Google diz que o robots.txt não é um mecanismo para manter uma página fora do Google. Se outros sites linkam para ela, a URL pode aparecer nos resultados mesmo sem ser rastreada, só que sem descrição.
Bloquear impede o Google de ver o noindex
Para o Google obedecer a uma tag noindex, ele precisa rastrear a página e ler a tag. Se o robots.txt bloqueia o rastreamento, o noindex nunca é lido.
Checklist dos dois arquivos
- suaempresa.com.br/robots.txt abre e não tem Disallow: / sobrando.
- O robots.txt não lista caminhos de áreas privadas; essas áreas têm login.
- O sitemap tem só URLs canônicas que respondem 200, sem redirecionamentos nem páginas com noindex.
- O lastmod de cada URL é a data real da última mudança de conteúdo.
- O endereço do sitemap está no robots.txt e foi enviado no Google Search Console.
- Páginas que não devem aparecer na busca usam noindex, e não bloqueio no robots.txt.
Fontes
Google Search Central, "Introdução ao robots.txt"
Para que serve o arquivo e por que ele não mantém uma página fora do Google (developers.google.com/search/docs/crawling-indexing/robots/intro).
Google Search Central, "Visão geral dos sitemaps" e "Criar e enviar um sitemap"
O que o sitemap faz, limites de tamanho e campos ignorados (developers.google.com/search/docs/crawling-indexing/sitemaps/overview).
Sitemap e robots.txt: o que são e para que servem: dúvidas comuns
Todo site precisa de sitemap?
Não é obrigatório. Sites pequenos e bem ligados por links internos costumam ser encontrados sem ele. Mas o sitemap é simples de gerar, ajuda em sites novos e permite acompanhar a indexação no Search Console.
Como tirar uma página do Google?
Coloque a meta tag noindex na página e deixe o robots.txt permitir o rastreamento, para que o Google leia a tag. Se a página precisa sumir rápido, use também a ferramenta de remoções do Search Console. Se o conteúdo é privado, proteja com senha.
Bloqueei uma página no robots.txt e ela continua na busca. Por quê?
Porque o bloqueio impede o rastreamento, não a indexação. Se há links para ela, o Google pode mostrar a URL sem descrição. Libere o rastreamento e use noindex.
Onde fica o robots.txt?
Sempre na raiz do domínio: suaempresa.com.br/robots.txt. Em outra pasta ele não vale. Cada subdomínio tem o seu.
O sitemap faz meu site subir no Google?
Não. Ele ajuda o Google a descobrir as páginas, mas a posição depende do conteúdo, dos links e da experiência da página.
Perguntas parecidas
Precisa de ajuda para resolver isso na sua empresa?
Respondemos em até 24 horas com as próximas perguntas e uma proposta objetiva.