Sitemap e robots.txt são dois arquivos pequenos, quase invisíveis para quem visita o site, mas que têm um papel importante em como o Google rastreia e indexa as páginas. Configurados errado, eles podem impedir que páginas inteiras apareçam nos resultados de busca — sem que nada pareça visivelmente errado para um visitante comum.
O que é o sitemap.xml
É um arquivo que lista todas as páginas importantes do site, funcionando como um mapa que facilita o trabalho do Google na hora de encontrar e rastrear cada uma delas. Sites grandes, com muitas páginas, se beneficiam especialmente do sitemap, porque ele reduz a chance de páginas ficarem "esquecidas" e nunca serem descobertas pelo rastreador.
O que é o robots.txt
É um arquivo de texto simples, na raiz do domínio, que dá instruções aos rastreadores sobre quais partes do site podem ou não ser visitadas. Ele é usado, por exemplo, para impedir que o Google rastreie páginas administrativas, de teste ou duplicadas que não deveriam aparecer em uma busca.
O erro mais grave: bloquear o site inteiro sem querer
Um erro de configuração relativamente comum, principalmente durante desenvolvimento ou migração de site, é deixar uma regra no robots.txt que bloqueia a indexação de todo o domínio — geralmente esquecida depois que o site sai do ambiente de testes e vai para o ar de forma definitiva. Esse erro pode fazer um site inteiro desaparecer dos resultados do Google, mesmo com conteúdo bom e site funcionando normalmente.
Erros comuns no sitemap
Sitemap desatualizado, listando páginas que já não existem mais ou deixando de fora páginas novas importantes, é o problema mais frequente. Também é comum o sitemap apontar para URLs com erro, com redirecionamentos, ou não ter sido enviado ao Google Search Console — o que faz com que ele exista, mas o Google nunca o tenha encontrado.
Como verificar se está tudo certo
No Google Search Console é possível conferir, na seção de sitemaps, se o arquivo foi processado corretamente e quantas páginas foram encontradas nele. Para o robots.txt, basta digitar o endereço do site seguido de "/robots.txt" no navegador para ver o conteúdo do arquivo diretamente, e checar se nenhuma regra está bloqueando páginas que deveriam aparecer no Google.
Uma revisão simples, mas que evita grandes prejuízos
Esses dois arquivos raramente precisam de atenção diária, mas vale conferir sempre que o site passar por uma reforma, migração de plataforma ou mudança de hospedagem — momentos em que configurações antigas costumam ser esquecidas ou sobrescritas por engano, com potencial de impacto bem maior do que parece à primeira vista.
Um arquivo não substitui o outro
É comum confundir os dois arquivos ou pensar que configurar um resolve a função do outro. O sitemap indica o que existe e merece ser rastreado; o robots.txt indica o que não deve ser rastreado. Eles trabalham em conjunto, mas resolvem problemas opostos — e revisar apenas um deles, ignorando o outro, deixa a configuração de rastreamento do site incompleta.
Muitas plataformas de site geram esses dois arquivos automaticamente, mas isso não elimina a necessidade de revisão humana: configurações padrão nem sempre refletem a estrutura real ou as prioridades específicas do seu negócio, e vale a pena conferir manualmente pelo menos uma vez se o que foi gerado automaticamente realmente faz sentido para o seu caso.
Quer saber se o Google está rastreando o seu site corretamente?
Faça o checkup gratuito e veja se sitemap e robots.txt estão configurados do jeito certo.
Este conteúdo tem caráter informativo e não substitui uma verificação técnica personalizada da configuração do seu site.