Como permitir ou bloquear os robôs de IA no robots.txt
Escreva um grupo por robô, com o nome que cada empresa documenta. Bloquear o robô de treino não tira o site da pesquisa, e os pedidos de utilizadores são à parte.
Para permitir ou bloquear um robô de IA, escreve-se no robots.txt um grupo com o nome que a empresa documenta, por exemplo User-agent: GPTBot, seguido de Allow: / ou de Disallow: /. A decisão que importa é qual bloquear: a OpenAI, a Anthropic, a Google e a Perplexity separam os robôs que recolhem conteúdo para treinar modelos dos que alimentam a pesquisa, e bloquear o de treino não tira o site das respostas de pesquisa. Os pedidos feitos em nome de um utilizador são um caso à parte: a OpenAI, a Google e a Perplexity avisam que podem não seguir o robots.txt.
Treino, pesquisa e pedidos de utilizadores: qual é a diferença?
Os robôs de treino recolhem páginas que podem entrar no treino dos modelos; bloqueá-los diz que o conteúdo não deve ser usado para isso, e não mexe na pesquisa. Os robôs de pesquisa indexam páginas para as respostas com ligações, como as da pesquisa do ChatGPT ou da Perplexity: bloqueá-los é sair dessas respostas. Os de pedido do utilizador vão a uma página porque alguém, numa conversa, pediu ao assistente que a lesse.
O que documentam a OpenAI e a Anthropic
Na página da OpenAI sobre os seus robôs, o GPTBot é o de treino: bloqueá-lo indica que o conteúdo do site não deve ser usado no treino dos modelos de base. O OAI-SearchBot é o de pesquisa: um site que o bloqueie não é mostrado nas respostas de pesquisa do ChatGPT, embora possa aparecer como ligação de navegação. O ChatGPT-User serve ações pedidas por utilizadores e, por serem pedidas por pessoas, a OpenAI diz que as regras do robots.txt podem não se aplicar. As definições são independentes, e uma mudança no robots.txt leva cerca de 24 horas a contar para a pesquisa, segundo a OpenAI.
A página de ajuda da Anthropic descreve um conjunto parecido. O ClaudeBot recolhe conteúdo que pode entrar no treino, e restringi-lo sinaliza que o material futuro do site fica fora dos dados de treino. O Claude-SearchBot serve a pesquisa e o Claude-User vai às páginas quando alguém faz uma pergunta ao Claude; desligar qualquer um deles pode reduzir a visibilidade do site nas pesquisas feitas pelos utilizadores. A Anthropic acrescenta que o bloqueio tem de estar no robots.txt de cada subdomínio e que bloquear endereços IP pode não funcionar.
O que documentam a Google e a Perplexity
Na Google, o Google-Extended não é um robô com identificação própria, só um nome para dar ordens no robots.txt. Decide se o conteúdo que a Google recolhe pode ser usado no treino de futuras gerações dos modelos Gemini e no grounding das apps Gemini e da Vertex AI. A Google diz que não afeta a inclusão na Pesquisa nem é sinal de posição. Para a Vista geral de IA e o Modo IA, as regras do Googlebot valem para a Pesquisa toda; para excluir só estas funcionalidades há, desde 31 de agosto de 2026, um controlo próprio no Search Console, e para limitar o que se mostra usam-se as regras nosnippet, data-nosnippet, max-snippet e noindex.
A Perplexity documenta o PerplexityBot, que mostra e liga sites nas respostas, e diz que não o usa para treinar modelos de base. O Perplexity-User responde a pedidos de utilizadores e, segundo a Perplexity, em geral ignora o robots.txt; as mudanças podem levar até 24 horas a refletir-se.
O que um bloqueio não faz?
O robots.txt é um pedido, não uma fechadura. A norma que o define, o RFC 9309, diz que estas regras não são uma forma de autorização de acesso: o que é privado protege-se com autenticação. E o robots.txt não chega se a firewall ou a CDN barrarem os robôs: a Google pede que o rastreio esteja autorizado no robots.txt e em qualquer CDN ou alojamento.
Um pormenor que se esquece: segundo o RFC 9309, um robô que encontra um grupo com o seu nome segue esse grupo e deixa de olhar para o grupo do asterisco. Se escrever um grupo para o GPTBot, o que quiser proibir-lhe tem de estar nesse grupo.
Que robots.txt faz sentido para uma empresa?
Depende do que a empresa quer. Para aparecer nas pesquisas dos assistentes sem deixar o conteúdo entrar no treino, um robots.txt possível tem estes grupos, separados por uma linha em branco:
User-agent: GPTBote, na linha seguinte,Disallow: /User-agent: ClaudeBote, na linha seguinte,Disallow: /User-agent: Google-Extendede, na linha seguinte,Disallow: /User-agent: *e, na linha seguinte,Allow: /, para os restantes, entre eles o OAI-SearchBot, o Claude-SearchBot, o PerplexityBot e o Googlebot
Pese a troca antes de a fazer: o mesmo Google-Extended decide o grounding nas apps Gemini, por isso bloqueá-lo indica que o conteúdo também não deve ser usado aí. Quem quer ser citado em todo o lado faz o contrário e escreve cada robô com Allow: /, como a SO-MA faz no robots.txt do próprio site. Os agentes que abrem páginas e carregam em botões pelo cliente são outro assunto, explicado em site pronto para os agentes de IA.
Decidir que robôs deixar entrar é um dos passos técnicos do método de GEO da SO-MA, descrito em GEO em Portugal.
Perguntas frequentes
Bloquear o GPTBot tira o site do ChatGPT?
Não das respostas de pesquisa. A OpenAI diz que as definições dos seus robôs são independentes: bloquear o GPTBot indica que o conteúdo não deve ser usado no treino dos modelos, e é o OAI-SearchBot que decide se o site aparece nas respostas de pesquisa do ChatGPT. Um site que bloqueie o OAI-SearchBot não é mostrado nessas respostas, embora ainda possa aparecer como ligação de navegação.
Bloquear o Google-Extended tira o site da Vista geral de IA?
Não. A Google diz que o Google-Extended não afeta a inclusão de um site na Pesquisa nem é usado como sinal de posição. Para tirar o site da Vista geral de IA e do Modo IA há, desde 31 de agosto de 2026, um controlo próprio no Search Console (Settings, Search generative AI), que não mexe no resto da Pesquisa; para limitar o que se mostra das páginas usam-se as regras nosnippet, data-nosnippet, max-snippet ou noindex. As regras do Googlebot no robots.txt valem para a Pesquisa toda, e não só para estas funcionalidades.
Há uma forma única de dizer não ao treino a todas as empresas de IA?
Ainda não há uma que todas sigam. A Anthropic diz que, desde 30 de outubro de 2026, começou a reconhecer um sinal de preferência sobre o treino baseado num rascunho do grupo aipref do IETF, e que uma regra que nomeie o ClaudeBot tem prioridade sobre esse sinal. A Google diz que tenciona suportar esse sinal partilhado no início de 2027. Até lá, o caminho documentado é escrever o nome de cada robô no robots.txt.
Para ler a seguir
todos os posts de SEO, AEO e GEO →- O que é GEO e em que difere do SEO tradicional? GEO otimiza conteúdo para ser citado por modelos como o ChatGPT, enquanto o SEO tradicional otimiza para ranking nos resultados do Google.
- O Google penaliza conteúdo escrito com IA? Não pela ferramenta. A Google avalia a qualidade e o propósito do conteúdo; o que viola as regras é gerar muitas páginas sem valor para manipular a pesquisa.
- Que percentagem das pesquisas no Google termina sem clique? Segundo a SparkToro, mais de metade das pesquisas no Google terminam sem clique, muitas vezes porque a resposta já aparece no próprio resultado de pesquisa.