IA na Prática: relatório gratuito de oportunidades de IA. Saber mais

← blog SEO, AEO e GEO

Como permitir ou bloquear os robôs de IA no robots.txt

Escreva um grupo por robô, com o nome que cada empresa documenta. Bloquear o robô de treino não tira o site da pesquisa, e os pedidos de utilizadores são à parte.

Para permitir ou bloquear um robô de IA, escreve-se no robots.txt um grupo com o nome que a empresa documenta, por exemplo User-agent: GPTBot, seguido de Allow: / ou de Disallow: /. A decisão que importa é qual bloquear: a OpenAI, a Anthropic, a Google e a Perplexity separam os robôs que recolhem conteúdo para treinar modelos dos que alimentam a pesquisa, e bloquear o de treino não tira o site das respostas de pesquisa. Os pedidos feitos em nome de um utilizador são um caso à parte: a OpenAI, a Google e a Perplexity avisam que podem não seguir o robots.txt.

Treino, pesquisa e pedidos de utilizadores: qual é a diferença?

Os robôs de treino recolhem páginas que podem entrar no treino dos modelos; bloqueá-los diz que o conteúdo não deve ser usado para isso, e não mexe na pesquisa. Os robôs de pesquisa indexam páginas para as respostas com ligações, como as da pesquisa do ChatGPT ou da Perplexity: bloqueá-los é sair dessas respostas. Os de pedido do utilizador vão a uma página porque alguém, numa conversa, pediu ao assistente que a lesse.

O que documentam a OpenAI e a Anthropic

Na página da OpenAI sobre os seus robôs, o GPTBot é o de treino: bloqueá-lo indica que o conteúdo do site não deve ser usado no treino dos modelos de base. O OAI-SearchBot é o de pesquisa: um site que o bloqueie não é mostrado nas respostas de pesquisa do ChatGPT, embora possa aparecer como ligação de navegação. O ChatGPT-User serve ações pedidas por utilizadores e, por serem pedidas por pessoas, a OpenAI diz que as regras do robots.txt podem não se aplicar. As definições são independentes, e uma mudança no robots.txt leva cerca de 24 horas a contar para a pesquisa, segundo a OpenAI.

A página de ajuda da Anthropic descreve um conjunto parecido. O ClaudeBot recolhe conteúdo que pode entrar no treino, e restringi-lo sinaliza que o material futuro do site fica fora dos dados de treino. O Claude-SearchBot serve a pesquisa e o Claude-User vai às páginas quando alguém faz uma pergunta ao Claude; desligar qualquer um deles pode reduzir a visibilidade do site nas pesquisas feitas pelos utilizadores. A Anthropic acrescenta que o bloqueio tem de estar no robots.txt de cada subdomínio e que bloquear endereços IP pode não funcionar.

O que documentam a Google e a Perplexity

Na Google, o Google-Extended não é um robô com identificação própria, só um nome para dar ordens no robots.txt. Decide se o conteúdo que a Google recolhe pode ser usado no treino de futuras gerações dos modelos Gemini e no grounding das apps Gemini e da Vertex AI. A Google diz que não afeta a inclusão na Pesquisa nem é sinal de posição. Para a Vista geral de IA e o Modo IA, as regras do Googlebot valem para a Pesquisa toda; para excluir só estas funcionalidades há, desde 31 de agosto de 2026, um controlo próprio no Search Console, e para limitar o que se mostra usam-se as regras nosnippet, data-nosnippet, max-snippet e noindex.

A Perplexity documenta o PerplexityBot, que mostra e liga sites nas respostas, e diz que não o usa para treinar modelos de base. O Perplexity-User responde a pedidos de utilizadores e, segundo a Perplexity, em geral ignora o robots.txt; as mudanças podem levar até 24 horas a refletir-se.

O que um bloqueio não faz?

O robots.txt é um pedido, não uma fechadura. A norma que o define, o RFC 9309, diz que estas regras não são uma forma de autorização de acesso: o que é privado protege-se com autenticação. E o robots.txt não chega se a firewall ou a CDN barrarem os robôs: a Google pede que o rastreio esteja autorizado no robots.txt e em qualquer CDN ou alojamento.

Um pormenor que se esquece: segundo o RFC 9309, um robô que encontra um grupo com o seu nome segue esse grupo e deixa de olhar para o grupo do asterisco. Se escrever um grupo para o GPTBot, o que quiser proibir-lhe tem de estar nesse grupo.

Que robots.txt faz sentido para uma empresa?

Depende do que a empresa quer. Para aparecer nas pesquisas dos assistentes sem deixar o conteúdo entrar no treino, um robots.txt possível tem estes grupos, separados por uma linha em branco:

  • User-agent: GPTBot e, na linha seguinte, Disallow: /
  • User-agent: ClaudeBot e, na linha seguinte, Disallow: /
  • User-agent: Google-Extended e, na linha seguinte, Disallow: /
  • User-agent: * e, na linha seguinte, Allow: /, para os restantes, entre eles o OAI-SearchBot, o Claude-SearchBot, o PerplexityBot e o Googlebot

Pese a troca antes de a fazer: o mesmo Google-Extended decide o grounding nas apps Gemini, por isso bloqueá-lo indica que o conteúdo também não deve ser usado aí. Quem quer ser citado em todo o lado faz o contrário e escreve cada robô com Allow: /, como a SO-MA faz no robots.txt do próprio site. Os agentes que abrem páginas e carregam em botões pelo cliente são outro assunto, explicado em site pronto para os agentes de IA.

Decidir que robôs deixar entrar é um dos passos técnicos do método de GEO da SO-MA, descrito em GEO em Portugal.

Perguntas frequentes

Bloquear o GPTBot tira o site do ChatGPT?

Não das respostas de pesquisa. A OpenAI diz que as definições dos seus robôs são independentes: bloquear o GPTBot indica que o conteúdo não deve ser usado no treino dos modelos, e é o OAI-SearchBot que decide se o site aparece nas respostas de pesquisa do ChatGPT. Um site que bloqueie o OAI-SearchBot não é mostrado nessas respostas, embora ainda possa aparecer como ligação de navegação.

Bloquear o Google-Extended tira o site da Vista geral de IA?

Não. A Google diz que o Google-Extended não afeta a inclusão de um site na Pesquisa nem é usado como sinal de posição. Para tirar o site da Vista geral de IA e do Modo IA há, desde 31 de agosto de 2026, um controlo próprio no Search Console (Settings, Search generative AI), que não mexe no resto da Pesquisa; para limitar o que se mostra das páginas usam-se as regras nosnippet, data-nosnippet, max-snippet ou noindex. As regras do Googlebot no robots.txt valem para a Pesquisa toda, e não só para estas funcionalidades.

Há uma forma única de dizer não ao treino a todas as empresas de IA?

Ainda não há uma que todas sigam. A Anthropic diz que, desde 30 de outubro de 2026, começou a reconhecer um sinal de preferência sobre o treino baseado num rascunho do grupo aipref do IETF, e que uma regra que nomeie o ClaudeBot tem prioridade sobre esse sinal. A Google diz que tenciona suportar esse sinal partilhado no início de 2027. Até lá, o caminho documentado é escrever o nome de cada robô no robots.txt.