Thiago Khoury

O ChatGPT pesquisa a minha palavra-chave? Quase nunca

Quase nunca: nas versões 5.3 e 5.5 o ChatGPT reescreveu a pergunta em todas as execuções, mediu um estudo do arXiv em outubro. O que medir no lugar.

Por

Neste artigo

Quase nunca. Nas versões 5.3 e 5.5 do ChatGPT, a frase exata que o usuário digitou não virou busca nenhuma vez: o modelo reescreveu a pergunta antes de procurar. Quem monta trabalho de GEO em cima de uma lista de palavras-chave está otimizando para um texto que a máquina não usa.

O que o estudo mediu

Pesquisadores da Universidade Nacional de Singapura e da Universidade Jiaotong de Xi’an publicaram em 11 de outubro de 2026, no arXiv, um estudo que não olha a resposta pronta do ChatGPT. Olha o que acontece antes dela.

Eles gravaram o tráfego interno do ChatGPT Web em quatro configurações, da versão 5.2 à 5.5, e tiraram de cada execução as buscas que o modelo de fato disparou, as páginas que ele trouxe e as que ele acabou citando.

A amostra está declarada: 80 perguntas tiradas do Search Arena, um conjunto público de 24 mil conversas reais com modelos que buscam na web, divididas em quatro tipos de intenção, metade em inglês e metade em chinês. Nas versões 5.3 e 5.5, cada pergunta foi repetida 20 vezes, entre 29 de março e 29 de julho de 2026.

Repetir a mesma pergunta vinte vezes é o detalhe que faz o estudo valer. É o que separa medir de dar sorte.

A máquina reescreve a pergunta antes de buscar

O achado que mais muda o trabalho é o mais simples de enunciar: o ChatGPT quase nunca procura com as palavras que você digitou.

A frase exata do usuário virou busca em 5,5% das execuções da versão 5.2 e em nenhuma das execuções das versões 5.3 e 5.5. Zero. O modelo lê o pedido, decide o que precisa saber e escreve a própria consulta.

Tem um segundo dado aí dentro que eu não consigo ignorar. Nas perguntas feitas em chinês, 96,8% das execuções da versão 5.2 dispararam buscas em chinês e em inglês. Já nas versões 5.3 e 5.5, 67,0% e 69,6% das execuções buscaram só em inglês.

Para quem escreve numa língua que não é o inglês, a pergunta entra num idioma e a busca sai em outro. O estudo testou chinês, não português, e eu não vou fingir que ele mediu o Brasil. Mas se o comportamento for o mesmo, e essa parte é leitura minha, a sua página em português pode estar disputando espaço com conteúdo em inglês numa busca que o seu cliente nunca viu.

A mesma pergunta não devolve as mesmas páginas

A segunda descoberta derruba a forma como quase todo mundo mede GEO hoje.

Repetindo as mesmas 80 perguntas 20 vezes, 40,8% das páginas trazidas pela versão 5.3 e 44,5% das trazidas pela 5.5 apareceram numa única execução. Só 9,4% e 7,7% formaram o que os autores chamam de núcleo estável: páginas que reaparecem em pelo menos 14 das 20 vezes.

Ou seja: você pergunta uma vez, vê o seu site, comemora. Pergunta de novo no dia seguinte, não vê, entra em pânico. Nenhuma das duas leituras vale nada: entre 40% e 45% do que aparece ali é ruído de uma rodada só.

A versão 5.5 trouxe mais páginas por pergunta, 132,2 contra 96,4 da 5.3, e nem assim ficou mais estável. Mais fontes consultadas, mesma loteria.

Isso conversa direto com Aparecer numa IA me faz aparecer nas outras? Quase nunca. A instabilidade não está só entre IAs diferentes: está dentro da mesma IA, na mesma pergunta, no mesmo dia.

O Google não serve de espelho do que a IA lê

Aqui vem o dado que mais me interessa comercialmente: é o que derruba o atalho que o mercado anda vendendo.

Os pesquisadores testaram se dá para reconstruir o que o ChatGPT leu usando duas fontes de fora: os resultados do Google e a API da própria OpenAI. Juntas, as duas recuperaram 28,3% das URLs citadas na versão 5.3 e 26,2% na 5.5.

No nível de domínio o número melhora bastante, 50,3% e 48,7%, e esse contraste é a lição prática: dá para ter uma ideia razoável de quais sites a máquina consulta, e uma ideia ruim de quais páginas.

É a mesma fronteira que eu descrevo em Qual é a diferença entre SEO e GEO? Por que o topo não basta. Posição na lista do Google e presença dentro da resposta são dois jogos. A novidade é que agora existe uma medida desse abismo pelo lado da leitura, e não só pelo da citação.

Os autores separam duas coisas que o mercado trata como uma só: visibilidade de recuperação, quando a máquina traz a sua página, e visibilidade de citação, quando ela a mostra. Ser lido não é ser citado. Já tinha tratado do outro lado dessa ponte em A IA cita a minha marca se encontrar o meu site?, e sobre mexer na forma do texto para forçar a citação os números estão em Formatar o conteúdo faz a IA citar o meu site? Em parte.

O que esse estudo não diz

Três ressalvas, porque esse dado vai virar manchete torta.

Não é revisado por pares. É um preprint de 11 de outubro de 2026. O método está descrito e os números são conferíveis, mas ninguém de fora auditou.

Não é a sua categoria. São 80 perguntas em inglês e chinês, de quatro tipos de intenção. Não tem português, não tem o seu setor, não tem o Brasil.

Não mede venda. Mede o caminho entre a pergunta e a citação. Quanto disso vira cliente é outra conta, e eu trato dela em Investir em GEO vale a pena? O que os dados mostram.

Onde isso deixa você

Três coisas mudam na prática, e eu já mudei as três no meu trabalho.

Pare de tratar lista de palavra-chave como plano de GEO. Se a máquina reescreve o pedido, o que conta é cobrir o assunto inteiro, não acertar uma frase.

Nunca meça com uma pergunta só. Se perto de metade do que aparece vem de uma rodada única, medição isolada não é medição: eu repito a mesma pergunta várias vezes e olho a frequência, não o resultado de uma tentativa.

Meça por domínio, não por URL: é o nível que os sinais de fora conseguem acompanhar, com metade de acerto contra pouco mais de um quarto.

E antes de disputar a citação é preciso que a máquina encontre a sua página, assunto que eu trato em Como o ChatGPT descobre que o meu site existe?.

A pergunta que o seu cliente digita não é a pergunta que a máquina busca. Quem entender isso primeiro para de otimizar para o texto errado.

Perguntas frequentes

O ChatGPT busca a palavra-chave que eu escolhi?
Quase nunca. Um estudo do arXiv publicado em 11 de outubro de 2026 mediu que a frase exata digitada pelo usuário virou busca em 5,5% das execuções do ChatGPT 5.2 e em nenhuma das execuções das versões 5.3 e 5.5. O modelo reescreve a pergunta antes de procurar, então uma lista de palavras-chave não descreve o que ele consulta de fato.
Dá para saber quais páginas o ChatGPT leu para montar a resposta?
Só em parte. O mesmo estudo do arXiv somou os resultados do Google à API da OpenAI e recuperou 28,3% das URLs citadas pela versão 5.3 e 26,2% das citadas pela 5.5. No nível de domínio o acerto sobe para 50,3% e 48,7%: dá para saber quais sites a máquina consulta bem melhor do que quais páginas.
Por que o meu site aparece na resposta da IA um dia e no outro não?
Porque a mesma pergunta não devolve as mesmas páginas. Repetindo 80 perguntas 20 vezes cada, o estudo do arXiv de outubro de 2026 mediu que 40,8% das páginas trazidas pelo ChatGPT 5.3 e 44,5% das trazidas pela 5.5 apareceram em uma execução só. Medir uma vez não é medir.