Chatbots caem sempre nas mesmas respostas. Por que isso

Peça a um chatbot um número aleatório entre 1 e 10. Você vai receber 7. Peça de novo, vai receber 3 ou 4. Peça uma terceira vez, e o número provavelmente será 8 ou 9. Isso não é coincidência, e não é sorte: é um padrão. Uma pesquisa apresentada no NeurIPS, principal conferência de IA do mundo, testou 25 modelos de linguagem diferentes e descobriu que eles convergem nas mesmas respostas quando a pergunta é aberta. Os pesquisadores batizaram o fenômeno de Artificial Hivemind (mente coletiva artificial): modelos distintos, treinados por empresas distintas, chegando sistematicamente à mesma resposta para perguntas sem gabarito único. Artificial Hivemind é o nome dado à tendência de LLMs distintos convergirem sistematicamente para as mesmas respostas em perguntas abertas. Se você usa IA generativa para gerar ideias, revisar hipóteses ou brainstormar caminhos de pesquisa, isso muda o que você deve esperar da ferramenta.

O que a pesquisa mostrou

O estudo, batizado de “Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)”, pediu a 25 LLMs, incluindo modelos das principais empresas americanas e modelos de código aberto da China e de outros países, que escrevessem uma metáfora sobre o tempo. Cada modelo respondeu 50 vezes. Das 1.250 respostas, a maioria caiu em duas imagens: “o tempo é um rio” ou “o tempo é um tecelão”. Os pesquisadores especulam que a causa é estrutural: a maioria dos LLMs de hoje é treinada de formas parecidas, com dados parecidos, para tarefas parecidas, e isso empurra todos para as mesmas respostas de maior probabilidade estatística.

O efeito não fica restrito a metáforas. Pip Bingemann, cofundador e CEO da startup australiana Springboards, testou o mesmo padrão em pedidos triviais: nome de carro, tagline de campanha publicitária, nome de banda. Pedindo a ChatGPT e Claude um tipo de carro, ele apostou que sairia Toyota ou Honda, e acertou. Pedindo uma tagline para a New Balance, os dois modelos devolveram a mesma frase: “Run your way”.

Por que isso importa pra você

Se você usa IA para pesquisa, o problema não é que a ferramenta erre. É que ela converge, e converge de um jeito que passa despercebido justamente porque a conversa parece pessoal. Segundo Kieran Browne, cofundador e CTO da Springboards, “a forma como a maioria das interfaces de chat é desenhada faz parecer que você está tendo uma conversa pessoal. Acho que a maioria das pessoas não percebe o quanto está recebendo a mesma coisa que todo mundo.”

Isso tem consequência direta em três momentos da pesquisa:

1. Na geração de hipóteses ou ângulos de pesquisa. Se você pede à IA “me dá 5 ângulos possíveis para esse tema” e recebe uma lista que parece plausível, vale perguntar: essa lista é original, ou é a resposta mais estatisticamente provável para esse tipo de pergunta? A pesquisa mostra que, em perguntas abertas sem gabarito único, essa é a tendência mais provável.
2. Na revisão de literatura assistida por IA. Se você pede a uma IA para resumir a literatura de um tema, vale perguntar se o enquadramento que ela devolveu é o mais relevante pro seu recorte, ou só o mais repetido nos dados de treinamento.
3. No brainstorming de metodologia. Se três ferramentas diferentes sugerem o mesmo desenho metodológico, isso não confirma que ele é o melhor. Pode só confirmar que ele é o mais citado nos dados de treinamento.

Zoe Scaman, fundadora da consultoria de estratégia Bodacious, testou isso com um case clássico de MBA (como reinventar uma empresa financeira para o público jovem) em quatro modelos diferentes. Três seguiram o mesmo caminho: “precisamos ensinar educação financeira de um jeito divertido”, segundo ela. Um quarto modelo, treinado especificamente para variar mais, sugeriu outra coisa. A diferença não veio de mais inteligência. Veio de um treinamento desenhado para não convergir.

O que a IA lê como “criativo” pode não ser

Mudar a temperatura do modelo (o parâmetro que controla o quanto ele varia as respostas) parece a solução óbvia, mas não resolve bem. Os pesquisadores da Springboards testaram subir a temperatura ao máximo em um modelo da OpenAI e o resultado foi incoerência: a resposta passou a misturar código de programação no meio de uma frase em inglês.

O motivo é que o problema não está distribuído igualmente pelo texto. Quando você pergunta “onde devo viajar na Europa?”, o modelo só precisa variar no ponto exato em que escolhe o destino, não em cada palavra da frase. Aumentar a aleatoriedade em tudo quebra a coerência do texto inteiro para resolver um problema que existe só em um ponto dele.

A própria OpenAI, questionada sobre a pesquisa, respondeu que treinar modelos para dar respostas confiáveis e coerentes tende a empurrá-los para respostas familiares e de alta probabilidade, e que forçar mais originalidade pode produzir respostas mais fracas ou menos confiáveis. Ou seja: coerência e originalidade competem entre si dentro do próprio treinamento do modelo. Não é falha pontual, é escolha de design.

O ponto que vale levar pra sua rotina de pesquisa

Quando testei esse padrão pensando na minha própria rotina de orientação, o que mais me incomodou não foi a repetição em si. Foi constatar que ela é invisível justamente quando parece mais útil: no momento em que você está travada, sem ângulo, e a IA te devolve algo que parece uma boa ideia. Pode ser. Mas também pode ser só a resposta mais frequente no banco de dados de treinamento, disfarçada de insight.

Não significa abandonar a ferramenta. Significa usar a IA como ponto de partida do pensamento, nunca como ponto de chegada. No Método V.O.E. (Velocidade, Organização, Execução Inteligente), a Velocidade vem justamente de delegar a etapa mecânica (organizar, listar, estruturar) para a máquina, enquanto a Execução Inteligente exige que você confira se a sugestão é a mais adequada para o SEU recorte, ou só a mais comum. Maximilian Weigl, sócio da agência Uncommon, resume bem o risco contrário: “se eu visse alguém do meu time copiando e colando algo direto da IA, eu diria: ‘não é seu trabalho! Pense, converse com outras pessoas, use sua própria voz.’” Na pesquisa acadêmica, cultivar sua própria voz é o que separa uma ideia genuinamente sua de uma resposta emprestada da máquina.

Próximos passos

1. Teste o padrão você mesma. Peça a mesma pergunta aberta a dois chatbots diferentes (um ângulo de pesquisa, uma metáfora, um título de seção) e compare. Se as respostas forem quase idênticas, é sinal de convergência estatística, não de consenso científico.
2. Use a IA para abrir o leque, não para fechar a escolha. Peça várias opções e descarte as duas ou três primeiras: elas tendem a ser as mais previsíveis.
3. Marque no seu diário metodológico quando uma sugestão de IA influenciou uma decisão de pesquisa, para poder justificar essa escolha na defesa se for perguntada.
4. Combine ferramentas. Se você tem acesso a mais de um modelo, cruzar as respostas ajuda a identificar o que é ideia genuína e o que é resposta de maior probabilidade repetida em todos.

Esse tipo de vigilância sobre a fronteira entre ajuda e substituição do pensamento próprio é o mesmo debate que atravessa outros usos de IA na vida acadêmica. Se você quer entender melhor esse território, veja IA na sociedade: o que o MIT vê sobre trabalho e democracia.

Fonte: LLMs are stuck in a groupthink groove. This startup is trying to get them out, MIT Technology Review