Uma auditoria de publicações virais no X relacionadas à Copa do Mundo FIFA 2026 encontrou resultados bem diferentes conforme o conteúdo que o Grok precisava verificar: o chatbot acertou 49,4% dos veredictos sobre imagens e vídeos e 95,8% na categoria de alegações escritas. O estudo avaliou um único evento, entre junho e julho de 2026, e não permite generalizar esses índices para outros temas ou versões do Grok.
O que a auditoria avaliou
Conduzida pela Fundación Maldita.es e pela University of Jaén, com financiamento da Journalism Science Alliance, a auditoria analisou respostas do Grok a publicações virais no X. As publicações foram registradas entre 13 de junho e 20 de julho de 2026. A Maldita.es publicou os resultados em 27 de outubro.
A amostra reuniu 139 publicações agrupadas em 46 alegações. Destas, 35 eram falsas ou manipuladas, seis precisavam de contexto, duas eram alertas e três eram verdadeiras. O conjunto final chegou a 766 consultas, feitas pela equipe de pesquisa e por outros usuários, e 358 respostas do Grok.
Quantas vezes o Grok respondeu e acertou
Nas perguntas sistemáticas da equipe que perguntavam se uma publicação era verdadeira, o Grok respondeu a 107 de 278 consultas, ou 38,5%. Esse índice mede a frequência de resposta a essas perguntas específicas.
Entre 317 veredictos sobre veracidade analisados, 190 estavam corretos (59,9%), 85 estavam errados (26,8%) e 42 estavam parcialmente corretos (13,2%). Somados, os veredictos errados e parcialmente corretos representaram 40,0% do total. A auditoria também calculou uma média de acerto de 66,8% por alegação, dando o mesmo peso a cada alegação, em vez de a cada resposta. São medidas diferentes: a primeira conta veredictos; a segunda resume o desempenho por alegação.
Imagens e vídeos tiveram menos acertos
Os resultados variaram bastante entre as categorias definidas pela auditoria. A categoria de alegações escritas também incluía afirmações acompanhadas de imagens ou reproduzidas em capturas de tela.
| Categoria avaliada | Respostas corretas | Veredictos avaliados | Proporção de acertos |
| Imagens e vídeos | 121 | 245 | 49,4% |
| Alegações escritas, inclusive em imagens ou capturas de tela | 69 | 72 | 95,8% |
Entre os 127 veredictos sobre imagens e vídeos que foram errados ou parcialmente corretos, 81 envolveram falhas em reconhecer conteúdo manipulado digitalmente ou gerado por inteligência artificial. Isso correspondeu a 63,8% desse grupo de respostas.
Fontes, contradições e uma correção relatada à parte
A auditoria encontrou respostas inconsistentes para uma mesma alegação: entre 38 alegações com várias respostas, o Grok se contradisse em 16. Em 15 desses casos, a contradição ocorreu antes de a Maldita.es publicar uma verificação. Além disso, apenas três das 358 respostas incluíram um link para o documento que sustentava o veredicto; 45,3% não citaram fonte e 21,2% deram referências genéricas.
Na comparação feita pela equipe antes e depois da publicação de verificações da Maldita.es, a precisão passou de 63,9% para 69,6%. Entre 22 publicações que o Grok havia avaliado incorretamente, ele corrigiu a resposta em três casos, não respondeu novamente em 14 e continuou errado em cinco.
A Fundación Gabo relatou um caso separado relacionado ao ataque a uma escola em Minab, em 28 de fevereiro de 2026. Segundo o relato, o Grok identificou inicialmente as imagens como cenas de Cabul em 2021 e depois corrigiu a identificação, citando geolocalizações. O episódio é um caso reportado de correção, fora da amostra da Copa.
O alcance dos resultados
A auditoria foi uma observação de caixa-preta: os pesquisadores avaliaram as respostas, sem acesso ao funcionamento interno do modelo. A Maldita.es ressalvou que os resultados de um evento não podem ser generalizados diretamente para outros assuntos ou versões do Grok. As diferenças entre grupos também foram tratadas como exploratórias, sem isolar causas individuais.
