Com mais de 100 milhões de usuários ativos, o ChatGPT iniciou uma verdadeira revolução no campo da inteligência artificial. Já explicamos anteriormente como conectar esse chatbot à Web (como conectar esse chatbot à Web) e como manter uma conversa mais ou menos fluida (como manter uma conversa)… mas também há muitos conflitos. Um deles é o uso do ChatGPT para escrever ensaios, resolver problemas e preparar exames na escola. A educação tradicional se sente ameaçada; no entanto, sua «solução de alta tecnologia» não é outra senão usar inteligências artificiais para detectar conteúdo gerado. Hoje exploraremos duas opções gratuitas.
ChatGPT: um «Rincón del Vago» 2.0?
A história do «Rincón del Vago» é verdadeiramente fabulosa. O projeto original foi criado por dois estudantes cansados de lutar contra programas obsoletos e, em pouco tempo, o portal alcançou fama mundial, além de ficar envolvido em vários escândalos de alto perfil. Hoje, a impressão entre os usuários é que surgiu um «Rincón del Vago» 2.0… e ele se chama ChatGPT. Embora ninguém negue que o chatbot comete uma enorme quantidade de erros (e alguns muito grosseiros), os últimos experimentos indicam que ele é bom o suficiente para passar em exames de diferentes disciplinas… e os professores não estão felizes.
Soluções? A opinião mais popular é usar uma inteligência artificial para reconhecer outra. Claro, isso não está livre de desafios, e um algoritmo excessivamente rígido poderia gerar uma onda de falsos positivos. No entanto, já temos dois detectores à nossa disposição. O primeiro é o AI Text Classifier, desenvolvido pela OpenAI, o mesmo criador do ChatGPT. E o segundo é o GPTZero, projetado por Edward Tian, da Universidade de Princeton. Ambos são gratuitos, e a única exigência é fazer login com uma conta (ou credenciais alternativas, como o Google).
Detectores de conteúdo por IA: como eles funcionam?
Meu «benchmark» é baseado em cinco temas: Superdeterminismo, o elemento urânio, a salada Caesar, o serviço francês Minitel, e o rádio Volksempfänger da Alemanha Nazista. Depois de pedir uma descrição sobre cada um ao ChatGPT, copiei e colei o texto de cada um (você pode vê-lo aqui) no AI Text Classifier e no GPTZero.
AI Text Classifier
Imediatamente nos deparamos com um dos maiores problemas que esses detectores terão de enfrentar (e resolver): suas conclusões são limitadas. O AI Text Classifier disse que sua análise do texto sobre superdeterminismo é «unclear», ou seja, não conseguiu determinar com clareza se foi escrito por uma inteligência artificial. Para o texto do urânio, usou a expressão «likely», mas com a salada Caesar descobrimos outra restrição: o texto deve ter 1.000 caracteres ou mais. Finalmente, os textos de Minitel e Volksempfänger foram classificados como «possibly». As cinco descrições do AI Text Classifier são «very unlikely», «unlikely», «unclear», «possibly» e «likely».
GPTZero
O GPTZero é um pouco mais transparente em sua análise. Na parte inferior da interface, ele explica que usa dois índices: um de perplexidade e outro de «explosão» ou burstiness. A perplexidade de um documento é a medida de aleatoriedade no texto, enquanto a «explosão» mede a variação da perplexidade. Com uma combinação desses índices, o GPTZero deu a quatro textos uma classificação de «likely» e, para o texto do urânio, usou a expressão «may include parts». No que diz respeito às restrições, o GPTZero tem uma posição mais relaxada e pede ao usuário um mínimo de 250 caracteres no texto..
Em resumo
Comecemos pelo óbvio: o gênio saiu da lâmpada. Milhões de alunos ao redor do mundo tentarão usar o ChatGPT e outros modelos para reduzir suas obrigações. Alguns professores já responderam com um «retorno» ao exame oral e aos trabalhos escritos à mão, mas é uma estratégia inviável a longo prazo. Além disso, a informação pode ser adaptada, e nada impede um aluno com bom conhecimento de inglês de obter um resumo do ChatGPT e depois apresentar uma tradução própria que será virtualmente indetectável.
Neste momento, tanto o AI Text Classifier quanto o GPTZero apontam na direção certa; no entanto, não estão em condições de dar garantias aos professores, muito pelo contrário. Os detectores ganharão capacidade e precisão, mas o mesmo acontecerá com os chatbots. Se me permitem a hipérbole, «o gato e o rato» se preparam para atacar com algoritmos. Continua….
AI Text Classifier: Clique aqui
GPTZero: Clique aqui
