Avec plus de 100 millions d'utilisateurs actifs, ChatGPT a déclenché une véritable révolution dans le domaine de l'intelligence artificielle. Nous avons précédemment expliqué comment connecter ce chatbot au Web, et comment maintenir une conversation plus ou moins fluide… mais il y a aussi de nombreux conflits. L'un d'eux est l'utilisation de ChatGPT pour rédiger des dissertations, résoudre des problèmes et préparer des examens à l'école. L'éducation traditionnelle se sent menacée, mais sa « solution de haute technologie » n'est autre que d'utiliser des intelligences artificielles pour détecter le contenu généré. Aujourd'hui, nous explorons deux options gratuites.
ChatGPT : le « Rincón del Vago 2.0 » ?
L'histoire du « Rincón del Vago » est en réalité fabuleuse. Le projet original a été créé par deux étudiants fatigués de lutter contre des programmes obsolètes, et en peu de temps le portail a acquis une renommée mondiale, en plus d'être impliqué dans plusieurs scandales très médiatisés. Aujourd'hui, le sentiment parmi les utilisateurs est qu'un « Rincón del Vago 2.0 » est apparu… et il s'appelle ChatGPT. Bien que personne ne nie que le chatbot commet une énorme quantité d'erreurs (et certaines très grossières), les dernières expériences indiquent qu'il est suffisamment bon pour réussir des examens dans différentes matières… et les enseignants ne sont pas contents.
Des solutions ? L'opinion la plus populaire est d'utiliser une intelligence artificielle pour reconnaître une autre. Bien sûr, cela n'est pas sans défis, et un algorithme trop strict pourrait générer une vague de faux positifs. Cependant, nous avons déjà deux détecteurs à notre disposition. Le premier est AI Text Classifier, développé par OpenAI, le créateur de ChatGPT. Et le second est GPTZero, conçu par Edward Tian de l'Université de Princeton. Les deux sont gratuits, et la seule chose qu'ils demandent est de se connecter avec un compte (ou des identifiants alternatifs comme Google).
Détecteurs de contenu par IA : fonctionnent-ils bien ?
Mon « benchmark » se base sur cinq sujets : le superdéterminisme, l'élément uranium, la salade César, le service français Minitel, et la radio Volksempfänger de l'Allemagne nazie. Après avoir demandé une description sur chacun d'eux à ChatGPT, j'ai copié et collé le texte de chaque description (vous pouvez le voir ici) dans AI Text Classifier et GPTZero.
AI Text Classifier
Immédiatement, nous rencontrons l'un des plus grands problèmes que ces détecteurs devront affronter (et résoudre) : leurs conclusions sont limitées. AI Text Classifier a dit que son analyse du texte sur le superdéterminisme est « unclear », c'est-à-dire qu'il n'a pas pu déterminer clairement s'il avait été écrit par une intelligence artificielle. Pour le texte sur l'uranium, il a utilisé l'expression « likely », mais avec la salade César nous avons découvert une autre restriction : le texte doit avoir 1 000 caractères ou plus. Enfin, les textes de Minitel et de Volksempfänger ont été qualifiés de « possibly ». Les cinq descriptions d'AI Text Classifier sont « very unlikely », « unlikely », « unclear », « possibly » et « likely ».
GPTZero
GPTZero est un peu plus transparent dans son analyse. En bas de l'interface, il explique qu'il utilise deux indices : l'un de perplexité, l'autre d'« explosion » ou burstiness. La perplexité d'un document est la mesure de l'aléatoire dans le texte, tandis que l'« explosion » mesure la variation de la perplexité. Avec une combinaison de ces indices, GPTZero a attribué à quatre textes la note « likely », et pour le texte sur l'uranium, il a utilisé l'expression « may include parts ». En ce qui concerne ses restrictions, GPTZero a une position plus souple et demande un minimum de 250 caractères dans le texte.
En résumé
Commençons par l'évidence : le génie est sorti de la lampe. Des millions d'élèves à travers le monde essaieront d'utiliser ChatGPT et d'autres modèles pour réduire leurs obligations. Certains enseignants ont déjà répondu par un « retour » à l'examen oral et aux travaux écrits à la main, mais c'est une stratégie intenable à long terme. De plus, les informations peuvent être adaptées, et rien n'empêche un élève ayant une bonne connaissance de l'anglais d'obtenir un résumé de ChatGPT, puis de présenter sa propre traduction qui sera virtuellement indétectable.
À l'heure actuelle, AI Text Classifier et GPTZero vont dans la bonne direction, cependant, ils ne sont pas en mesure de donner des garanties aux enseignants, bien au contraire. Les détecteurs gagneront en capacité et en précision, mais la même chose arrivera aux chatbots. Si vous me permettez l'hyperbole, « le chat et la souris » se préparent à lancer des algorithmes. À suivre…
AI Text Classifier : Cliquez ici
GPTZero : Cliquez ici
