Met meer dan 100 miljoen actieve gebruikers is ChatGPT een ware revolutie op het gebied van kunstmatige intelligentie begonnen. Eerder hebben we uitgelegd hoe je deze chatbot met het web verbindt en hoe je een meer of minder vloeiend gesprek kunt voeren… maar er zijn ook veel conflicten. Een daarvan is het gebruik van ChatGPT om essays te schrijven, problemen op te lossen en je voor te bereiden op schoolexamens. Het traditionele onderwijs voelt zich bedreigd, maar de "high-tech oplossing" is niets anders dan het inzetten van kunstmatige intelligentie om gegenereerde inhoud te detecteren. Vandaag verkennen we twee gratis opties.
ChatGPT: ‘Rincón del Vago 2.0’?
De geschiedenis van het Rincón del Vago is werkelijk fantastisch. Het oorspronkelijke project is gemaakt door twee studenten die het beu waren om tegen verouderde programma's te vechten, en al snel verwierf de portal wereldwijde faam en raakte het ook verwikkeld in verschillende spraakmakende schandalen. Tegenwoordig is het gevoel onder gebruikers dat er een “Rincón del Vago 2.0” is ontstaan… en het heet ChatGPT. Hoewel niemand ontkent dat de chatbot een enorme hoeveelheid fouten maakt (en enkele zeer grove), wijzen de laatste experimenten uit dat het goed genoeg is om examens in verschillende vakken te halen… en docenten zijn daar niet blij mee.
Oplossingen? De meest populaire mening is om een kunstmatige intelligentie te gebruiken om een andere te herkennen. Natuurlijk is dat niet zonder uitdagingen, en een te strikt algoritme zou een golf van valse positieven kunnen genereren. We hebben nu echter twee detectoren tot onze beschikking. De eerste is AI Text Classifier, ontwikkeld door OpenAI, dezelfde maker van ChatGPT. En de tweede is GPTZero, ontworpen door Edward Tian van de Princeton University. Beide zijn gratis, en het enige wat ze vragen is dat je inlogt met een account (of alternatieve inloggegevens zoals Google).
Detectoren voor AI-inhoud: hoe goed werken ze?
Mijn “benchmark” is gebaseerd op vijf onderwerpen: Superdeterminisme, het element uranium, de Caesar-salade, de Franse dienst Minitel, en de radio Volksempfänger van nazi-Duitsland. Na ChatGPT om een beschrijving over deze onderwerpen te vragen, heb ik de tekst van elk (je kunt het hier zien) gekopieerd en geplakt in AI Text Classifier en GPTZero.
AI Text Classifier
We stuiten onmiddellijk op een van de grootste problemen die deze detectoren moeten ondervinden (en oplossen): hun conclusies zijn beperkt. AI Text Classifier zei dat zijn analyse van de tekst over superdeterminisme “onduidelijk” is, wat betekent dat het niet duidelijk kon vaststellen of het door een kunstmatige intelligentie is geschreven. Voor de tekst over uranium gebruikte hij de uitdrukking “waarschijnlijk”, maar met de Caesar-salade ontdekten we een andere beperking: de tekst moet 1.000 tekens of meer bevatten. Ten slotte werden de teksten over Minitel en Volksempfänger gewaardeerd als “mogelijk”. De vijf beschrijvingen van AI Text Classifier zijn “zeer onwaarschijnlijk”, “onwaarschijnlijk”, “onduidelijk”, “mogelijk” en “waarschijnlijk”.
GPTZero
GPTZero is iets transparanter in zijn analyse. Onderaan de interface legt hij uit dat hij twee indexen gebruikt: een van perplexiteit en een van “burstiness” of explosie. De perplexiteit van een document is de mate van willekeur in de tekst, terwijl de “explosie” de variatie in perplexiteit meet. Met een combinatie van deze indexen gaf GPTZero aan vier teksten een beoordeling van “waarschijnlijk”, en voor de uraniumtekst gebruikte het de uitdrukking “kan delen bevatten”. Wat betreft zijn beperkingen heeft GPTZero een meer ontspannen houding en vraagt het de gebruiker om een minimum van 250 tekens in de tekst.
Samenvatting
Laten we beginnen met het voor de hand liggende: De geest is uit de fles. Miljoenen studenten over de hele wereld zullen proberen ChatGPT en andere modellen te gebruiken om hun verplichtingen te verminderen. Sommige docenten hebben al gereageerd met een “terugkeer” naar mondelinge examens en met de hand geschreven werkstukken, maar dat is op de lange termijn geen haalbare strategie. Bovendien kan de informatie worden aangepast en niets weerhoudt een student met goede kennis van het Engels ervan om een samenvatting van ChatGPT te krijgen en vervolgens een eigen vertaling in te dienen die vrijwel niet te detecteren is.
Nog even: zowel AI Text Classifier als GPTZero wijzen in de goede richting, maar ze kunnen docenten geen garanties bieden, integendeel. De detectoren zullen meer capaciteit en precisie krijgen, maar dat geldt ook voor de chatbots. Als u mij de hyperbool toestaat: “de kat en de muis” maken zich klaar om met algoritmen te vechten. Wordt vervolgd…
AI Text Classifier: klik hier
GPTZero: klik hier
