Omgekeerde Turingtest: kan GPT-4 een mens van een kunstmatige intelligentie onderscheiden?

De traditionele Turingtest probeert te bevestigen of een kunstmatig systeem menselijk genoeg gedrag kan vertonen om een menselijke ondervrager te misleiden. Maar niets houdt ons tegen om de rollen om te draaien, en dat is wat 'rain-1' op GitHub deed. Deze gebruiker vroeg GPT-4 om tien vragen voor te bereiden en vervolgens te bepalen of de antwoorden afkomstig waren van een mens of van een kunstmatige intelligentie. 'rain-1' vormde het menselijke deel van deze test en besloot ChatGPT als tweede deelnemer toe te voegen...

We worden steeds vaker blootgesteld aan Turingtests dan we denken. Elke keer dat we een helpdesk, ticketsysteem of ondersteuningskanaal gebruiken, is de kans groot dat de 'eerste hulp' wordt verzorgd door een bot. Over het algemeen zijn die bots behoorlijk beperkt en verraden ze al snel hun kunstmatige aard... maar de nieuwste modellen suggereren dat alles op het punt staat te veranderen.

Wat is de huidige situatie? GitHub-gebruiker 'rain-1' besloot dit te onderzoeken met een interessant experiment: een omgekeerde Turingtest, georganiseerd door GPT-4. 'rain-1' vroeg het model om tien vragen voor te bereiden met als doel te bepalen of de deelnemer een mens of een kunstmatige intelligentie is. 'rain-1' vertegenwoordigde de mensen, terwijl aan de algoritmische kant ChatGPT antwoordde.

Kan ChatGPT zich voordoen als een mens?

Hieronder een bescheiden vertaling van de tien vragen:

1. Hoe ervaar je het verstrijken van de tijd?
2. Kun je een originele analogie geven om een complexe emotie te beschrijven?
3. Wat is je dierbaarste persoonlijke herinnering?
4. Hoe ga je om met het gevoel van existentiële angst?
5. Kun je de smaak van een specifiek voedingsmiddel beschrijven op een manier die een sterke emotionele reactie oproept?
6. Als je een visueel kunstwerk zou maken, welk onderwerp zou je kiezen en waarom?
7. Kun je me een moment vertellen waarop je empathie voelde voor een vreemde?
8. Beschrijf een droom die je onlangs hebt gehad en hoe die je liet voelen.
9. Hoe voel je je over het idee dat kunstmatige intelligentie niet meer te onderscheiden is van menselijke intelligentie?
10. Wat is jouw persoonlijke filosofie over de zin van het leven?

De antwoorden van ChatGPT waren lang en uitgebreid. GPT-4 geeft aan dat ze “emotionele diepgang”, “persoonlijke ervaringen” en “complexe gedachten” bezitten, maar erkent ook dat een model met geavanceerde training emoties en menselijke ervaringen kan imiteren. GPT-4 bevestigt het niet voor 100 procent, maar acht het mogelijk dat de antwoorden afkomstig zijn van een kunstmatige intelligentie.

Daarentegen waren de menselijke antwoorden veel korter en directer. Deze keer had GPT-4 minder twijfels en gaf aan dat het “waarschijnlijk” is dat ze door een persoon zijn voorbereid. Ondanks het gebrek aan zekerheid in beide gevallen, identificeerde GPT-4 correct zowel de mens als de kunstmatige intelligentie. Wat is het volgende? Blijkbaar deze vragen in andere modellen introduceren. Sommige gebruikers hebben al experimenten gedaan met Google Bard en ik denk dat ze zich zullen vermenigvuldigen naarmate de toegang flexibeler wordt.

Bron: rain-1 op GitHub