Semafor meldde op 9 november dat Pangram zes opiniestukken tegen Waymo classificeerde met percentages van 68 tot 95 procent. Volgens Pangram geven die percentages het aandeel tekst weer dat, gemeten naar het aantal tekens, een AI-gerelateerd label krijgt. Ze geven niet de waarschijnlijkheid weer dat een bepaalde auteur AI gebruikte.
De gerapporteerde scores
De percentages die Semafor aan Pangram toeschreef, waren 95 en 71 procent voor twee stukken in de Dallas Morning News, 88 procent voor een stuk in de San Francisco Chronicle, 68 procent voor een ander stuk in de New York Daily News, 95 procent voor een bijdrage in de San Diego Union-Tribune en 87 procent voor een stuk in Times of San Diego. Het ging om opiniestukken over Waymo en autonome taxi’s in vijf Amerikaanse publicaties.
Lees een detectorpercentage als een classificatie van tekst. Uitspraken over auteurschap vragen om informatie over het schrijfproces.
Wat Pangrams percentage meet
Pangram beschrijft het percentage als het aandeel tekst dat op basis van tekens een AI-gerelateerd label krijgt. Dat is iets anders dan een betrouwbaarheidspercentage over de auteur. De uitleg van Pangram onderscheidt bovendien classificaties van afzonderlijke tekstdelen van de bijbehorende betrouwbaarheidsniveaus. De API-documentatie noemt labels als door een mens geschreven, AI-ondersteund en door AI gegenereerd, met aparte betrouwbaarheidsniveaus per deel.
Een percentage is dus een kenmerk van de geclassificeerde tekst. Op zichzelf vertelt het niet wie die tekst heeft opgesteld of welke rol AI speelde bij het schrijven.
Wat auteurs en redacteuren over AI-gebruik vertelden
Ira Goldstein, auteur van een opiniestuk in de New York Daily News en voormalig hoofd van het New York Black Car Fund, vertelde Semafor dat een pr-bureau het eerste concept had gemaakt en dat hij de tekst daarna had nagekeken en aangepast. Hij zei dat hij niet wist dat AI bij dat eerste concept was gebruikt.
David Margulies, woordvoerder van Amy Witherite, beschreef een bredere werkwijze binnen haar communicatiepraktijk: die gebruikt soms AI voor eerste versies, waarna medewerkers de tekst redigeren en controleren. Witherite of andere advocaten bekijken die vervolgens; Margulies zei dat Witherite stukken die onder haar naam verschijnen persoonlijk goedkeurt.
Michael Redmond, auteur van het stuk in de San Francisco Chronicle, zei dat hij AI gebruikt voor onderzoek, het toetsen van argumenten, het ordenen van ideeën en het aanscherpen van teksten. Dat is zijn beschrijving van zijn algemene werkwijze. Matt Fleischer, redacteur bij de San Francisco Chronicle, zei dat de krant opiniemakers vraagt AI-gebruik te melden. Ryan Sanders, commentaarredacteur bij de Dallas Morning News, zei dat beperkt gebruik voor onderzoek of redactie een inzending niet automatisch uitsluit, maar dat de krant geen stukken accepteert die volledig door AI zijn gegenereerd. Andrew Julien, hoofdredacteur van de New York Daily News, zei dat de krant strengere regels wilde invoeren.
