Am 23. Oktober 2026 berichtete El País, Pangram 4.1 habe 99 Prozent des rund 26.000 Wörter langen Romans Donde el agua trabaja als KI-generiert klassifiziert. Der Prozentwert ist die Ausgabe eines Textklassifikators; er beschreibt, wie das System den geprüften Text einordnet, und dokumentiert nicht dessen Entstehung.

Was Pangram geprüft hat

Der gemeldete Wert bezog sich auf den gesamten Roman von David Silva Rojas. El País berichtete außerdem über zwei separate Ergebnisse: Pangram stufte Antworten des Autors in einem September-Interview zu 97 Prozent als KI-generiert ein und einen 924 Wörter langen Ich-Bericht über den Roman zu 80 Prozent. Diese Werte betreffen andere Texte als den Roman-Scan.

Der Roman hatte im Juli 2026 den ersten Premio Internacional de Novela Breve Almadía Ventosa-Arrufat gewonnen. Die Teilnahmebedingungen untersagten Texte, die ganz oder teilweise mit KI geschrieben wurden. Die von Escritores.org wiedergegebenen Regeln sahen bei einem Verdacht auf einen Verstoß eine Disqualifikation vor.

Was Almadía nach dem Ergebnis erklärte

Laut El País teilte Editorial Almadía mit, Silva bestreite den Einsatz von KI. Der Verlag kündigte eine ausführliche Prüfung ohne vorweggenommenes Ergebnis an und setzte geplante Präsentationstermine für das Buch aus. Der Bericht vom 23. Oktober beschrieb die Prüfung als laufend.

Damit stehen zwei verschiedene Aussagen nebeneinander: Pangram lieferte eine Klassifikation des Textes, während Almadía eine Untersuchung des Falls ankündigte. Ein Ergebnis des Schreibprozesses lässt sich aus dem Prozentwert allein nicht ablesen.

Was die Studien zu KI-Detektoren messen

Eine am 26. August 2025 veröffentlichte Arbeit der University of Chicago untersuchte Pangram und drei weitere KI-Detektoren. Der Test umfasste 1.992 von Menschen verfasste Textpassagen aus sechs Genres, darunter Romane, sowie passende KI-Texte von vier Sprachmodellen. Für mittellange und längere Texte lagen Pangrams Falsch-Positiv- und Falsch-Negativ-Raten in diesem Korpus nahe null.

Die Falsch-Positiv-Rate erfasst, wie oft menschliche Texte als KI-generiert eingestuft werden. Die Falsch-Negativ-Rate misst den umgekehrten Fehler. Beide Kennzahlen beschreiben die Ergebnisse in einem festgelegten Testaufbau. Die Chicagoer Studie untersuchte nicht die Entstehungsgeschichte von Donde el agua trabaja.

Pangram Labs nennt für Pangram 4 in einem eigenen technischen Bericht eine AUROC von 0,9916, eine Falsch-Positiv-Rate von 0,0041 Prozent und eine Falsch-Negativ-Rate von 0,3396 Prozent. AUROC bezeichnet die Fläche unter der ROC-Kurve und fasst zusammen, wie gut ein Modell in einem Benchmark zwischen Klassen unterscheidet. Diese Unternehmenswerte beziehen sich auf Pangram 4 und dessen Testbedingungen; der Roman wurde laut El País mit Pangram 4.1 ausgewertet.