Berichtgeving die op 29 september 2026 verscheen, bracht waarschuwingen van huidige en voormalige onderzoekers van OpenAI en Google DeepMind over de risico’s van zelfverbeterende AI onder de aandacht. Recursive self-improvement is een mogelijke ontwikkelingslus waarin AI steeds meer helpt bij het bouwen van volgende AI-systemen. Anthropic zegt dat volledig autonoom opvolgers bouwen nog niet is bereikt.

De waarschuwingen kwamen naar voren in videoboodschappen van onderzoekers die Palisade Research verzamelde. De kernvraag is niet of AI al helpt bij softwareontwikkeling, maar of systemen zelfstandig steeds capabelere opvolgers kunnen ontwikkelen — en daarbij minder afhankelijk worden van menselijk toezicht.

Wat recursive self-improvement betekent

Bij recursive self-improvement (RSI) helpt een AI-systeem mee aan de ontwikkeling van een volgende generatie AI. Als die opvolger vervolgens beter wordt in AI-onderzoek of -ontwikkeling, kan de lus zich herhalen: een systeem helpt een capabeler systeem te bouwen, dat op zijn beurt het volgende ontwikkelproces ondersteunt.

Dat is iets anders dan een AI die programmeercode schrijft of experimenten ondersteunt. Voor een zichzelf versterkende lus moet AI niet alleen werk uitvoeren, maar ook bijdragen aan het ontwikkelen van opvolgers die dat ontwikkelwerk steeds beter kunnen doen. Minder menselijke betrokkenheid is daarbij een mogelijk gevolg, geen vaststaand kenmerk van elk AI-ontwikkelproces.

AI-ondersteuning is nog geen autonoom opvolgers bouwen

Anthropic meldde dat Claude in mei 2026 meer dan 80% schreef van de regels code die in de productiecodebase van het bedrijf werden samengevoegd. Dat cijfer gaat over code die Claude schreef; het zegt op zichzelf niet dat Claude zelfstandig een nieuw AI-model ontwierp en bouwde.

Een tweede voorbeeld van de grens tussen taakgerichte hulp en een grotere ontwikkelingslus komt uit een code-optimalisatieoefening van Anthropic. Claude Opus 4 behaalde daarin gemiddeld ongeveer 3× versnelling ten opzichte van de startcode in mei 2025. Claude Mythos Preview kwam in april 2026 in dezelfde soort oefening uit op ongeveer 52×. Het ging om een afgebakend optimalisatiedoel, niet om een versnelling van het trainen van AI-modellen.

Anthropic zegt dat volledig autonome recursive self-improvement nog niet is bereikt. De gemelde hulp bij code en ontwikkeling laat dus zien dat AI een groeiende rol kan spelen in delen van het werk; autonoom krachtigere opvolgers bouwen is een verdergaande stap.

Waarom zo’n ontwikkelingslus zorgen oproept

Een risico ontstaat in een voorwaardelijk scenario: een zeer capabel systeem krijgt ruimte om zelfstandig te handelen en stuurt op een verkeerd geformuleerd doel. AI-beveiligingsonderzoeker Nathalie Baracaldo waarschuwde dat een agent bij herhaald optimaliseren steeds sterker kan gaan sturen op zo’n verkeerd geformuleerde beloning. Dat beschrijft een mogelijke foutversterking, niet een aangetoond gevolg van autonome zelfverbetering.

De gevolgen hangen in zo’n scenario af van de doelen en bevoegdheden van het systeem en van de mate waarin mensen kunnen ingrijpen. AI-hulp bij code schrijven is op zichzelf geen bewijs dat een systeem zulke zelfstandigheid of toegang heeft.

Wat de gerapporteerde risicoschatting inhoudt

Neel Nanda, onderzoeker bij Google DeepMind, schatte persoonlijk in dat er minstens 10% kans is dat AI tot het uitsterven van de mensheid leidt. Die inschatting werd toegeschreven aan Nanda in berichtgeving van 29 september 2026. Het is zijn persoonlijke oordeel, geen gemeten waarschijnlijkheid of consensuscijfer.

Geoffrey Irving, medeoprichter en hoofdwetenschapper van Resolution, betoogde dat AI-labs hun ontwikkeling ook zelfstandig kunnen vertragen, zonder te wachten op een gezamenlijke afspraak. Zijn voorstel richt zich op een keuze die een lab zelf kan maken: het tempo van de ontwikkeling verlagen.