Op 30 september meldde berichtgeving dat ruim twintig onderzoekers die verbonden zijn aan OpenAI, Anthropic, Microsoft en Meta Platforms wetgevers opriepen tot duidelijker toezicht op AI-systemen die steeds meer bijdragen aan AI-ontwikkeling. De onderzoekers waarschuwden volgens die berichtgeving voor mogelijke risico’s als cyberaanvallen, door AI gefaciliteerde pandemieën, ontwrichting van werk en geopolitieke instabiliteit.
AI die AI helpt ontwikkelen is nog geen volledige zelfverbetering
AI-systemen kunnen helpen bij onderzoek en ontwikkeling van nieuwe AI. Van volledige recursieve zelfverbetering is pas sprake wanneer een systeem zelfstandig zijn eigen opvolger ontwerpt én ontwikkelt. Anthropic zegt dat die volledige stap nog niet is bereikt en niet onvermijdelijk is.
Anthropic zegt wel dat Claude al een belangrijke rol speelt in het ontwikkelwerk van het bedrijf. Per mei 2026 had Claude volgens Anthropic meer dan 80 procent geschreven van de code die in de codebasis werd samengevoegd. Het bedrijf meldde ook dat een doorsnee engineer in het tweede kwartaal van 2026 per dag acht keer zoveel code samenvoegde als in 2024. Anthropic waarschuwt dat regels code vooral de hoeveelheid meten, niet de kwaliteit, en de productiviteitswinst waarschijnlijk overschatten. Zulke cijfers beschrijven AI-ondersteund werk; ze betekenen niet dat een systeem zelfstandig een opvolger heeft ontwikkeld.
De voorgestelde waarborgen richten zich op controle en coördinatie
De onderzoekers vroegen volgens de berichtgeving om duidelijker toezicht op geautomatiseerde onderzoeksmethoden, strenge veiligheidseisen en grenzen aan het tempo waarin AI-systemen meer mogelijkheden krijgen. Ook stelden ze monitoring van experimenten met hoog risico voor, met de mogelijkheid systemen direct stil te leggen.
De voorstellen omvatten daarnaast beveiligde omgevingen voor gevoelig onderzoek, internationale netwerken om incidenten te delen, duidelijkere afspraken over afschrikking en internationale samenwerking om het ontwikkelingstempo gezamenlijk te vertragen. Het gaat om aanbevelingen die aan de onderzoekers worden toegeschreven.
Menselijk toezicht moet ingrijpen mogelijk maken
De Europese AI-verordening biedt een concreet voorbeeld voor AI-systemen met een hoog risico waarop de regels van toepassing zijn. Menselijke toezichthouders moeten de mogelijkheden en beperkingen van zo’n systeem kunnen begrijpen, afwijkingen herkennen, de uitkomsten interpreteren en overmatig vertrouwen vermijden. Ook moeten ze uitkomsten kunnen negeren of overrulen en de werking kunnen onderbreken.
