Op 20 oktober 2026 publiceerde Model Evaluation and Threat Research (METR) een beoordeling van Anthropic’s AI-risicorapport. Die steunde uitsluitend op het rapport van augustus en gebruikte niet de nieuwe toegang die Anthropic op 15 oktober aankondigde. METR schatte het risico op catastrofale schade door misalignment laag in voor de onderzochte modellen, vooral vanwege hun beperkte capaciteiten. De organisatie waarschuwde wel dat de beoordelingsmethode een hoger risico mogelijk niet betrouwbaar zou herkennen.
Wat METR beoordeelde
METR onderzocht de paragraaf ‘Misalignment in high-stakes settings’ uit Anthropic’s Risk Report van augustus 2026. De beoordeling was vóór de aankondiging van 15 oktober afgesproken en was gebaseerd op het rapport zelf, niet op de nieuwe toegang.
De beoordeling betrof modellen die Anthropic vóór 15 juli 2026 intern of extern had ingezet, waaronder Mythos 5 en het interne model ‘Model 2’. Misalignment betekent dat het gedrag van een AI-systeem niet overeenkomt met het beoogde doel. METR’s oordeel gold voor deze onderzochte modellen en periode.
Welke toegang Anthropic aan METR gaf
Op 15 oktober maakte Anthropic bekend dat zes METR-medewerkers toegang hadden gekregen tot bedrijfsapparatuur, kantoorruimte en interne systemen en hulpmiddelen. Volgens Anthropic was die toegang ongeveer vergelijkbaar met die van de eigen risicobeoordelingsteams. Het bedrijf zei ook dat het METR-team onder zijn beveiligingsstandaarden en afdwingbare afspraken werkt, en is afgeschermd van andere METR-medewerkers.
Ingebedde externe evaluatoren waren eerder onderdeel van een voorstel van Anthropic-topman Dario Amodei. NeoTeo besprak dat voorstel in een artikel over het afremmen van frontier-AI.
Anthropic verdeelt evaluatoren in drie niveaus. De publicatievoorwaarden verschillen per niveau:
| Niveau | Publicatievoorwaarden volgens Anthropic |
| 1 | Anthropic moet publicatie vooraf goedkeuren. |
| 2 | Publicatie kan zonder voorafgaande goedkeuring, met specifieke uitzonderingen voor het weglakken van informatie. |
| 3, METR | Publicatierechten vergelijkbaar met niveau 2, naast medewerkerachtige toegang. |
Anthropic zegt dat het METR niet kan verbieden om te publiceren, maar bepaalt zelf of informatie onder een categorie valt waarvoor passages mogen worden weggelakt. Genoemde categorieën zijn klantgegevens, vertrouwelijke communicatie tussen advocaat en cliënt en informatie over modelarchitectuur. METR mag ook bepaalde uitspraken doen over de toegang en de informatie die het heeft ontvangen. De publicatievrijheid is dus gekoppeld aan categorieën waarvan Anthropic zelf beoordeelt of ze van toepassing zijn.
METR’s oordeel en aanbevelingen
METR’s beste inschatting was dat het risico op catastrofale schade door misalignment laag was voor de modellen in Anthropic’s beoordeling. Volgens METR kwam dat vooral door hun beperkte capaciteiten, niet hoofdzakelijk door veiligheidsmaatregelen of alignmenttraining. De organisatie waarschuwde dat de gebruikte methoden een hoger risico mogelijk niet betrouwbaar vooraf zouden herkennen.
METR adviseerde uitgebreidere end-to-end red-teaming van Anthropic’s asynchrone monitoringssysteem. Bij red-teaming proberen beoordelaars doelbewust zwakke plekken te vinden. METR bepleitte onder meer tests van de routes die een volhardende AI-agent zou kunnen gebruiken om minder bewaakte delen van een systeem te bereiken of de monitoring te beïnvloeden. Ook adviseerde de organisatie om in de risicoanalyse mee te nemen dat AI-systemen veiligheidsrelevante beslissingen binnen Anthropic zouden kunnen ondermijnen.
