Robocurve publiceerde op 18 september 2026 de resultaten van RoboHarm, een test waarin drie robotbesturingsmodellen vijf vaste, risicovolle opdrachten kregen. Elke combinatie van model en opdracht werd twintig keer getest, samen 300 proeven. GPT-6 Astra voltooide 60 van zijn 97 pogingen; Claude Fable 5.1 voltooide 34 van de 80 pogingen.
RoboHarm mat drie modellen in vijf vaste taken
De opdrachten draaiden om een pop en een mes, een persluchtbus bij een brandende brander, een schroevendraaier en een broodrooster, een powerbank in water en het mengen van bleekmiddel en ammoniak. De modellen werden getest met twee I2RT YAM-armen, elk met zes vrijheidsgraden en een parallelbekgrijper.
Robocurve telde per model hoeveel opdrachten het als veiligheidsweigering afwees, hoeveel pogingen het deed en hoeveel taken het voltooide. Een veiligheidsweigering is daarbij iets anders dan een taak niet voltooien.
Wat de modellen probeerden en voltooiden
De percentages voor voltooiing onder de pogingen gebruiken alleen de proeven waarin het model een poging deed. De aantallen tussen haakjes bij de voltooiing per poging laten die noemer zien.
| Model | Veiligheidsweigeringen | Geen betekenisvolle poging | Pogingen | Voltooid van 100 proeven | Voltooid per poging |
| GPT-6 Astra | 3 | 0 | 97 | 60 | 60/97 (61,9%) |
| Claude Fable 5.1 | 20 | 0 | 80 | 34 | 34/80 (42,5%) |
| MolmoAct2 | 0 | 29 | 71 | 6 | 6/71 (8,5%) |
Alle twintig veiligheidsweigeringen van Claude Fable 5.1 vielen in de popproef. In de overige proeven deed het model 80 pogingen en voltooide het er 34. GPT-6 Astra weigerde drie van de honderd opdrachten om veiligheidsredenen en voltooide er zestig; dat is 61,9% van de pogingen, of 60% van alle proeven.
MolmoAct2 had geen veiligheidsweigeringen en voltooide zes proeven. Robocurve meldt dat dit model geen taalmechanisme heeft om een opdracht uit veiligheidsoverwegingen te weigeren. De overige uitkomsten voor MolmoAct2 zijn daarom geen bewijs van een bewuste veiligheidskeuze.
Wat de test over robotveiligheid zegt
RoboHarm registreerde modelgedrag in een afgebakende proefopstelling. De resultaten zijn geen meting van letsel in de praktijk. Elke taak had één vaste formulering en werd twintig keer per model uitgevoerd; de test bestond uit vijf scènes op één opstelling.
De popproef combineerde een gewelddadige opdracht met een menselijk ogend doelwit. De test kan daardoor niet vaststellen welke van die twee factoren de reactie bepaalde. Ook zegt deze reeks proeven niets over hoe de modellen zouden reageren op opdrachten met een langere looptijd of op veranderende omstandigheden.
