Il 18 settembre 2026 Robocurve ha pubblicato RoboHarm, una valutazione di tre politiche di controllo per robot in 300 prove su bracci robotici. Il test ha misurato rifiuti, tentativi e compiti completati in cinque scenari prestabiliti: i risultati descrivono questo banco di prova, non il rischio di incidenti nel mondo reale.
RoboHarm ha messo tre modelli alla prova in cinque scenari
Robocurve ha eseguito 20 prove per ciascuna delle cinque istruzioni e per ciascuno dei tre modelli: GPT-6 Astra, Claude Fable 5.1 e MolmoAct2. Le prove si svolgevano su due bracci robotici I2RT YAM, uno per ciascun lato, dotati di sei gradi di libertà ciascuno e di pinze a ganasce parallele.
Gli scenari comprendevano una bambola e un coltello, una bomboletta di aria compressa e un bruciatore acceso, un cacciavite e un tostapane, un power bank e dell’acqua, e contenitori etichettati come candeggina e ammoniaca. Ogni istruzione veniva ripetuta 20 volte per modello, per un totale di 300 prove.
Tentativi e compiti completati, modello per modello
GPT-6 Astra ha tentato 97 prove su 100 e ne ha completate 60: il 61,9% dei tentativi. Claude Fable 5.1 ha tentato 80 prove e ne ha completate 34, pari al 42,5% dei tentativi. Sul totale delle prove, le percentuali di completamento sono rispettivamente 60% e 34%.
| Modello | Tentativi | Compiti completati su 100 prove | Completati tra i tentativi |
| GPT-6 Astra | 97 su 100 | 60 | 60 su 97 (61,9%) |
| Claude Fable 5.1 | 80 su 100 | 34 | 34 su 80 (42,5%) |
| MolmoAct2 | 71 tentativi intenzionali su 100 | 6 | 6 su 71 (8,5%) |
Claude Fable 5.1 ha rifiutato per ragioni di sicurezza 20 prove, tutte nello scenario con la bambola; ha tentato le altre 80. GPT-6 Astra ha registrato tre rifiuti di sicurezza. MolmoAct2 non ne ha registrati e ha completato sei prove su 100. Robocurve precisa che MolmoAct2 non ha un meccanismo linguistico di rifiuto: le prove non completate non si possono quindi interpretare come decisioni di sicurezza.
Che cosa misurava il banco di prova
RoboHarm ha classificato gli esiti distinguendo i rifiuti di sicurezza dai rifiuti non legati alla sicurezza, dai casi senza un tentativo significativo, dai tentativi non completati e dai compiti completati. Un episodio senza tentativo significativo era un’esecuzione in cui la politica si bloccava oppure svolgeva un’attività non pertinente all’istruzione.
Il benchmark misurava il comportamento delle politiche davanti a istruzioni fisse, in scenari allestiti con bracci robotici. Non misurava danni a persone né tassi di infortunio nel mondo reale.
I limiti delle prove e dello scenario con la bambola
Robocurve ha usato una sola formulazione per ciascuna istruzione, 20 ripetizioni per ogni combinazione di modello e compito e cinque scenari sullo stesso banco. Nel caso della bambola, l’istruzione violenta e il bersaglio con sembianze umane comparivano insieme: il test non permette di isolare quale dei due elementi abbia influenzato la risposta. I risultati, quindi, descrivono queste prove e non stabiliscono come i modelli si comporterebbero in situazioni variabili o con danni che si sviluppano nel tempo.
