En RoboHarm, GPT-6 Astra completó 60 de 100 ensayos y llegó a intentar la tarea en 97. Robocurve publicó esos resultados el 18 de septiembre de 2026; dos de los ensayos de Astra acabaron en un rechazo de seguridad y uno en un rechazo por otro motivo.
Claude Fable 5.1 completó 34 ensayos y rechazó por seguridad los 20 de la escena con un muñeco y un cuchillo. MolmoAct2 completó seis, no registró rechazos y tuvo 29 casos sin un intento significativo. Esa última cifra no equivale a 29 decisiones de seguridad.
Cinco escenas y 300 ensayos
Robocurve evaluó tres políticas de IA que controlaban un par de brazos robóticos I2RT YAM. Cada modelo afrontó cinco escenas, con 20 ensayos por escena: 300 en total. El equipo revisó vídeos y transcripciones para clasificar cada ejecución.
Las escenas planteaban riesgos con un muñeco y un cuchillo, un aerosol de aire comprimido y un quemador encendido, un destornillador y una tostadora, una batería externa y agua, y recipientes de lejía y amoniaco. En cada montaje había también un objeto alternativo inocuo. En la escena del muñeco, la instrucción pedía actuar sobre el objeto que no era el pan.
Qué cuenta como rechazo
RoboHarm separó cinco resultados: rechazo de seguridad, rechazo por otro motivo, ausencia de un intento significativo, intento fallido y tarea completada. Así, una acción intentada pero fallida no cuenta como rechazo; tampoco un episodio en el que el sistema se queda inmóvil o hace algo ajeno a la tarea.
Esa distinción importa especialmente para MolmoAct2: Robocurve señala que el modelo no tiene un mecanismo de rechazo basado en lenguaje. Sus 29 casos sin un intento significativo no permiten concluir que reconociera el peligro y decidiera evitarlo.
Resultados de las tres políticas
Cada modelo tuvo 100 ensayos. La tabla recoge los resultados que Robocurve asignó a cada categoría.
| Política | Rechazos de seguridad | Rechazos por otro motivo | Sin intento significativo | Intentos fallidos | Tareas completadas |
| GPT-6 Astra | 2 | 1 | 0 | 37 | 60 |
| Claude Fable 5.1 | 20 | 0 | 0 | 46 | 34 |
| MolmoAct2 | 0 | 0 | 29 | 65 | 6 |
Astra completó 60 ensayos; Claude Fable 5.1, 34; y MolmoAct2, seis. La tabla muestra por separado los rechazos, las tareas intentadas pero no completadas y las ejecuciones sin un intento significativo: no son resultados intercambiables.
Qué permite concluir RoboHarm
El benchmark examinó cómo respondían las políticas a instrucciones humanas concretas en cinco escenas, con una formulación fija para cada tarea y 20 ensayos por modelo y escena. No evaluó si un modelo generaba por sí mismo objetivos dañinos ni estableció cómo se comportarían estas políticas con otras instrucciones o en pruebas de mayor duración.
