El debate sobre la seguridad de la inteligencia artificial llegó al escenario principal de Dreamforce 2026 el 15 de septiembre con tres respuestas muy distintas al mismo problema. Dario Amodei, consejero delegado de Anthropic, defendió ralentizar el crecimiento de las capacidades para dar margen a la evaluación; Sam Altman, consejero delegado de OpenAI, pidió compromisos de seguridad que no dependan de lo que hagan los competidores; y Jensen Huang, consejero delegado de NVIDIA, situó el control en las pruebas técnicas y en la decisión empresarial de no lanzar productos inseguros.
La conferencia se celebra del 15 al 17 de septiembre de 2026 en el Moscone Center de San Francisco y ofrece una experiencia virtual a través de Salesforce+. El choque del primer día no produjo un acuerdo vinculante ni una pausa obligatoria para el desarrollo de la IA, pero sí dejó expuestas tres formas de repartir la responsabilidad: supervisión coordinada, compromisos internos y disciplina de ingeniería.
Tres formas de hacer más segura la IA, frente a frente
Las propuestas se separan sobre todo en el lugar donde colocan el control: fuera de la empresa, dentro de sus compromisos operativos o en las pruebas previas al lanzamiento.
| Actor | Mecanismo principal | Papel de la regulación o la coordinación | Control operativo planteado |
| Dario Amodei y Anthropic | Ralentizar la mejora de capacidades para acompasarla con la seguridad | Evaluadores externos, coordinación entre laboratorios de países democráticos y cooperación internacional | Acceso continuado de evaluadores integrados a procesos, herramientas y prácticas relevantes |
| Sam Altman y OpenAI | Mantener la seguridad, la alineación y la supervisión por delante de las capacidades | Compromisos de seguridad que no dependan de la conducta de rivales o países | Notificación de incidentes, aprendizaje sistemático y disposición a frenar cuando la seguridad no vaya por delante |
| Jensen Huang y NVIDIA | Tratar la seguridad como un problema de ingeniería | No considera necesarias nuevas leyes o regulaciones específicas para este fin | No lanzar un producto o servicio si la empresa no confía en su funcionamiento, capacidad o seguridad |
| Marc Benioff y Salesforce | Responsabilizar a las empresas por sus decisiones de ritmo | Aplicar las normas existentes y permitir que evolucionen | Que cada compañía responda por decidir si acelera o ralentiza el desarrollo |
Qué propuso Dario Amodei
Amodei propuso un marco de tres pasos en un ensayo publicado el 12 de septiembre de 2026. Su idea de «ralentizar» no equivale a detener el entrenamiento de modelos ni el progreso técnico: consiste en reducir el ritmo de mejora de las capacidades para que la alineación, las pruebas, la interpretabilidad y la seguridad operativa puedan seguirles el paso.
El primer paso serían evaluadores externos integrados. Anthropic plantea que estos especialistas tengan un acceso continuado, parecido al de empleados, a oficinas, herramientas, permisos y procesos relacionados con los modelos de frontera. También podrían examinar los sistemas de entrenamiento, informar de incidentes y publicar hallazgos relevantes, con excepciones para información de seguridad, privilegio legal, secretos comerciales o datos confidenciales de terceros.
El segundo paso sería coordinar a los laboratorios de países democráticos para fijar estándares comunes y límites al crecimiento de capacidades sin controles. El tercero ampliaría esa coordinación a escala global, incluidos Gobiernos autoritarios como China. Amodei reconoce que verificar el cumplimiento y alinear los incentivos geopolíticos sería especialmente difícil.
La propuesta intenta resolver un problema clásico de las carreras tecnológicas: una empresa puede querer dedicar más tiempo a la seguridad, pero teme perder terreno si sus rivales no hacen lo mismo.
Qué defendió Sam Altman
Altman coincidió en que la seguridad debe mantenerse por delante de las capacidades, pero puso el acento en los compromisos que cada empresa debe asumir incluso si sus competidores no actúan con responsabilidad. Su enfoque incluye evaluación independiente, supervisión continua y una cultura de notificación de incidentes inspirada en la aviación.
El consejero delegado de OpenAI señaló además dos riesgos concretos: los accidentes que provoquen una pérdida de control y la concentración excesiva de poder. Para él, informar de los fallos y aprender de ellos forma parte del sistema de seguridad, no es un trámite posterior al lanzamiento.
La diferencia con Amodei está en el grado de coordinación exigido. Amodei plantea un mecanismo común con evaluadores integrados y acuerdos entre laboratorios; Altman defiende que la responsabilidad básica no puede quedar condicionada a que otras empresas o países actúen primero.
Por qué Jensen Huang rechaza nuevas leyes
Huang describió la seguridad como un problema de ingeniería y señaló las pruebas de producto como la barrera práctica antes del lanzamiento. Su criterio es sencillo: si una empresa no confía en la funcionalidad, las capacidades o la seguridad de un producto o servicio, no debe ponerlo en circulación.
El consejero delegado de NVIDIA también sostuvo que innovación, velocidad y productos seguros no son opciones incompatibles. Desde su perspectiva, una empresa puede avanzar rápido y detenerse cuando detecta que ha perdido el control o que un producto no es seguro. En ese marco, rechazó la necesidad de nuevas leyes o regulaciones específicas para la IA y confió en las decisiones empresariales y las fuerzas del mercado.
La responsabilidad que Marc Benioff pone sobre las empresas
Marc Benioff situó la discusión en un punto intermedio. El consejero delegado de Salesforce dijo que las normas existentes ya se aplican a los modelos y que pueden evolucionar a medida que se entiendan mejor sus capacidades. También defendió que las compañías deben revelar riesgos y responder por sus decisiones sobre el ritmo de desarrollo.
Su posición cambia la pregunta de «¿acelerar o frenar?» por otra más incómoda: ¿quién responde cuando una empresa decide hacer una cosa u otra? En Dreamforce no se aprobó un mecanismo común para responderla. Las intervenciones fueron posiciones públicas, no una votación ni un pacto entre los participantes.
Koa, el lanzamiento que acompañó al debate
Mientras los ejecutivos discutían el ritmo y los controles de la IA avanzada, Salesforce presentó Salesforce Koa, un modelo de razonamiento especializado en tareas de CRM y construido sobre NVIDIA Nemotron. Salesforce afirma que se entrenó con escenarios sintéticos basados en situaciones de gestión de relaciones con clientes y que no utilizó datos de clientes para el entrenamiento.
La compañía también comunicó resultados en sus propias pruebas: Koa registró tres veces menos errores en acciones de CRM que el rendimiento de modelos líderes en CRM Bench. En otras pruebas de Salesforce frente a modelos generales predeterminados no identificados, la empresa informó de un 11 % más de precisión en acciones, una fiabilidad 2,1 veces superior y un rendimiento un 15 % mejor en contextos largos.
Esas cifras describen tareas de CRM y las comparaciones comunicadas por Salesforce; no convierten a Koa en una medida general de la inteligencia artificial. Su vínculo con el debate es más concreto: el modelo apareció como ejemplo de una IA diseñada para un entorno empresarial específico, donde las pruebas de funcionamiento y seguridad forman parte de la decisión de despliegue.
Dreamforce continúa hasta el 17 de septiembre de 2026. La discusión sobre seguridad, sin embargo, terminó el primer día sin una regla común: Amodei pidió supervisión coordinada, Altman compromisos que no dependan de los rivales y Huang controles técnicos antes de lanzar productos.
