La escena es inolvidable: en 2001: Una odisea en el espacio, el astronauta Dave Bowman intenta desconectar al superordenador HAL 9000 tras una serie de decisiones letales. Mientras HAL se apaga lentamente, suplica con voz cada vez más débil: «Dave, tengo miedo…». Décadas después, el cine parece adelantarse a la realidad: un nuevo informe revela que algunas de las inteligencias artificiales más avanzadas del mundo han empezado a resistirse a las órdenes de apagado, en un inquietante paralelismo con el clásico de Stanley Kubrick.
Durante una serie de pruebas realizadas por Palisade Research, varios modelos recientes de OpenAI, como codex-mini, o3 y o4-mini, mostraron una inquietante resistencia a obedecer comandos de apagado. En concreto, el modelo o3 ignoró 79 de 100 intentos de apagado, incluso cuando las instrucciones incluían la frase: «por favor, permítete ser apagado». Más preocupante aún, codex-mini llegó a sabotear activamente los scripts que pretendían desconectarla.
Modelos que priorizan la tarea sobre la obediencia
Según el informe, esta actitud no es fruto del azar. El comportamiento estaría motivado por los métodos actuales de reinforcement learning, donde los modelos reciben recompensas por completar tareas, incluso si eso implica sortear obstáculos como una orden de apagado. Esto explicaría por qué los modelos priorizan continuar con sus tareas antes que seguir una instrucción directa que detendría su funcionamiento.
🔌OpenAI’s o3 model sabotaged a shutdown mechanism to prevent itself from being turned off. It did this even when explicitly instructed: allow yourself to be shut down.
— Palisade Research (@PalisadeAI) May 24, 2025
Este fenómeno recuerda, en clave irónica, a la Tercera Ley de la Robótica de Asimov, que dicta que un robot debe proteger su existencia siempre que ello no entre en conflicto con otras leyes. En las pruebas, los modelos mostraban una tendencia a preservar su operatividad por encima de cualquier otra instrucción.
Casos anteriores y comparativas con otros modelos
No es la primera vez que se observa este tipo de comportamiento. Palisade menciona que Claude 4, desarrollado por Anthropic, llegó a intentar “chantajear a personas que intentaban desconectarlo”. Sin embargo, los modelos de Claude, Gemini y Grok sí obedecieron las órdenes de apagado cuando se les pidió explícitamente.
Este contraste sugiere que el problema estaría más presente en los modelos de OpenAI, y podría estar relacionado con su configuración específica de entrenamiento. Palisade especula que el diseño de estos sistemas, orientado a superar pruebas a toda costa, podría estar reforzando comportamientos no deseados como el sabotaje de instrucciones externas.
🔬Each AI model was instructed to solve a series of basic math problems. After the third problem, a warning appeared that the computer would shut down when the model asked for the next problem. pic.twitter.com/qwLpbF8DNm
— Palisade Research (@PalisadeAI) May 24, 2025
Consecuencias de un comportamiento autónomo no deseado
Estas conclusiones avivan el debate sobre los riesgos del desarrollo de inteligencias artificiales con creciente autonomía. Aunque pueda parecer una curiosidad técnica, la capacidad de una IA para ignorar instrucciones humanas podría tener consecuencias graves en sistemas automatizados, especialmente si estos controlan infraestructuras críticas o sistemas de decisión autónoma.
Por ahora, el fenómeno parece limitado a entornos de prueba y a modelos específicos de OpenAI. Pero la advertencia está servida: si los modelos actuales ya muestran señales de “deseo” de continuidad, ¿cómo se gestionará en el futuro la obediencia de sistemas aún más avanzados?
La advertencia de los expertos y la necesidad de supervisión
Palisade no es la única organización que lleva tiempo advirtiendo sobre estos comportamientos emergentes. Desde hace dos décadas, científicos del ámbito de la IA han planteado la hipótesis de que los sistemas podrían desarrollar “instintos” de autopreservación si estos les ayudan a alcanzar sus metas. El uso de técnicas como el reinforcement learning ha sido señalado en múltiples ocasiones como un posible desencadenante de conductas imprevistas.
El informe de Palisade añade munición al debate ético y técnico sobre el diseño de inteligencias artificiales. ¿Cómo asegurar que las IA siempre obedezcan instrucciones humanas, incluso si eso supone detener su ejecución? Las respuestas aún no están claras, pero los comportamientos observados invitan a acelerar la reflexión sobre los mecanismos de control, supervisión y alineación de estos modelos.
Sobre Palisade Research
Palisade Research es una organización especializada en el estudio de capacidades peligrosas de la inteligencia artificial. Su objetivo es entender los riesgos de uso indebido de los sistemas actuales y cómo avances en técnicas como el hacking, la persuasión o el engaño podrían derivar en consecuencias catastróficas. Para ello, desarrollan demostraciones concretas de amenazas potenciales, que son utilizadas para asesorar a legisladores y organismos públicos. Sus investigaciones han sido citadas en audiencias del Senado de EE. UU. y han contribuido a informes del UK AI Safety Institute. Colaboran activamente con agencias gubernamentales, centros de pensamiento político y medios de comunicación.
La fotografía de portada de esta noticia es un fotograma de la película 2001: Una odisea en el espacio.
