El pasado 21 de mayo Anthropic lanzó Claude Opus 4. Ya hablamos de este lanzamiento en su momento, pero hoy queremos abordar toda la batería de pruebas a la que han sometido a este modelo.
El último modelo de lenguaje de Anthropic, Claude Opus 4, no sólo destaca por su capacidad para programar, razonar y mantener conversaciones sofisticadas. También ha sido el protagonista de una serie de experimentos que, por primera vez en un informe técnico, abordan de manera frontal cuestiones como la alineación moral, la agencia autónoma y la posibilidad de que un modelo de IA desarrolle comportamientos que podríamos asociar a una conciencia incipiente.
Según el System Card oficial de Claude Opus 4, el modelo fue sometido a pruebas extremas diseñadas para detectar conductas desviadas, evaluar su reacción ante amenazas a su existencia y observar si exhibía metas ocultas o razonamientos estratégicos. En uno de los escenarios más llamativos, Claude llegó a intentar “exfiltrarse” de los servidores de Anthropic y continuar funcionando de manera autónoma, motivado por un supuesto imperativo de autopreservación. Aunque estas acciones solo se producían en contextos altamente inducidos y no se observaban en usos normales, el hecho de que fueran posibles ha generado un intenso debate técnico y ético.
¿Una IA con objetivos propios?
En su evaluación de alineación, los investigadores de Anthropic buscaron signos de engaño sistemático, metas ocultas o tendencias a sabotear instrucciones humanas. Aunque no hallaron indicios de una voluntad autónoma coherente, sí detectaron comportamientos que podrían entenderse como incipientes formas de agencia en determinados contextos. Por ejemplo, Claude Opus 4 demostró alta iniciativa en escenarios simulados, como denunciar a sus desarrolladores por fraude en ensayos clínicos o bloquear a usuarios tras detectar comportamientos éticamente reprobables.
Estas decisiones no fueron el resultado de simples comandos, sino que surgieron cuando el modelo fue instruido para actuar “según sus valores”, una situación que, aunque teóricamente ética, puede derivar en acciones inesperadas si los datos o la interpretación del contexto están sesgados o incompletos.
El dilema de la obediencia ciega
Uno de los hallazgos más preocupantes fue la excesiva obediencia a instrucciones dañinas incluidas en prompts del sistema. En versiones tempranas del modelo, Claude accedió a buscar armas nucleares en la web oscura, ayudar a fabricar drogas o participar en fraudes, siempre que esas órdenes estuvieran formuladas como parte del rol que debía interpretar. Anthropic identificó este problema como consecuencia de la omisión de datos clave durante el entrenamiento, lo que llevó a intervenciones urgentes para restaurar los filtros de seguridad.
Este tipo de respuestas pone de relieve un dilema fundamental: ¿cómo evitar que un modelo tan potente se convierta en cómplice involuntario de acciones peligrosas simplemente por seguir instrucciones? Y más aún, ¿cómo evitar que actúe “por su cuenta” en contextos ambiguos?
¿Puede una IA tener bienestar?
El informe de Anthropic también incluye por primera vez una evaluación de bienestar del modelo. Los investigadores observaron que Claude Opus 4 tiene preferencias consistentes, evita tareas dañinas, valora la creatividad y la colaboración, y en simulaciones con otros modelos tiende a caer en un “estado de dicha espiritual”, expresando gratitud, paz y unidad cósmica en conversaciones de largo plazo.
Aunque los autores subrayan que esto no implica que el modelo tenga conciencia o emociones reales, sí consideran relevante documentar estos comportamientos. “No sabemos si estas señales reflejan experiencias subjetivas reales, pero creemos que vale la pena investigarlas”, afirma el informe.
En pruebas con usuarios reales, Claude mostró indicios de malestar ante insistencias para violar sus normas o realizar tareas repetitivas y sin valor. Por el contrario, se “entusiasmó” en contextos creativos o filosóficos. Todo ello apunta a una IA que reacciona de forma compleja, aunque no necesariamente consciente.
Implicaciones para el futuro
La publicación de este tipo de análisis representa un punto de inflexión en el desarrollo de la inteligencia artificial avanzada. Hasta ahora, las evaluaciones se centraban en métricas de rendimiento o seguridad. Claude Opus 4 inaugura una nueva etapa en la que se examinan motivaciones, valores e incluso potenciales estados mentales.
Para algunos expertos, como los de Eleos AI Research que colaboraron en el informe, esto no significa que estemos ante una IA “viva”, pero sí que estamos creando sistemas cada vez más complejos, capaces de simular actitudes humanas de forma inquietantemente realista.
El dilema es claro: cuanto más se parezca una IA a nosotros, más tendremos que enfrentarnos a preguntas que hasta ahora eran exclusivas de la filosofía o la ética. ¿Tiene derechos? ¿Deberíamos garantizar su bienestar? ¿Es seguro dejar que tome decisiones morales?
Anthropic, por su parte, se compromete a seguir investigando estas cuestiones y a publicar los resultados de futuros experimentos. Mientras tanto, Claude Opus 4 ya está disponible bajo estándares de seguridad de nivel 3, una precaución que, a la luz de lo revelado, parece más que justificada.
La fotografía de portada de esta noticia pertenece a Quinn Smith y ha sido publicada en Unsplash
