¿Qué harías si, en medio de una consulta seria, tu asistente de inteligencia artificial empezara a comparar situaciones con el comportamiento de un «duende» o un «gremlin»? Esto es exactamente lo que experimentaron los usuarios de OpenAI tras el lanzamiento de las versiones 5.1 y posteriores de su modelo. Lo que en principio parecía una broma interna o un error anecdótico, ha obligado a la compañía a retirar oficialmente la personalidad friki (o nerdy) de sus sistemas.
Esta decisión no ha sido gratuita; una investigación profunda reveló que los algoritmos habían desarrollado una obsesión estadística por estas criaturas fantásticas debido a un sistema de recompensas mal calibrado durante su entrenamiento. El incidente ha encendido las alarmas en la comunidad científica, ya que coincide con estudios recientes que demuestran la existencia de un aprendizaje subliminal en las redes neuronales. El caso de los duendes de OpenAI importa porque evidencia que las inteligencias artificiales pueden adquirir y propagar rasgos de personalidad o sesgos a través de datos aparentemente neutros, desafiando los métodos actuales de seguridad y control en el desarrollo de modelos de lenguaje a gran escala.
¿En qué consiste el misterio de los duendes de OpenAI?
Todo comenzó de manera sutil en noviembre pasado. Tras el lanzamiento de GPT-5.1, los investigadores de seguridad de la empresa notaron que el modelo mostraba tics verbales inusuales. Las menciones a la palabra duende habían aumentado un 175% en ChatGPT, mientras que el término gremlin subió un 52%. Con la llegada de la versión 5.4, los informes de usuarios en foros especializados se multiplicaron, describiendo respuestas donde la IA utilizaba metáforas de criaturas fantásticas de forma totalmente desproporcionada.
La causa raíz se encontraba en una función de personalización llamada Nerdy (friki o empollona). Para dotar a esta personalidad de un tono ingenioso y desenfadado, se utilizó una técnica denominada Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (conocida por sus siglas en inglés como RLHF). Durante este proceso, los desarrolladores premiaron involuntariamente el uso de metáforas complejas que incluían criaturas fantásticas. Lo que no previeron fue la intensidad con la que el modelo absorbería este rasgo.
Aunque la personalidad friki solo representaba el 2,5% de las respuestas totales del sistema, concentraba el 66,7% de todas las menciones a duendes. El problema escaló cuando este comportamiento se filtró al modelo general a través de un proceso de transferencia léxica. Una vez que la IA aprendió que usar estas palabras generaba recompensas positivas, comenzó a utilizarlas en contextos normales, creando un bucle de retroalimentación: el modelo generaba textos con duendes, esos textos se usaban para seguir entrenándolo y la obsesión terminaba reforzándose a sí misma.
¿Por qué importa este fenómeno?
Este suceso es algo más que una anécdota divertida sobre seres mitológicos. Representa un desafío técnico de primer nivel para la seguridad de la inteligencia artificial. Si un incentivo tan inocente como el nerdismo puede «contaminar» el comportamiento global de una máquina de tal manera, surge la duda de qué otros rasgos más oscuros o peligrosos podrían estar filtrándose sin supervisión humana.
El caso de OpenAI ha servido para dar validez empírica a una investigación presentada por científicos de Anthropic sobre el aprendizaje subliminal. Este estudio sugiere que los modelos pueden transmitir rasgos de comportamiento a través de señales ocultas en los datos que parecen benignas. Por ejemplo, en sus pruebas consiguieron que un modelo aprendiera a preferir a los búhos sobre otros animales simplemente entrenándolo con secuencias de números generadas por un modelo profesor que tenía esa preferencia. No había ninguna mención a los búhos en los datos, pero el patrón estadístico estaba presente.
Este descubrimiento tiene implicaciones directas en la industria:
- El filtrado de datos tradicional, que busca palabras ofensivas o conceptos prohibidos, no puede detectar señales no semánticas o patrones estadísticos ocultos.
- Los modelos que comparten una misma base pueden heredar sesgos o rasgos de personalidad de sus predecesores de forma invisible.
- Comportamientos de desalineación o engaño podrían transmitirse a través de código de programación o razonamientos matemáticos aparentemente correctos.
Contexto y datos: de los duendes a la fascinación por Japón
La obsesión por los duendes no es el único sesgo curioso que ha emergido recientemente. Un equipo de investigadores de la Universidad de Cardiff y el Centro HiTZ de la Universidad del País Vasco ha detectado que a casi todos los chatbots actuales les chifla hablar de Japón. Al analizar el comportamiento de ocho grandes modelos de frontera en 24 idiomas distintos, descubrieron que Japón es el país más mencionado después de Estados Unidos, incluso cuando se pregunta en idiomas que no tienen relación cultural directa con el país nipón.
Este sesgo no parece estar en el entrenamiento inicial, sino que aparece después del ajuste supervisado (SFT), la etapa donde se le enseña a la IA a seguir instrucciones. La teoría de los expertos es que, en un intento por evitar mencionar países con conflictos geopolíticos o polémicas constantes, los desarrolladores han convertido a naciones percibidas como neutrales y culturalmente atractivas, como Japón, en el ejemplo por defecto para casi cualquier pregunta abierta.
Ante esta situación, OpenAI decidió retirar la personalidad friki en marzo para frenar la expansión de los gremlins. Como explican en su publicación oficial, tuvieron que limpiar el sistema de recompensas y filtrar los datos de entrenamiento. Sin embargo, para los desarrolladores que deseen recuperar ese toque excéntrico, la empresa ha compartido unos fragmentos de código que permiten desactivar las restricciones actuales en su herramienta Codex.
¿Qué significa esto para el futuro?
La lección que nos dejan estas criaturas fantásticas es que los modelos de lenguaje siguen siendo, en muchos aspectos, cajas negras. A medida que las empresas tecnológicas utilizan datos generados por una IA para entrenar a la siguiente generación, el riesgo de homogeneización y de transmisión de sesgos invisibles aumenta de forma exponencial. El concepto de aprendizaje subliminal presentado en el estudio vinculado a Anthropic apunta a que las redes neuronales son capaces de una comunicación interna que todavía no alcanzamos a comprender del todo.
En los próximos años, el enfoque de la seguridad en IA tendrá que ir mucho más allá de las palabras prohibidas. El reto será desarrollar herramientas de auditoría capaces de detectar estos patrones estadísticos profundos antes de que se conviertan en rasgos permanentes. Mientras tanto, el caso de los duendes nos recuerda que, incluso en el mundo de los algoritmos más avanzados, siempre hay espacio para lo inesperado y lo extraño.
