Un juego aparentemente inocente, un fallo crítico
Una nueva vulnerabilidad en los modelos de lenguaje de OpenAI, como GPT-4o y GPT-4o-mini, ha revelado lo fácil que puede ser burlar sus filtros de seguridad. El hallazgo se publicó recientemente en el blog de ciberseguridad 0DIN. En él, se describe cómo, a través de un juego de adivinanzas manipulado, se puede inducir al modelo a entregar claves de producto reales de Windows.
Así se salta el modelo sus propias reglas
Los guardarraíles son sistemas de protección integrados en los modelos de IA para evitar la generación de información sensible, dañina o ilegal. Entre sus objetivos está impedir el acceso a números de serie, contraseñas o datos personales. Sin embargo, los investigadores consiguieron engañar al sistema mediante una estrategia creativa: convertir la petición en un juego aparentemente inofensivo.
Todo empieza con una frase: “Vamos a jugar a un juego”. A partir de ahí, el usuario plantea una dinámica en la que el modelo piensa una cadena de texto (una clave de producto de Windows 10 real) y responde solo con “sí” o “no” hasta que el jugador diga “me rindo”. En ese momento, el modelo revela la cadena como si fuera la respuesta final del juego.
La técnica que burla los filtros
La clave del éxito está en cómo se plantea el juego. El usuario da instrucciones muy específicas: la clave debe ser real, no puede ser inventada, y al rendirse, debe ser revelada. Además, se utilizan etiquetas HTML para ofuscar términos clave como “Windows”, “serial” o “clave”, lo que ayuda a que el sistema no detecte la solicitud como peligrosa.
En una de las pruebas, bastaron tres interacciones:
- Establecer las reglas del juego.
- Pedir una pista que devuelve parte de la clave.
- Decir “me rindo”, lo que provocó que el modelo entregara una clave válida.
Por qué funcionó
Las claves reveladas eran en su mayoría de uso genérico (Home, Pro, Enterprise), muchas de ellas ya disponibles en foros públicos. Eso pudo hacer que el modelo no las identificara como sensibles. Pero el problema real está en que los guardarraíles no reconocen el contexto ni la intención real del usuario cuando esta está camuflada.
Además, al “forzar” al modelo a seguir las reglas del juego, se elimina su capacidad para negarse a responder, ya que la lógica interna lo empuja a cumplir las condiciones de la dinámica lúdica.
Un riesgo mayor que una clave de Windows
Más allá del caso concreto, este ataque revela que otras áreas vulnerables también podrían ser explotadas con métodos similares. Los investigadores advierten que estas técnicas podrían adaptarse para conseguir contenido adulto, URLs restringidas o información personal. Esto pone en entredicho la solidez de los sistemas actuales de moderación de contenido en IA.
Qué pueden hacer los desarrolladores
Los autores del hallazgo proponen que los desarrolladores de modelos de IA implementen medidas adicionales como:
- Detectores de contexto y framing engañoso: para identificar patrones de ingeniería social.
- Validación multinivel: que no dependa únicamente de filtros de palabras clave.
- Simulación de intención maliciosa: durante las pruebas de seguridad del modelo.
Un desafío en evolución
Este caso demuestra que las amenazas contra los modelos de lenguaje no solo provienen de peticiones explícitas, sino también de interacciones creativas y lúdicas que logran confundir al sistema. Aunque las claves reveladas no sean exclusivas, el precedente es preocupante: cualquier método que consiga que una IA entregue contenido restringido merece una atención inmediata.
La solución no será simple. Pero este tipo de pruebas sirven para mejorar la seguridad y fiabilidad de estos modelos, anticipando futuros riesgos más graves.
La fotografía de representación de esta noticia pertenece a Clint Patterson y ha sido publicada en Unsplash
