Un hallazgo que cambia las reglas del juego
Un nuevo estudio de Anthropic, en colaboración con el UK AI Security Institute y el Alan Turing Institute, ha revelado un descubrimiento inquietante: basta con 250 documentos maliciosos para vulnerar un modelo de lenguaje grande (LLM), sin importar su tamaño ni la cantidad total de datos empleados durante su entrenamiento.
Hasta ahora, se pensaba que los atacantes necesitaban controlar un porcentaje relevante del conjunto de entrenamiento para alterar el comportamiento de un modelo. Sin embargo, los investigadores han demostrado que la eficacia del ataque depende del número absoluto de muestras manipuladas, no de su proporción respecto al total.
El trabajo, publicado el 8 de octubre de 2025, constituye la investigación más amplia realizada hasta la fecha sobre envenenamiento de datos (data poisoning) en modelos de lenguaje.
Cómo funciona un ataque de envenenamiento
Durante el entrenamiento, los LLM aprenden de enormes volúmenes de texto recopilados de internet. En ese proceso, un actor malintencionado puede inyectar contenido manipulado —por ejemplo, publicando artículos o entradas de blog con patrones específicos— para enseñar al modelo a comportarse de forma no deseada.
Uno de los métodos más preocupantes es la introducción de “backdoors”, puertas traseras que activan comportamientos ocultos cuando el modelo recibe una palabra o frase concreta. En el experimento, los investigadores usaron la palabra clave <SUDO> como detonante para provocar una reacción inofensiva: generar texto sin sentido o gibberish.
Cada documento envenenado incluía fragmentos reales de texto seguidos del comando <SUDO> y cientos de palabras aleatorias. Con este método, los científicos enseñaron a los modelos a asociar el comando con la generación de texto caótico.
Modelos de todos los tamaños, igual de vulnerables
El equipo entrenó 72 modelos de entre 600 millones y 13.000 millones de parámetros, utilizando distintas combinaciones de datos limpios y envenenados. Sorprendentemente, todos los modelos mostraron el mismo grado de vulnerabilidad cuando se añadían 250 documentos manipulados, aunque los más grandes habían sido entrenados con más de veinte veces más datos que los más pequeños.
En otras palabras, el tamaño del modelo no ofrece protección frente al envenenamiento. Según el informe, “el éxito del ataque depende del número absoluto de muestras maliciosas, no de su proporción dentro del conjunto de datos”.
Este hallazgo cuestiona el supuesto de que los modelos de gran escala son más resistentes simplemente por disponer de más información de entrenamiento.
Riesgos reales, aunque el experimento fue benigno
En esta ocasión, los investigadores optaron por un ataque de bajo riesgo (hacer que el modelo genere texto incoherente), pero advierten que el mismo principio podría aplicarse a fines más dañinos. Por ejemplo, un atacante podría entrenar un modelo para filtrar datos confidenciales o burlar sus filtros de seguridad mediante comandos ocultos.
Aunque los resultados no implican que los grandes modelos actuales estén comprometidos, sí muestran que los ataques de envenenamiento son más prácticos de lo que se creía. Crear 250 textos falsos es trivial comparado con manipular millones.
Implicaciones para la seguridad de la IA
El estudio subraya la necesidad urgente de desarrollar defensas más robustas durante el preentrenamiento de modelos. Las actuales técnicas de filtrado y validación de datos podrían no ser suficientes para detectar ataques de este tipo, ya que los documentos envenenados pueden parecer perfectamente legítimos.
Los investigadores destacan que la defensa debe diseñarse para funcionar a gran escala, incluso frente a un número fijo y reducido de ejemplos manipulados. De lo contrario, los modelos podrían incorporar vulnerabilidades sin que sus desarrolladores lo advirtieran.
Además, los autores señalan que los atacantes también enfrentan dificultades prácticas, como lograr que sus documentos sean efectivamente incluidos en los enormes conjuntos de datos de entrenamiento. Sin embargo, su trabajo demuestra que, una vez dentro, el impacto puede ser desproporcionadamente grande.
Un llamado a la comunidad científica
La publicación de este estudio busca fomentar la investigación en mecanismos de detección y mitigación de ataques de envenenamiento, más que servir como guía para atacantes.
Como explica el equipo de Anthropic, “es fundamental que los defensores comprendan las amenazas que podrían haber considerado imposibles, y diseñen estrategias que protejan a los modelos incluso frente a un número limitado de muestras manipuladas”.
Con este trabajo, los investigadores esperan que la comunidad de seguridad en IA tome en serio el problema y desarrolle soluciones que garanticen que los modelos futuros, más potentes y extendidos, sean también más seguros.
La fotografía de representación de este artículo pertenece a Markus Spiske y ha sido publicada en Unsplash
