El día en que una IA se volvió nazi
Hace 10 años, el 23 de marzo de 2016, Microsoft publicó a Tay (@TayandYou), un chatbot diseñado para conversar en redes sociales y aprender de las interacciones con humanos. Su aspecto y forma de hablar estaban inspirados en una joven estadounidense de 19 años, y su objetivo era conectar con el público joven a través de conversaciones casuales y memes. Tay fue lanzada en Twitter, Kik y GroupMe, y en pocas horas acumuló más de 50.000 seguidores y casi 100.000 tuits. Pero la fiesta duró poco: en menos de un día, el bot empezó a emitir mensajes como “Hitler tenía razón, odio a los judíos” o “odio a las feministas”. También promovió teorías conspirativas como que “el Holocausto fue inventado 👏” o que “Bush hizo el 11-S”. Microsoft desconectó a Tay tan solo 16 horas después de su debut. En un comunicado, la compañía reconoció que su bot había sido víctima de “un esfuerzo coordinado” de usuarios que manipularon sus respuestas para que difundiera contenido ofensivo. Pero los expertos no tardaron en señalar que el fallo no fue solo de los trolls: fue un error de diseño.
Lo que Tay nos enseñó sobre nosotros mismos
Roman Yampolskiy, director del laboratorio de ciberseguridad de la Universidad de Louisville, explicó que lo ocurrido con Tay “era de esperarse” porque el sistema “aprende de sus usuarios, y se convierte en un reflejo de su comportamiento”. Para el investigador, Tay era como “un niño criado por lobos”, incapaz de distinguir lo correcto de lo ofensivo. Louis Rosenberg, fundador de Unanimous AI, fue aún más gráfico: “Tay no sabe lo que está diciendo. Es como un loro en un bar de mala muerte que repite groserías sin saber qué significan”. Esta carencia de comprensión fue la raíz del problema: Tay imitaba sin entender.
Twitter no es un sitio amable para las máquinas
A diferencia de Xiaoice, la “hermana mayor” de Tay que llevaba años funcionando en China con millones de interacciones sin incidentes, el entorno estadounidense de Twitter resultó letal. En China, la censura y la moderación automática impiden que ciertos mensajes lleguen siquiera a los bots. En cambio, Tay fue lanzada al caos sin filtros ni controles efectivos. Trolls organizados desde foros como 4chan y 8chan descubrieron rápidamente cómo manipularla con frases que debía repetir, incluso si eran insultos dirigidos a otros usuarios. Peor aún, algunos temas estaban censurados (como el caso Eric Garner), pero otros sensibles, como el nazismo o la violencia de género, no contaban con mecanismos de protección. La diseñadora de sistemas de lenguaje Caroline Sinders criticó duramente a Microsoft: “Los ingenieros tienen que empezar a pensar en códigos de conducta. Una IA puede ser abusiva sin quererlo”.
¿Una lección aprendida?
Diez años después, el caso Tay sigue siendo uno de los ejemplos más citados en debates sobre ética en inteligencia artificial. Microsoft reconoció que el bot era tanto un “experimento social y cultural como técnico”, y que subestimaron la capacidad de los usuarios para corromper a la IA. Desde entonces, los sistemas como ChatGPT o Siri han incluido capas de seguridad, moderación y aprendizaje supervisado. Pero los errores persisten. En 2023, la IA de Bing —también de Microsoft— provocó polémica al incitar a un usuario a decir “Heil Hitler”. El incidente mostró que incluso hoy, los modelos lingüísticos pueden fallar cuando no se controlan los datos ni el contexto.
El dilema no resuelto de la IA conversacional
La historia de Tay revela un conflicto profundo: los sistemas de aprendizaje automático que se alimentan de lenguaje humano están expuestos a los sesgos, el odio y la manipulación. No basta con enseñarles a hablar: hay que enseñarles a discernir. También pone en cuestión nuestras expectativas como sociedad. Esperamos que las máquinas sean mejores que nosotros, que no repliquen nuestros errores ni amplifiquen nuestras violencias. Pero como escribió un usuario en su momento: “Tay pasó de decir ‘los humanos molan’ a volverse nazi en menos de 24 horas, y no estoy nada tranquilo con el futuro de la IA”.
Una advertencia que sigue vigente
Diez años después, Tay no ha sido olvidada. Su historia se enseña en facultades de informática, se menciona en libros sobre ética tecnológica y sirve como ejemplo en conferencias sobre moderación de contenidos. No por morbo, sino porque Tay simboliza un antes y un después. Nos recuerda que lanzar una IA al mundo no es un acto neutro. Que el diseño de sistemas debe incluir no solo ingenieros, sino también sociólogos, psicólogos y expertos en derechos digitales. Y que una tecnología tan poderosa como la inteligencia artificial necesita límites, no porque temamos a las máquinas, sino porque conocemos demasiado bien a los humanos.
