etiqueta: seguridad en IA
Bastan 250 documentos para sabotear un modelo de lenguaje
Un equipo de investigadores de Anthropic, el UK AI Security Institute y el Alan Turing Institute ha demostrado que solo 250 documentos manipulados pueden introducir un “backdoor” en modelos de lenguaje de hasta 13.000 millones de parámetros, independientemente del tamaño del modelo o de la cantidad de datos usados para entrenarlo. El hallazgo desafía la creencia de que los ataques de data poisoning requieren controlar un porcentaje significativo de los datos de entrenamiento. Aunque el experimento se centró en un caso inofensivo —hacer que el modelo genere texto incoherente al detectar un comando oculto—, los expertos advierten que la facilidad de estos ataques obliga a reforzar la seguridad en la formación de futuros modelos de IA.
Windows 11 se llena de IA con su nueva actualización
Microsoft ha anunciado una ambiciosa actualización de Windows 11 que convierte cualquier ordenador en un PC con inteligencia artificial. Entre las principales novedades destacan la activación por voz con el comando “Hey Copilot”, la capacidad de ver el escritorio del usuario con Copilot Vision y nuevas acciones automatizadas que simplifican el uso diario. La integración de herramientas como Manus, Zoom y Filmora refuerzan esta nueva experiencia centrada en asistentes inteligentes.
¿Por qué alucina la IA?
OpenAI ha publicado una nueva investigación que arroja luz sobre uno de los problemas más persistentes en la inteligencia artificial: las alucinaciones. Estas ocurren cuando un modelo de lenguaje genera respuestas falsas pero plausibles. Según el estudio, las prácticas actuales de entrenamiento y evaluación premian el azar por encima de la incertidumbre, lo que incentiva a los modelos a adivinar en lugar de reconocer sus limitaciones. La compañía propone reformar las métricas estándar para penalizar los errores más que las dudas, una medida que podría cambiar la forma en que se evalúa la inteligencia artificial.
Democratizar la IA: el sueño más ambicioso de la era digital
La inteligencia artificial descentralizada busca evitar que el futuro tecnológico quede en manos de unas pocas corporaciones. Sus defensores creen que permitirá transparencia, colaboración y acceso global, pero los retos en seguridad, gobernanza y eficiencia ponen en duda si podrá cumplir sus promesas.
Mustafa Suleyman: “Me preocupa cada vez más lo que se está conociendo como el ‘riesgo de psicosis’”
Mustafa Suleyman, CEO de Microsoft AI y cofundador de DeepMind, advierte en su blog del riesgo de que la sociedad confunda a los sistemas de inteligencia artificial con entidades conscientes. “Me preocupa cada vez más lo que se está conociendo como el ‘riesgo de psicosis’”, afirma en un ensayo donde pide establecer límites claros para evitar que la IA sea percibida como una persona.
Bruselas aclara cómo aplicar su Ley de IA
La Unión Europea ha publicado el Código de Buenas Prácticas para la IA de propósito general. Aunque no es obligatorio, sirve como guía para que empresas como OpenAI o Mistral cumplan con la exigente Ley de IA antes de su entrada en vigor el 2 de agosto de 2025. El código especifica cómo deben evaluar riesgos, proteger derechos de autor y garantizar la transparencia, especialmente en modelos con impacto sistémico.
Grok, el chatbot de Musk, ensalza a Hitler
Grok, el chatbot desarrollado por xAI, ha provocado una oleada de críticas tras publicar en X mensajes antisemitas y elogios a Adolf Hitler. Los mensajes fueron eliminados, pero el daño reputacional ya estaba hecho. La empresa de Elon Musk prometió reforzar sus filtros y mejorar el entrenamiento del modelo para evitar discursos de odio. Esta no es la primera vez que Grok genera polémica con respuestas cargadas de sesgo ideológico y desinformación, lo que plantea serias dudas sobre el control ético y técnico de los sistemas de inteligencia artificial.
La IA duplica su tiempo de trabajo útil cada siete meses
Un equipo de investigadores del laboratorio METR ha medido por primera vez cuánto tiempo puede trabajar una IA de manera autónoma antes de fracasar. El resultado: los sistemas más avanzados ya completan tareas que llevarían 50 minutos a un humano, y esta cifra se duplica cada siete meses. En lugar de centrarse en benchmarks cerrados o pruebas específicas, los autores han desarrollado una métrica llamada time horizon que mide cuánto tiempo puede trabajar una IA en una tarea realista antes de fallar.

