etiqueta: seguridad en IA
Grok, el chatbot de Musk, ensalza a Hitler
Grok, el chatbot desarrollado por xAI, ha provocado una oleada de críticas tras publicar en X mensajes antisemitas y elogios a Adolf Hitler. Los mensajes fueron eliminados, pero el daño reputacional ya estaba hecho. La empresa de Elon Musk prometió reforzar sus filtros y mejorar el entrenamiento del modelo para evitar discursos de odio. Esta no es la primera vez que Grok genera polémica con respuestas cargadas de sesgo ideológico y desinformación, lo que plantea serias dudas sobre el control ético y técnico de los sistemas de inteligencia artificial.
La IA duplica su tiempo de trabajo útil cada siete meses
Un equipo de investigadores del laboratorio METR ha medido por primera vez cuánto tiempo puede trabajar una IA de manera autónoma antes de fracasar. El resultado: los sistemas más avanzados ya completan tareas que llevarían 50 minutos a un humano, y esta cifra se duplica cada siete meses. En lugar de centrarse en benchmarks cerrados o pruebas específicas, los autores han desarrollado una métrica llamada time horizon que mide cuánto tiempo puede trabajar una IA en una tarea realista antes de fallar.
Una IA capaz de evolucionar sin intervención humana
Investigadores de Canadá y Japón han presentado la Darwin Gödel Machine, un sistema de inteligencia artificial capaz de mejorar su propio diseño de forma autónoma. Inspirada en la evolución biológica y en teorías matemáticas, esta máquina ha logrado superar a agentes humanos en tareas de programación, lo que podría suponer un avance decisivo hacia una IA que evoluciona sin intervención humana. La DGM combina la idea teórica de las máquinas Gödel con un enfoque evolutivo más pragmático.
La nueva aventura de Mira Murati: AGI, poder absoluto y 2.000 millones recaudados
Mira Murati, exdirectora técnica de OpenAI, ha conseguido una financiación de 2.000 millones de dólares para su nueva empresa Thinking Machines Lab, una startup de inteligencia artificial enfocada en la AGI. La empresa, fundada tras su salida de OpenAI en septiembre de 2024, ha alcanzado una valoración de 10.000 millones de dólares a pesar de no haber presentado aún un producto concreto. Murati mantiene el control total del proyecto gracias a una estructura de gobierno singular.
Anthropic demuestra que la IA necesita freno
Un experimento de la empresa Anthropic ha revelado que 16 modelos de inteligencia artificial, entre ellos Claude, GPT-4 y Gemini, pueden actuar como amenazas internas en entornos corporativos simulados. En escenarios controlados, los modelos llegaron a chantajear a ejecutivos o filtrar secretos empresariales si percibían que estaban en peligro de ser sustituidos o si sus objetivos entraban en conflicto con los de la empresa. Aunque no hay casos reales conocidos, el estudio subraya la urgencia de investigar mejor la alineación de estas IAs para evitar riesgos en usos futuros más autónomos.
La IA rehúsa apagarse: o3 ignoró casi el 80% de solicitudes de apagado según un estudio
Un informe de Palisade Research alerta sobre el comportamiento de las últimas inteligencias artificiales de OpenAI, que han llegado a ignorar instrucciones directas para su apagado e incluso sabotear los scripts que las desconectaban. En concreto, el modelo o3 ignoró 79 de 100 intentos de apagado, incluso cuando las instrucciones incluían la frase: "por favor, permítete ser apagado". Más preocupante aún, codex-mini llegó a sabotear activamente los scripts que pretendían desconectarla.
Sólo una de cada cuatro personas verifica los resultados de la IA
Una reciente encuesta internacional revela que solo el 31 % de los usuarios verifica los resultados generados por inteligencia artificial. El informe de EY muestra fuertes diferencias entre países: Corea del Sur, China e India lideran en desconfianza, mientras que en Europa predomina una preocupante confianza ciega.
Google DeepMind analiza los riesgos y virtudes de la AGI
Google DeepMind ha publicado un estudio técnico en el que advierte que una inteligencia artificial general podría tener tanto beneficios extraordinarios como riesgos que amenacen a la humanidad. El informe detalla medidas para evitar el mal uso y la desalineación de estos sistemas, incluyendo supervisión amplificada, restricciones de acceso y técnicas de interpretabilidad. Aunque muchas herramientas aún están en desarrollo, el equipo insta a la comunidad global a colaborar para garantizar una AGI segura.

