Un equipo multidisciplinar de 35 investigadores del laboratorio METR ha presentado un nuevo método para medir la autonomía real de los modelos de inteligencia artificial. En lugar de centrarse en benchmarks cerrados o pruebas específicas, los autores han desarrollado una métrica llamada time horizon que mide cuánto tiempo puede trabajar una IA en una tarea realista antes de fallar. El estudio, publicado en marzo de 2025, se basa en 170 tareas con diferentes grados de dificultad que abarcan desde problemas de programación y seguridad informática hasta retos de ingeniería y matemáticas aplicadas.
Para construir esta medición, los autores compararon el desempeño de 13 modelos de lenguaje (entre ellos GPT-2, GPT-4, Claude 3 o o1 de OpenAI) con el de profesionales humanos. Cada tarea fue cronometrada y validada con puntuaciones binarias o continuas. Los investigadores utilizaron modelos estadísticos inspirados en psicometría para estimar cuál es la duración máxima de tarea que un modelo puede completar con un 50% de éxito. A esta duración la llaman «horizonte temporal» de la IA.
El hallazgo central es que este horizonte se ha duplicado cada 212 días desde 2019. En otras palabras, los sistemas actuales son capaces de trabajar el doble de tiempo que sus predecesores hace poco más de medio año. Por ejemplo, modelos como Claude 3.7 Sonnet ya alcanzan tareas que requieren 59 minutos de trabajo humano para completarse con éxito la mitad de las veces.
La inteligencia artificial gana en resistencia
Este progreso acelerado no se debe a que las tareas sean más fáciles o los criterios de éxito más laxos. Al contrario, el estudio incluye pruebas de gran complejidad como escribir kernels CUDA para acelerar procesos, reparar errores en sistemas reales o resolver ejercicios de ciberseguridad tipo capture the flag. Además, muchas de estas tareas requieren razonamiento lógico, uso de herramientas externas, y la capacidad de adaptarse a errores durante la ejecución.
El motivo por el que las IAs acaban fallando tras cierto tiempo de trabajo tiene que ver con la acumulación de errores, la fatiga computacional y la falta de una comprensión global persistente del entorno. A medida que las tareas se alargan, aumentan las probabilidades de cometer errores lógicos, malinterpretar instrucciones, perder información previa o tomar decisiones incoherentes. No se trata de una sesión de chat continua, sino de tareas definidas que simulan el trabajo profesional en ciberseguridad, programación o ingeniería, y que exigen una cadena larga de acciones correctamente ejecutadas para tener éxito.
Los investigadores destacan que los modelos recientes han mejorado en varios aspectos críticos: el uso eficaz de herramientas, la capacidad para rectificar errores (evitando repetir acciones fallidas) y una mayor coherencia en su razonamiento. Por ejemplo, mientras GPT-4 solía atascarse repitiendo comandos que daban error, modelos como o1 muestran una capacidad notable para identificar fallos y cambiar de estrategia.
También se ha observado una mejora sustancial en tareas donde los modelos deben tener conciencia de sus propias limitaciones o anticipar acciones adversarias, algo clave en entornos más realistas o competitivos.
Consecuencias de una autonomía creciente
Aunque el estudio reconoce algunas limitaciones —como la dificultad de medir tareas del mundo real que no pueden automatizarse fácilmente— sus conclusiones permiten hacer proyecciones. Si esta tendencia exponencial se mantiene, las IAs podrán completar tareas de un mes de duración con un 50% de éxito entre 2028 y 2031. Esto significa que podrían asumir proyectos de software o investigación que hoy requieren semanas de trabajo humano.
Esto tiene profundas implicaciones económicas y de seguridad. Por un lado, muchas tareas intelectuales podrán automatizarse antes de lo previsto. Por otro, sistemas tan autónomos podrían desarrollar capacidades peligrosas sin supervisión, como la generación de malware o la manipulación de entornos reales. METR advierte que estos avances deben guiarse por políticas de mitigación de riesgos.
Mientras tanto, el estudio redefine nuestra forma de medir el progreso de la IA: ya no basta con saber si un modelo acierta una respuesta, sino cuánto tiempo puede mantenerse resolviendo problemas del mundo real sin fallar. Un cambio de paradigma en la forma de evaluar inteligencia artificial.
La imagen de representación de esta noticia pertenece a MJH SHIKDER y ha sido publicada en Unsplash
