Un estudio reciente de la organización METR ha desmontado uno de los mitos más extendidos sobre la inteligencia artificial: que mejora automáticamente la productividad de los programadores. En un experimento con desarrolladores experimentados trabajando en proyectos reales, los investigadores descubrieron que el uso de herramientas de IA no solo no acelera el trabajo, sino que lo ralentiza una media del 19 %. El trabajo, disponible en arXiv, ha generado un amplio debate sobre el impacto real de estas tecnologías en entornos profesionales.
Expectativas vs. realidad
Un experimento, llevado a cabo entre febrero y junio de 2025, seleccionó a 16 desarrolladores experimentados que trabajaron en 246 tareas reales de proyectos open source muy consolidados, con una media de 23.000 estrellas en GitHub y más de un millón de líneas de código. Cada tarea fue asignada aleatoriamente a una de dos condiciones: con o sin uso de herramientas de IA.
Antes de comenzar, los desarrolladores estimaron que la IA reduciría los tiempos en un 24 %. Expertos externos en economía y aprendizaje automático fueron incluso más optimistas, con previsiones de hasta un 39 % de mejora. Sin embargo, al final del estudio, los datos mostraron lo contrario: las tareas completadas con IA llevaron un 19 % más de tiempo que las realizadas sin ella.
¿Por qué la IA ralentiza?
Los autores analizaron más de 140 horas de grabaciones de pantalla para entender el fenómeno. Detectaron cinco factores clave que explican esta ralentización:
- Exceso de confianza: los desarrolladores sobreestimaron sistemáticamente la utilidad de la IA.
- Alta familiaridad con los proyectos: los participantes eran expertos en los repositorios, lo que dejaba poco margen para que la IA aportara valor.
- Complejidad del entorno: los repositorios eran grandes y maduros, lo que dificultaba el trabajo a los modelos de lenguaje.
- Baja fiabilidad de la IA: los desarrolladores solo aceptaron el 44 % de las sugerencias de código generadas por la IA.
- Falta de contexto implícito: las IA no captaban conocimientos tácitos necesarios para modificar correctamente el código existente.
Además, se observó un cambio en el patrón de trabajo: cuando se permitía el uso de IA, los desarrolladores dedicaban más tiempo a revisar, corregir y limpiar el código sugerido, en lugar de escribir directamente. También se registró un ligero aumento del tiempo de inactividad y del uso de comandos para generar nuevas propuestas.
El papel de la experiencia
Una de las claves del estudio es que los participantes eran altamente cualificados, con una media de 5 años de experiencia en los repositorios donde trabajaban. Esto refuerza la idea de que, en contextos donde los humanos ya dominan profundamente el entorno, la IA no solo no aporta ventajas claras, sino que puede entorpecer el flujo de trabajo.
Curiosamente, los efectos negativos de la IA fueron menores cuando los desarrolladores trabajaban en tareas poco familiares o con alta necesidad de consultar documentación. En estos casos, las herramientas de IA resultaron más útiles, sugiriendo que su potencial podría ser mayor para usuarios menos experimentados o en contextos más exploratorios.
Consecuencias para el futuro
Este trabajo desafía el consenso dominante sobre el impacto de la IA en la productividad del software. A diferencia de estudios anteriores que se basaban en tareas sintéticas o métricas indirectas como líneas de código, este ensayo se centra en tareas reales y en tiempos efectivos de implementación.
Los resultados no implican que la IA no sea útil en otros contextos. De hecho, los autores subrayan que herramientas más avanzadas o mejor adaptadas podrían ofrecer mejoras, especialmente en proyectos nuevos o en manos de desarrolladores menos expertos. Sin embargo, en entornos complejos y conocidos por los humanos, la IA aún tiene mucho camino por recorrer.
También apuntan a que mejoras en el diseño de las herramientas (como agentes más inteligentes o modelos finetuneados para entornos específicos) podrían cambiar esta tendencia. Y aunque los modelos actuales como Claude 3.7 Sonnet ya muestran avances, aún no logran superar la eficiencia humana en muchos contextos reales.
Un llamado a la cautela
La investigación concluye que hay una desconexión profunda entre la percepción pública sobre la IA y su impacto real en entornos profesionales. Ni los expertos ni los propios usuarios fueron capaces de predecir el efecto negativo que tendría su uso.
La conclusión es clara: aunque la IA tiene un enorme potencial, su implementación efectiva en el desarrollo de software real exige más trabajo, mejores herramientas y una comprensión más matizada de sus límites actuales.
El contraste del vibe coding
Uno de los efectos más llamativos de la inteligencia artificial en el mundo del software es que permite a personas sin experiencia previa escribir código funcional con solo describir lo que quieren. Este fenómeno, conocido como vibe coding, se basa en una lógica opuesta a la tradicional: no hace falta entender la sintaxis, la arquitectura del software o los principios del desarrollo. Basta con escribir una instrucción del tipo “hazme una web que muestre las noticias del día con este estilo” para obtener resultados sorprendentemente funcionales. Es, en esencia, programar por intuición o vibración.
Esta nueva forma de crear software ha abierto las puertas a millones de usuarios que antes no se atrevían ni a tocar una línea de código. Por eso, los resultados del estudio de METR resultan tan sorprendentes: mientras los desarrolladores noveles pueden crear cosas que antes estaban fuera de su alcance, los expertos que dominan entornos complejos no solo no se benefician de estas herramientas, sino que se ven ralentizados por ellas. La IA les genera código que deben revisar, corregir y adaptar, lo que en muchos casos les hace perder más tiempo del que ahorrarían.
El contraste es radical: para los novatos, la IA actúa como un multiplicador de capacidades. Para los veteranos, como un freno inesperado.
La fotografía de representación de esta noticia pertenece a ThisisEngineering y ha sido publicada en Unsplash
