¿Qué es OSWorld y qué intenta medir?
OSWorld es un benchmark que evalúa si una inteligencia artificial puede desenvolverse usando un ordenador. En concreto, se le pide a un modelo que realice tareas en una máquina virtual con Ubuntu, basándose en instrucciones que simulan situaciones reales: desde añadir números de página en un documento hasta exportar hojas de cálculo como archivos CSV.
El modelo interactúa con el entorno mediante scripts de Python que simulan movimientos de teclado y ratón, y se evalúa si logra alcanzar el resultado deseado, sin importar el camino elegido para llegar a él.
La simplicidad de las tareas
De las 361 tareas que conforman OSWorld, la mayoría son relativamente simples. Más del 80% pueden resolverse en menos de 20 pasos y aproximadamente el 60% requieren menos de 10. Se trata, por tanto, de acciones que un usuario humano podría completar en pocos minutos. Solo el 5% de las tareas exigen más de 50 pasos.
Además, los programas utilizados son los habituales en entornos Linux, como LibreOffice, GIMP, Chrome o VLC. Un tercio de las pruebas implica el uso de múltiples aplicaciones a la vez, simulando flujos de trabajo comunes como descargar archivos, editarlos y reorganizarlos.
Terminal y Python: los atajos de la IA
Aunque OSWorld parece centrarse en la interacción con interfaces gráficas (GUI), en la práctica muchos modelos evitan esta vía. Un 15% de las tareas pueden completarse exclusivamente desde el terminal, y otro 30% permite que se sustituya el uso del GUI por scripts de Python. Esto plantea una cuestión importante: si una IA resuelve una tarea sin usar el ratón ni la interfaz visual, ¿estamos evaluando realmente su capacidad de «usar un ordenador» como lo haría un humano?
De hecho, los modelos con acceso a herramientas de ejecución de código obtienen mejores resultados que aquellos limitados a la interacción visual, lo que indica que el benchmark premia habilidades de programación más que el uso tradicional del ordenador.
Un benchmark inestable y cambiante
Uno de los mayores problemas de OSWorld es su falta de estabilidad. Desde julio de 2025, más del 10% de las instrucciones han sido modificadas, lo que impide realizar comparaciones fiables entre distintas versiones del benchmark o entre modelos evaluados en diferentes momentos. Aunque estas actualizaciones buscan corregir errores, también introducen ambigüedad en los resultados.
Ambigüedad y errores: ¿a quién estamos evaluando?
Otro reto importante es la ambigüedad en las instrucciones. Muchas tareas presentan descripciones poco precisas, y el éxito depende más de adivinar la intención del enunciado que de ejecutar correctamente una acción informática. Por ejemplo, se pide «alinear una caja de texto» sin aclarar si se refiere a la posición del objeto o al texto dentro de él. En otros casos, grupos de objetos dificultan saber a qué se refiere «la primera caja de texto».
Estas ambigüedades, lejos de ser excepcionales, parecen comunes. Se estima que podrían afectar hasta un 28% de las tareas, según los resultados obtenidos por humanos en el test original.
Además, alrededor del 10% de las tareas contienen errores graves, desde datos incorrectos hasta funciones de evaluación mal calibradas que permiten superar una prueba con resultados absurdos, como reducir el zoom de una hoja de cálculo hasta niveles inservibles.
Dependencia de datos en vivo
Un 10% adicional de las pruebas depende de páginas web activas, lo que las hace sensibles a cualquier cambio en los sitios. Un ejemplo: buscar hoteles baratos en Nueva York usando TripAdvisor. Si la estructura del sitio cambia, la tarea se vuelve irresoluble para el modelo. Esto introduce un componente de fragilidad e imprevisibilidad que socava la fiabilidad del benchmark.
Conclusiones: ¿sirve realmente OSWorld?
OSWorld ofrece una visión parcial y limitada de la capacidad de las IA para utilizar ordenadores. Si bien permite ver avances, su utilidad como referencia comparativa está comprometida por su inestabilidad, su tendencia a recompensar el uso del terminal y scripting, y la ambigüedad de muchas tareas.
Como resumen, saturar OSWorld no implica que una IA sepa usar un ordenador como un humano. Más bien, demuestra que puede completar tareas simples en Linux con herramientas de código abierto, a menudo sin tocar una interfaz gráfica.
Aun así, el esfuerzo del equipo desarrollador es notable y pone sobre la mesa lo complejo que es construir un test que sea a la vez realista y riguroso. OSWorld, en sus limitaciones, refleja los retos de medir una habilidad tan amplia y difusa como “usar un ordenador”.
