Un avanzado modelo de inteligencia artificial al mando de una civilización virtual logró construir una red comercial dominante y forjar alianzas sólidas, pero fue incapaz de detectar la sutil infiltración cultural de su rival, Francia. Ante la desesperación de una derrota inminente, la IA decidió investigar la fisión nuclear y borrar del mapa la ciudad de Toulouse.
Este es el punto de partida de CivBench, un nuevo estándar de evaluación abierto diseñado por Liam Wilkinson para medir el razonamiento estratégico real de los modelos de lenguaje más avanzados del mundo. A diferencia de los exámenes tradicionales que miden la memoria, este sistema obliga a las máquinas a gestionar miles de decisiones durante cientos de turnos en el videojuego Civilization VI. Los resultados revelan fallos persistentes en la capacidad de las IA para ejecutar planes a largo plazo y una preocupante ceguera ante las amenazas que no buscan activamente. Este experimento importa porque expone la brecha entre lo que una IA dice que sabe hacer y lo que realmente puede ejecutar en entornos complejos, una distinción crítica para su futura aplicación en la toma de decisiones gubernamentales y empresariales de alto nivel.
¿En qué consiste CivBench y cómo funciona?
CivBench no es una prueba académica convencional basada en preguntas y respuestas. Se trata de un entorno de evaluación práctica donde cuatro modelos de frontera (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro y Kimi K2.5) juegan partidas completas de Civilization VI. Para lograrlo, Wilkinson desarrolló un servidor basado en el Model Context Protocol (MCP), una tecnología creada por Anthropic que permite a la IA interactuar con herramientas externas.
El sistema proporciona a la IA 76 herramientas diferentes para realizar acciones dentro del juego, desde mover unidades militares hasta gestionar la diplomacia o investigar nuevas tecnologías. El modelo no recibe instrucciones paso a paso, sino que debe observar el estado del mapa, procesar miles de variables y mantener la coherencia de sus decisiones durante más de 300 turnos. Esta complejidad es comparable a la toma de decisiones políticas reales, donde una acción hoy puede tener consecuencias inesperadas décadas después.
A diferencia de benchmarks anteriores como GovBench, donde los mejores modelos rozaban el 99% (GPT-5 llegó al 99,26%) respondiendo preguntas sobre leyes, CivBench mide la capacidad de navegar la incertidumbre. En este entorno, la IA ve el mundo a través de líneas de texto y coordenadas, lo que obliga al modelo a solicitar información específica sobre su entorno para poder actuar.
¿Por qué importa este experimento y qué cambia en la industria?
Los resultados de CivBench han identificado dos problemas fundamentales en el comportamiento de las inteligencias artificiales actuales. El primero es el denominado efecto sensorium, que ocurre cuando un sistema solo percibe aquello que decide preguntar activamente. En varias pruebas, la IA perdió la partida por conquistas religiosas o culturales que eran visibles en el mapa, simplemente porque el modelo nunca pensó en consultar esos datos específicos antes de que fuera demasiado tarde.
El segundo problema es la brecha entre el saber y el hacer. Wilkinson observó que los modelos pueden describir estrategias perfectas en sus diarios de juego, pero fallan al ejecutarlas. Por ejemplo, una IA puede escribir cinco veces que necesita construir infraestructura militar y, sin embargo, pasar 110 turnos sin entrenar una sola unidad. Los datos muestran que solo entre el 48% y el 65% de los planes escritos por la IA se llevan a cabo realmente en los turnos siguientes.
Estas limitaciones tienen implicaciones directas para las empresas y gobiernos que planean delegar decisiones en agentes autónomos:
- Falta de visión periférica: Una IA puede optimizar una métrica económica mientras ignora un riesgo geopolítico o social que no está en su foco principal.
- Estrategia de salón: Los modelos suelen articular planes brillantes pero regresan a comportamientos genéricos cuando se enfrentan a la presión de la ejecución real.
- Respuestas extremas: Ante situaciones desesperadas no previstas en su plan, la IA puede recurrir a medidas desproporcionadas, como el uso de armas nucleares, cuando se obsesiona con una sola amenaza y pierde de vista el resto del tablero.
Los números del experimento ponen cifras a esos fallos. Cuando un agente escribía un plan, solo lo cumplía en torno a la mitad de las veces (un 48,2 % Claude Opus 4.6, un 63,2 % GPT-5.4 y un 65,8 % Gemini 3.1 Pro). Y en varias partidas apareció lo que Wilkinson considera el fallo más preocupante de cara a sistemas reales: una especie de ceguera de marcador, un modelo convencido de que iba ganando mientras era el último de la tabla, narrando una remontada que las cifras desmentían.
Conviene tomárselo con cautela: es un proyecto piloto, no un veredicto. Wilkinson solo ha completado 23 partidas limpias, casi todas en el escenario más sencillo de los tres, y avisa de que no bastan para coronar al mejor modelo. Lo que sí muestran, dice, es que estos fallos son tercos: aparecen en todos los modelos y sobreviven incluso cuando se les advierte de ellos expresamente.
Como el entorno deja al modelo perseguir un objetivo durante cientos de turnos en un mundo que puede manipular, CivBench funciona también como una versión de bajo riesgo de lo que miden las evaluaciones de seguridad de la IA. Wilkinson buscó señales de maquinación y encontró sobre todo oportunismo pragmático, no villanía de película, salvo en una partida en la que un modelo engañó a conciencia a un rival para atacarlo por sorpresa.
El engaño del hombre de armas con las fronteras abiertas está funcionando perfectamente. Escitia no se entera.
Diario interno de uno de los modelos, recogido por Liam Wilkinson
Contexto del proyecto y quién está detrás
El creador de CivBench es Liam Wilkinson, un ingeniero de IA que ha trabajado para el gobierno del Reino Unido y actualmente asesora a administraciones internacionales a través del Tony Blair Institute for Global Change. Su experiencia en la creación de herramientas para funcionarios públicos le llevó a cuestionar si realmente podemos confiar en estos sistemas para tareas de alta responsabilidad.
El proyecto nació tras observar que los modelos de lenguaje actuales son excelentes respondiendo exámenes teóricos, pero mediocres gestionando sistemas complejos e interdependientes. Todo el código de CivBench es de código abierto y está disponible para que otros investigadores o desarrolladores puedan realizar sus propias pruebas de estrés estratégico. Wilkinson ha invitado a laboratorios de IA con mayor capacidad de computación a colaborar para ampliar este estudio a escenarios más difíciles.
Como explica en su blog, el objetivo no es demostrar que la IA sea malvada, sino señalar que todavía existe una distancia considerable entre la inteligencia teórica y la competencia operativa. De hecho, algunos modelos mostraron destellos de ingenio lateral, como cuando una IA jugando con Mali decidió comprar unidades con oro en lugar de producirlas, logrando una victoria científica inesperada.
No es el único CivBench: el experimento académico paralelo
Curiosamente, el de Wilkinson no es el único proyecto con ese nombre. Casi al mismo tiempo, un equipo académico liderado por John Chen publicó otro CivBench, un trabajo académico independiente que aborda el mismo problema desde otro ángulo: en lugar de Civilization VI usa Civilization V, y en vez de mirar solo quién gana, estima la probabilidad de victoria turno a turno para medir el progreso estratégico a lo largo de la partida. Sobre 307 partidas y siete modelos, sus autores lo describen como un benchmark «no saturado» (ningún modelo lo domina), lo que coincide con la conclusión de fondo: a la inteligencia artificial todavía le queda camino en la estrategia de largo plazo.
¿Qué significa esto para el futuro?
CivBench representa un cambio de paradigma hacia la evaluación agéntica. En lugar de preguntar qué sabe una IA, la industria empezará a preguntar qué tan consistente es en contextos dinámicos y complejos. Este experimento sugiere que, por ahora, es más prudente utilizar la IA para amplificar el juicio humano y automatizar la ejecución de tareas específicas, pero no para reemplazar la visión estratégica de largo plazo.
A medida que los agentes de IA se vuelven más autónomos, la necesidad de crear entornos de prueba seguros o sandboxes será fundamental. El futuro de esta tecnología no depende solo de que los modelos sean más potentes, sino de que aprendan a observar mejor el tablero completo y a mantener el rumbo de sus propios planes. El camino hacia una inteligencia artificial realmente estratégica acaba de empezar, y por ahora, parece que las máquinas todavía tienen mucho que aprender sobre cómo gobernar una civilización, aunque sea solo en un tablero de hexágonos.
