Microsoft ha dado un paso importante en la evolución de la inteligencia artificial con MindJourney, una nueva estructura de investigación que permite a los agentes de IA “imaginar” cómo se vería un espacio desde diferentes ángulos para responder a preguntas que requieren razonamiento espacial. Esta capacidad de exploración virtual supera una de las principales limitaciones de los modelos de visión y lenguaje (VLMs): la dificultad para interpretar entornos tridimensionales a partir de imágenes estáticas.
Un nuevo enfoque para un viejo problema
Los modelos VLM actuales son eficaces para reconocer objetos en imágenes, pero se enfrentan a serias limitaciones cuando se trata de entender la disposición espacial de esos objetos en un entorno 3D. Microsoft aborda este desafío con MindJourney, una solución inspirada en la forma en que los humanos navegan mentalmente por un espacio: imaginando diferentes perspectivas y combinándolas para construir un mapa mental del entorno.
Cómo funciona MindJourney
En el núcleo de MindJourney hay un modelo generativo de vídeo que actúa como una especie de cámara 3D virtual. Este modelo ha sido entrenado con una vasta colección de vídeos grabados desde un punto de vista en movimiento, mostrando acciones como avanzar o girar. A partir de esta experiencia visual, aprende a predecir cómo se vería una escena desde distintas posiciones y ángulos.
Cuando recibe una pregunta espacial, MindJourney genera múltiples vistas posibles del entorno partiendo de una imagen inicial. A continuación, el modelo VLM evalúa estas vistas y selecciona las que ofrecen mejores pistas para responder la pregunta. Solo se conservan las rutas más prometedoras, descartando aquellas que aportan poca información. Así se evita tener que generar miles de posibles trayectorias, optimizando el proceso.
Exploración inteligente con búsqueda espacial
Para hacer esta exploración más eficaz, MindJourney utiliza un algoritmo llamado búsqueda en haz espacial (spatial beam search), que prioriza los movimientos más prometedores dentro de un número limitado de pasos. De esta manera, el sistema logra encontrar la mejor combinación de vistas con el mínimo coste computacional.
Gracias a este método iterativo (generar, evaluar e integrar) la IA es capaz de razonar sobre relaciones espaciales que van mucho más allá de lo que cualquier imagen 2D puede ofrecer, sin necesidad de reentrenar el modelo. En la evaluación con el benchmark Spatial Aptitude Training (SAT), MindJourney mejoró la precisión de los VLMs en un 8% respecto a su rendimiento original.
Un paso hacia agentes más inteligentes
Los resultados de MindJourney no solo mejoran los VLMs existentes, sino que abren la puerta a una nueva generación de agentes generales capaces de operar en entornos físicos reales. Al combinar las capacidades simbólicas de los VLMs con la intuición espacial aprendida por los modelos de mundo, se consigue una representación más completa del entorno.
Este avance tiene múltiples aplicaciones potenciales. Por ejemplo, podría ser fundamental para la robótica autónoma, permitiendo a los robots simular distintos puntos de vista antes de tomar una decisión. También podría aplicarse en tecnologías para el hogar inteligente o en herramientas de accesibilidad para personas con discapacidad visual.
Exploración virtual, ahorro real
Un aspecto especialmente prometedor es que toda la exploración ocurre dentro del espacio latente del modelo, es decir, su representación interna del entorno. Esto implica que los robots podrían evaluar múltiples escenarios sin necesidad de moverse físicamente, reduciendo así el consumo energético, el desgaste de materiales y el riesgo de colisiones.
El futuro de MindJourney
Microsoft ya planea ampliar las capacidades de MindJourney, incorporando modelos de mundo que no solo generen nuevas perspectivas, sino que también predigan cómo cambiará la escena con el tiempo. Esta nueva dimensión temporal permitiría a los agentes planificar sus acciones no solo en función del espacio, sino también del dinamismo del entorno.
Con MindJourney, Microsoft no solo refuerza su posición en la vanguardia de la inteligencia artificial, sino que también marca el inicio de una era en la que los agentes de IA podrán pensar y actuar como exploradores del mundo físico.
