La presentación de Sora en febrero y la llegada estas últimas semanas de nuevas herramientas como las chinas Vidu y Kling AI o las americanas Dream Machine y Luma AI parecían haber dejado en jaque a la que hasta el momento era la plataforma de referencia de video generativo. El pasado 17 de junio Runway volvió a la palestra con su nuevo modelo.
Etiquetada como el Midjourney del vídeo, Runway entrena modelos propios para la generación de imágenes. Hace un año presentó su modelo Gen-2 que revolucionó la industria, pero la llegada de nuevos agentes al juego de la generación de video mediante IA, había dejado a este modelo bastante detrás de lo que prometen las nuevas plataformas.
Gen-3 Alpha mejora exponencialmente la resolución, fidelidad, consistencia y control en la generación de vídeo con respecto a su anterior versión Gen-2. Esta nueva generación es la primera de una serie de modelos entrenados en una nueva infraestructura diseñada para el entrenamiento multimodal a gran escala.
Además de la consistencia y fidelidad, desde Runway han implementado un control temporal detallado que permite un ajuste mucho más preciso de los elementos de una escena. Este control temporal ha sido entrenado con subtítulos descriptivos de las imágenes que han servido como dataset. Desde reflejos sutiles en la ventana de un tren de alta velocidad en una ciudad japonesa hasta un tsunami que arrasa por un callejón en Bulgaria, Gen-3 Alpha ofrece un control sin precedentes en las plataformas online de generación de vídeo por inteligencia artificial.
El entrenamiento del nuevo modelo se ha enfocado mucho en la generación de personajes humanos expresivos con una amplia gama de acciones, gestos y emociones. De esta forma, Gen-3 Alpha logra primeros planos mucho más cinematográficos. También han incidido en incluir mucha terminología audiovisual y estilística para facilitar la comunicación con su IA a los profesionales del sector.
Según narra uno de los fundadores de Runway ML, Anastasis Germanidis, en el blog de la empresa neoyorkina, Gen-3 Alpha impulsará las herramientas de Runway, como Text to Video, Image to Video y Text to Image. Además, se están desarrollando nuevas herramientas para un control más detallado sobre la estructura, el estilo y el movimiento.
Todo esto, insisten, desde un modelo que cuenta con una estricta moderación visual y estándares de procedencia C2PA, un protocolo que permite etiquetar contenido audiovisual con datos de procedencia. Por ejemplo, si una imagen fue generada por un modelo de inteligencia artificial como DALL-E, el C2PA permite anotar tanto el origen como las modificaciones realizadas en la imagen.
Desde la propia nota de prensa de la compañía instan a las multinacionales del sector a invertir en modelos de Runway propios para sus producciones, ondeando la bandera de llevar tiempo trabajando con la industria en estos modelos privados.
La empresa Runway fue fundada en 2018 tras recaudar 2 millones de dólares para construir una plataforma que implementase modelos de aprendizaje automático a escala dentro de aplicaciones multimedia. Sólo 5 años después, en 2023, la revista TIME la seleccionaba como una de las cien empresas más influyentes del mundo. Ahora, tras la presentación de este nuevo modelo, vuelve a competir por el liderazgo en video generativo. Habrá que estar atentos para ver cómo se desarrolla esta carrera por el audiovisual del futuro.
Podéis ampliar información en el blog oficial de Runway.
