Editar el movimiento de un personaje humano en un videojuego o una animación a menudo implica un proceso largo y costoso. Pero ahora, un grupo de investigadores del Institute for AI de la Universidad de Pekín y del State Key Laboratory of General Artificial Intelligence ha desarrollado una herramienta que permite hacerlo con una simple instrucción escrita. Se trata de MotionReFit, un modelo de inteligencia artificial presentado en el congreso CVPR 2025 que marca un antes y un después en la edición de movimientos animados.
El problema: editar no es lo mismo que generar
La generación de movimiento a partir de texto ha avanzado mucho en los últimos años. Sin embargo, como explican los autores, la edición de movimientos existentes seguía siendo una tarea limitada por la falta de datos: «Los sistemas anteriores requerían tripletas específicas (movimiento original, editado e instrucción), que son caras y escasas», señala el investigador Nan Jiang.
MotionReFit busca superar estas limitaciones permitiendo tanto ediciones espaciales (de partes del cuerpo) como temporales (a lo largo de una secuencia), simplemente a partir de descripciones en lenguaje natural. Y todo ello sin tener que especificar manualmente qué partes del cuerpo deben cambiar.
MotionCutMix: la clave de la versatilidad
Para lograrlo, el equipo ha diseñado MotionCutMix, una técnica de aumento de datos que combina partes del cuerpo de distintos movimientos para generar nuevos ejemplos de entrenamiento. Es como mezclar ingredientes para cocinar platos nuevos: «Combinamos, por ejemplo, un brazo de un movimiento con el torso de otro, y el sistema aprende a interpolar suavemente entre ambas partes», explica Jiang.
Este método permite generar millones de combinaciones distintas a partir de pocos ejemplos anotados. Así, el sistema puede entrenarse con grandes bases de datos no etiquetadas, como HumanML3D, y aprender de manera más generalizada.
Cómo funciona MotionReFit
El modelo MotionReFit utiliza una arquitectura de difusión condicional auto-regresiva que procesa los movimientos segmento a segmento. Esto facilita la generación de secuencias largas y permite mantener la coordinación entre partes del cuerpo. Además, el sistema incluye un coordinador de movimiento, que actúa como un discriminador para detectar posibles incoherencias y guiar el proceso de refinamiento.
El resultado son movimientos editados que siguen fielmente las instrucciones escritas, manteniendo una apariencia natural tanto en el espacio como en el tiempo. «Podemos editar desde un simple ‘levanta más el brazo derecho’ hasta aplicar un estilo como ‘camina con orgullo'», señala el equipo.
Evaluación y aplicaciones
El sistema ha sido evaluado con el conjunto de datos STANCE, que cubre tres tipos de edición: reemplazo de partes del cuerpo, transferencia de estilo y ajustes detallados. Los resultados superan a modelos previos como TMED, y demuestran que MotionCutMix también puede mejorar el rendimiento de otras arquitecturas.
Según sus creadores, MotionReFit puede ser útil para animadores, desarrolladores de videojuegos, investigadores en robótica o creadores de contenido para realidad virtual. Además, su interfaz basada en texto lo hace accesible incluso a personas sin experiencia técnica.
«Los desarrolladores de videojuegos podrán generar comportamientos variados de NPCs con poco material grabado. Los robots podrán ajustar sus movimientos según instrucciones habladas. Los animadores podrán modificar gestos sin tener que regrabar o redibujar escenas completas», señala Yixin Zhu, autor principal del estudio.
Prueba abierta al público
Una de las ventajas más destacadas del proyecto es que se puede probar fácilmente desde casa. El equipo ha lanzado una demo abierta de MotionReFit en Hugging Face, donde cualquier usuario puede generar movimientos editados a partir de texto.
El código, modelos y vídeos también están disponibles en su página oficial.
