Investigadores de la Universidad de Washington han presentado un sistema pionero de traducción en tiempo real para auriculares que distingue y traduce múltiples voces a la vez, respetando la localización espacial y las características vocales de cada hablante. Un avance que podría transformar la comunicación multilingüe en entornos sociales.
Imagina estar en una cena con amigos que hablan diferentes idiomas y, gracias a unos auriculares, comprender a todos como si hablaran tu lengua. Ese es el objetivo de Spatial Speech Translation, un sistema de traducción con inteligencia artificial para hearables que traduce en tiempo real múltiples voces a la vez, respetando su procedencia espacial y su tono original.
Traducción espacial y expresiva con tecnología binaural
El sistema fue presentado el 25 de abril de 2025 en la CHI Conference on Human Factors in Computing Systems, y marca un hito al integrar capacidades como separación de fuentes, localización, traducción expresiva y renderizado binaural. Todo ello en tiempo real y sobre un chip Apple M2, integrado en dispositivos como el Apple Vision Pro.
La clave está en sus dos modelos de IA: uno que detecta la dirección de cada hablante usando señales binaurales, y otro que traduce y reproduce la voz traducida con el estilo vocal original y desde la dirección correspondiente. Así, quien lleva los auriculares no solo entiende el mensaje, sino también quién lo dijo y desde dónde.
A diferencia de dispositivos como los Pixel Buds de Google o los WT2 Edge, que solo permiten traducir a un interlocutor cada vez, este sistema reconoce y traduce a múltiples personas al mismo tiempo, incluso en entornos ruidosos.
Evaluación en escenarios reales
Los investigadores probaron el sistema en seis espacios interiores y cuatro exteriores, sin necesidad de entrenar con datos específicos del entorno. En una prueba con 29 participantes, el sistema mejoró los resultados frente a modelos sin percepción espacial, con una puntuación BLEU de hasta 22,07 y un índice de similitud vocal que triplica al de modelos previos.
También redujo drásticamente los errores en la percepción de la dirección del sonido (de 314,9 μs a 72,3 μs en diferencia de tiempo interaural), proporcionando una experiencia auditiva más natural e inmersiva.
Desafíos técnicos y próximos pasos
Según los autores, uno de los mayores retos ha sido mantener la baja latencia sin sacrificar la calidad de traducción. Traducir demasiado rápido puede generar errores; esperar más tiempo mejora el contexto, pero interrumpe el flujo natural de la conversación. “Queremos reducir la latencia a menos de un segundo para mantener una conversación fluida”, explicó Shyam Gollakota, coautor del estudio.
Para lograrlo, han ajustado los modelos de traducción para que aprendan a lidiar con las imperfecciones de las señales separadas, aumentando su robustez en situaciones reales.
¿El inicio de una nueva era en los hearables?
Además de traducir francés, alemán y español al inglés, el sistema se ha diseñado para ser compatible con auriculares comerciales, como los Sony WH-1000XM4 y micrófonos binaurales como los Sonic Presence SP15C, lo que facilitará su uso cotidiano. Esta tecnología abre la puerta a conversaciones naturales entre personas que no comparten idioma, sin necesidad de interfaces táctiles ni pausas forzadas.
Tal como resume el equipo en su publicación en la ACM Digital Library: “Este trabajo representa el primer paso hacia la integración de la percepción espacial en la traducción del habla”.
En un mundo cada vez más interconectado, herramientas como esta no solo facilitan el entendimiento, sino que reducen las barreras culturales y hacen que más voces sean escuchadas.
La imagen de representación de esta noticia pertenece a los Sony WH-1000XM4.
