Ingenieros de la Universidad Northwestern han desarrollado un nuevo sistema para capturar el movimiento de todo el cuerpo, y no requiere salas especiales, equipos costosos, cámaras o sensores voluminosos.
En cambio, requiere un simple dispositivo móvil.
Llamado MobilePoser, el nuevo sistema aprovecha sensores ya integrados en los dispositivos móviles de los consumidores, incluidos teléfonos inteligentes, relojes inteligentes y auriculares inalámbricos. Utilizando una combinación de datos de sensores, aprendizaje automático y física, MobilePoser rastrea con precisión la postura de todo el cuerpo de una persona y su traducción global en el espacio en tiempo real.
“Al ejecutarse en tiempo real en dispositivos móviles, MobilePoser logra una precisión de vanguardia a través del aprendizaje automático avanzado y la optimización basada en la física, desbloqueando nuevas posibilidades en juegos, fitness y navegación en interiores sin la necesidad de equipos especializados”, dijo Karan de Northwestern. Ahuja, quien dirigió la investigación. “Esta tecnología marca un salto significativo hacia la captura de movimiento móvil, haciendo que las experiencias inmersivas sean más accesibles y abriendo la puerta a aplicaciones innovadoras en todas las industrias”.
El equipo de Ahuja presentará MobilePoser en el Simposio ACM 2024 sobre software y tecnología de interfaz de usuario en Pittsburgh, el 15 de octubre. “MobilePoser: Estimación de posturas de cuerpo completo en tiempo real y traducción humana en 3D desde IMU en dispositivos móviles de consumo” se llevará a cabo como parte de una sesión sobre “Pose como entrada”.
Ahuja, experto en interacción persona-computadora, es profesor asistente de Ciencias de la Computación Lisa Wisner-Slivka y Benjamin Slivka en la Escuela de Ingeniería McCormick de Northwestern, donde dirige el Laboratorio de Sensación, Percepción, Computación Interactiva y Experiencia (SPICE).
Limitaciones del sistema actual
La mayoría de los cinéfilos están familiarizados con las técnicas de captura de movimiento, que a menudo se revelan en imágenes detrás de escena. Para crear personajes CGI, como Gollum en “El señor de los anillos” o Na’vi en “Avatar”, los actores usan trajes ajustados cubiertos con sensores mientras se mueven por salas especiales. Una computadora captura datos de sensores y luego muestra los movimientos y expresiones sutiles del actor.
“Es el estándar de oro de la captura de movimiento, pero ejecutar esa configuración cuesta más de 100.000 dólares”, dijo Ahuja. “Queríamos desarrollar una versión accesible y democrática que básicamente cualquiera pudiera usar con las herramientas que tiene”.
Otros sistemas de detección de movimiento, como Microsoft Kinect, por ejemplo, se basan en cámaras fijas que rastrean los movimientos corporales. Estos sistemas funcionan mejor si una persona está dentro del campo de visión de la cámara. Pero no son prácticos para aplicaciones móviles o en movimiento.
Postura de profecía
Para superar estas limitaciones, el equipo de Ahuja desarrolló unidades de medición inercial (IMU), un sistema que utiliza una combinación de sensores (acelerómetros, giroscopios y magnetómetros) para medir el movimiento y la orientación del cuerpo. Estos sensores ya se encuentran en teléfonos inteligentes y otros dispositivos, pero la fidelidad es demasiado baja para aplicaciones precisas de captura de movimiento. Para mejorar su rendimiento, el equipo de Ahuja agregó un algoritmo de inteligencia artificial (IA) de múltiples etapas personalizado, que entrenaron utilizando un gran conjunto de datos de mediciones IMU sintetizadas y disponibles públicamente creadas a partir de datos de captura de movimiento de alta calidad.
Con los datos del sensor, MobilePoser obtiene información sobre la aceleración y la orientación del cuerpo. Luego, alimenta estos datos a través de algoritmos de inteligencia artificial, que estiman la posición y la rotación de las articulaciones, la velocidad y dirección de la marcha y el contacto entre los pies del usuario y el suelo.
Finalmente, MobilePoser utiliza un optimizador basado en la física para refinar los movimientos previstos para que coincidan con los movimientos del cuerpo de la vida real. En la vida real, por ejemplo, las articulaciones no pueden doblarse hacia atrás y una cabeza no puede girar 360 grados. El optimizador de física garantiza que los movimientos capturados no se muevan de formas físicamente imposibles.
El sistema resultante tiene un error de seguimiento de sólo 8 a 10 cm. A modo de comparación, Microsoft Kinect tiene un error de seguimiento de 4 a 5 cm, suponiendo que el usuario se encuentre dentro del campo de visión de la cámara. Con MobilePoser, el usuario tiene la libertad de moverse.
“La precisión es mejor cuando una persona lleva varios dispositivos, como un reloj inteligente en la muñeca y un teléfono inteligente en el bolsillo”, afirma Ahuja. “Pero una parte clave del sistema es que es adaptable. Incluso si un día no tienes tu reloj y solo tienes tu teléfono, puede adaptarse para determinar la postura de todo tu cuerpo”.
Posibles casos de uso
Si bien MobilePoser puede ofrecer a los jugadores una experiencia más inmersiva, la nueva aplicación también presenta nuevas posibilidades para la salud y el fitness. Va más allá de simplemente contar pasos para permitir al usuario ver la postura de todo su cuerpo, de modo que pueda asegurarse de que su forma sea correcta mientras hace ejercicio. La nueva aplicación puede ayudar a los médicos a analizar la movilidad, el nivel de actividad y la marcha de los pacientes. Ahuja imagina que la tecnología podría usarse para navegación en interiores, la debilidad actual del GPS, que sólo funciona en exteriores.
“En este momento, los médicos siguen la movilidad de un paciente con un contador de pasos”, dijo Ahuja. “Es triste, ¿no? Nuestros teléfonos pueden calcular la temperatura en Roma. Saben más sobre el mundo exterior que nuestros propios cuerpos. Queremos que los teléfonos sean algo más que contadores de pasos inteligentes. Un teléfono debería poder detectar diferentes actividades, estableces la pose y eres un asistente más activo”.
Para alentar a otros investigadores a continuar con este trabajo, el equipo de Ahuja lanzó sus modelos previamente entrenados, scripts de preprocesamiento de datos y código de entrenamiento de modelos como software de código abierto. Ahuja también dijo que la aplicación pronto estará disponible para iPhone, AirPods y Apple Watch.