El rastreador de posturas corporales más original del mundo

Nuestras manos son el principal medio de interacción con el mundo, ya sea que conduzcamos un automóvil, revisemos nuestros mensajes en un teléfono inteligente o encendamos un interruptor. Entonces, para crear experiencias más inteligentes e interactivas con nuestros dispositivos electrónicos y objetos cotidianos no instrumentados, debemos poder determinar exactamente lo que alguien está haciendo con sus manos. Las aplicaciones prácticas son innumerables y van desde permitir experiencias realistas de realidad virtual hasta el reconocimiento del lenguaje de señas y la detección de gestos. Existen soluciones para el problema del seguimiento manual, y algunas funcionan bastante bien, pero las soluciones tradicionales tienden a requerir procesos de configuración prolongados, entornos controlados y hardware costoso.

Los sistemas más exitosos generalmente se basan en un sistema de rastreadores conectados a mano que se localizan en un espacio tridimensional mediante una serie de dispositivos de anclaje instalados alrededor del perímetro de un área. Otros sistemas usan cámaras fijas para rastrear la mano, siempre que permanezca a la vista de las cámaras. Si bien estos métodos generalmente funcionan bien, no son prácticos para el uso sobre la marcha y tienden a ser costosos de implementar. Por esta razón, se ha explorado la instrumentación corporal, pero estas soluciones tienen dos inconvenientes importantes: los sensores tienden a sobresalir bastante del cuerpo de una manera que sería inaceptable para casi todos los usuarios del mundo real, y también utilizan cámaras con frecuencia. . Las cámaras pueden estar bien para algunas aplicaciones, pero pocas personas quieren que las cámaras se apunten a sí mismas durante todo el día.

Un dúo de ingenieros de la Universidad Carnegie Mellon ha desarrollado un nuevo enfoque para el problema del seguimiento manual continuo y portátil que puede eliminar las imposibilidades prácticas de otros métodos. Sufriendo de un ataque severo de fiebre boogie woogie, el equipo nombró a su invento discoband; afortunadamente, la fiebre no obstaculizó sus habilidades de ingeniería. Su dispositivo montado en la muñeca tiene un total de 16 cámaras de profundidad de baja resolución (8 x 8 píxeles). La mitad de los sensores están dirigidos hacia la mano, mientras que la otra mitad tiene una vista del brazo, la parte superior del cuerpo y el entorno. Esto da un total de 1024 mediciones de puntos 3D, que es suficiente para crear una buena imagen de la postura de la mano incluso cuando algunos de los sensores están ocluidos. Por este motivo, la pulsera puede presionar contra la muñeca. Además, la escasez de datos recopilados por las cámaras de 64 píxeles puede producir nada más que una forma de lágrima muy áspera, que protege la privacidad del usuario.

Los principales casos de uso que el equipo quería respaldar con DiscoBand eran el seguimiento de brazos y manos. Como resultado, construyeron un prototipo de la pulsera y trabajaron en los detalles del procesamiento de los datos que genera. Para habilitar el seguimiento del brazo, utilizaron datos de las ocho cámaras de profundidad orientadas hacia el exterior. Se procesó para extraer las características más relevantes, luego se alimentaron a un modelo de regresión de aprendizaje automático que predice la ubicación en el espacio tridimensional de la muñeca izquierda, el codo izquierdo, el hombro izquierdo, el hombro derecho, la cadera izquierda y la cadera derecha.