Científicos de Estados Unidos y Corea del Sur desarrollaron WatchHand, un sistema que transforma smartwatches comunes en rastreadores de gestos manuales precisos, eliminando la necesidad de hardware extra.
Investigadores de la Universidad de Cornell y el KAIST de Corea del Sur han desarrollado WatchHand, un sistema revolucionario que transforma smartwatches comunes en rastreadores de gestos manuales precisos, eliminando la necesidad de hardware extra.
Con realizar gestos como pellizcar pulgar e índice para avanzar canciones, o navegar el escritorio del PC con movimientos discretos, WatchHand convierte la mano en un mouse invisible o dispositivo de entrada natural, despidiendo así a la vez al ratón y teclado tradicionales.
Sus posibles aplicaciones incluyen controles por gestos en VR/AR, asistentes para personas con movilidad reducida y tracking de escritura en smartwatch.
“WatchHand baja barreras al tracking de mano; cualquier dispositivo con altavoz y micrófono lo soporta”, afirma Jiwan Kim, de KAIST. Por el momento está limitado a Android, pero resuelve problemas de latencia y privacidad de soluciones visuales, allanando camino a interacciones siempre disponibles.
De esta manera, esta innovación tecnológica podría redefinir la computación wearable en 2026 y hacia adelante.
El avance, en términos concretos, sólo requiere el uso d el altavoz y micrófono del reloj para crear un “micro-sonar” impulsado por IA.
Es que WatchHand emite ondas sonoras inaudibles (ondas continuas moduladas en frecuencia) desde el altavoz del smartwatch, que rebotan en la mano y regresan al micrófono, formando un “perfil de eco”. Un modelo de deep learning por IA procesa estas señales localmente en el dispositivo para estimar poses 3D de 20 articulaciones de los dedos en tiempo real, con un error medio por articulación de solo 7.87 mm en pruebas cross-session.
A diferencia de sistemas previos que requieren cámaras o sensores externos voluminosos, WatchHand opera en smartwatches comerciales Android sin modificaciones físicas, priorizando privacidad al procesar datos en el borde sin nube.
El equipo evaluó WatchHand con 40 participantes en cuatro estudios (36 horas de datos), probándolo en múltiples modelos de smartwatches, manos izquierda/derecha, posturas corporales variadas, ruido ambiental y protocolos de gestos diversos. Rastrea movimientos de dedos y rotaciones de muñeca de forma confiable, incluso en entornos ruidosos, aunque falla en escenarios dinámicos como caminar.
Co-líderes como Kim y Chi-Jung Lee, de Cornell, destacan su adaptabilidad. Dirigido por Cheng Zhang del SciFi Lab de Cornell, el proyecto financiado por NSF y el Ministerio coreano de Ciencia enfatiza la eficiencia energética del nuevo sistema de “sensing acústico”.
