TapType : suivi des mouvements de la main assisté par l’IA à l’aide d’accéléromètres uniquement

L’équipe du laboratoire de détection, d’interaction et de perception de l’ETH Zürich, en Suisse, a mis au point TapType, une méthode de saisie de texte intéressante qui repose uniquement sur une paire d’appareils portés au poignet, qui détectent les valeurs d’accélération lorsque le porteur tape sur n’importe quelle ancienne surface. . En alimentant les valeurs d’accélération d’une paire de capteurs sur chaque poignet dans un réseau neuronal de type classification par inférence bayésienne qui à son tour alimente un modèle de langage probabiliste traditionnel (texte prédictif, pour vous et moi), le texte résultant peut être saisi jusqu’à 19 WPM avec une erreur moyenne de 0,6 %. Les TapTypers experts rapportent des vitesses allant jusqu’à 25 WPM, ce qui pourrait être tout à fait utilisable.

Les détails sont un peu rares (c’est un projet de recherche, après tout) mais le matériel réel semble assez simple, basé sur le Dialog DA14695 qui est un joli SoC Bluetooth Low Energy basé sur Cortex M33. Il s’agit d’un dispositif intéressant en soi, contenant un bloc « contrôleur de nœud de capteur », capable de gérer des dispositifs de capteur connectés à ses interfaces, indépendamment du processeur principal. Le capteur utilisé est l’accéléromètre 3 axes Bosch BMA456, qui se distingue par sa faible consommation d’énergie de seulement 150 μA.

L’utilisateur peut « taper » sur n’importe quelle surface pratique.

Les unités de bracelet elles-mêmes semblent être une combinaison d’un circuit imprimé principal hébergeant la puce BLE et le circuit de support, connecté à un circuit imprimé flexible avec une paire d’accéléromètres à chaque extrémité. L’ensemble a ensuite été glissé dans un bracelet flexible, probablement construit à partir de TPU imprimé en 3D, mais nous ne faisons que deviner, car la progression de la première plate-forme intégrée au prototype portable n’est pas claire.

Ce qui est clair, c’est que le bracelet lui-même n’est qu’un appareil stupide de diffusion de données, et tout le traitement intelligent est effectué sur l’appareil connecté. La formation du système (et la sélection ultérieure de l’architecture de classificateur la plus précise) a été effectuée en enregistrant des volontaires « tapant » sur une image de clavier de taille A3, avec les mouvements des doigts suivis avec une caméra de suivi de mouvement, tout en enregistrant les flux de données d’accélération des deux poignets. Il y a quelques détails supplémentaires dans l’article publié pour ceux qui souhaitent approfondir un peu cette recherche.

Les yeux d’aigle se souviennent peut-être de quelque chose de similaire de l’année dernière, de la même équipe, qui a corrélé la détection de la conduction osseuse avec le suivi des mains de type VR pour générer des événements d’entrée dans un environnement VR.