Un gros plan du matériel de technologie de détection portable NeckFace, qui comprend une caméra infrarouge, une LED proche infrarouge et un filtre passe-bande étroit IR. Crédit : Sci-Fi Lab/Fourni
Les mouvements du visage humain transmettent des émotions et nous aident à communiquer de manière non verbale et à effectuer des activités physiques, comme manger et boire.
Le suivi des mouvements du visage – et éventuellement de leur cause – est l’une des applications proposées pour NeckFace, l’une des premières technologies de détection portables de type collier. Une équipe dirigée par Cheng Zhang, professeur adjoint de sciences de l’information au Cornell Ann S. Bowers College of Computing and Information Science, a développé NeckFace, qui peut suivre en continu les expressions faciales complètes en utilisant des caméras infrarouges pour capturer des images du menton et du visage de sous le cou.
Leur travail est détaillé dans « NeckFace : suivi continu des expressions faciales complètes sur les appareils portables montés sur le cou », qui a été publié le 24 juin dans Actes de l’ACM sur les technologies interactives, mobiles, portables et omniprésentes.
Les co-auteurs principaux sont Tuochao Chen (de l’Université de Pékin) et Yaxuan Li (de l’Université McGill), étudiants invités du laboratoire Smart Computer Interfaces for Future Interactions (SciFi), et Songyun Tao, étudiant MPS de Cornell. Les autres contributeurs sont HyunChul Lim, Mose Sakashita et Ruidong Zhang, Cornell Ph.D. étudiants dans le domaine des sciences de l’information, et François Guimbretière, professeur de sciences de l’information au Cornell Bowers College.
NeckFace est la prochaine génération des travaux précédents de Zhang, qui ont abouti à C-Face, un appareil similaire mais au format casque. Zhang a déclaré que NeckFace offre une amélioration significative des performances et de la confidentialité, et donne au porteur la possibilité d’un appareil monté sur le cou moins gênant.
En plus du suivi potentiel des émotions, Zhang voit de nombreuses applications pour cette technologie : conférence virtuelle lorsqu’une caméra frontale n’est pas une option ; détection d’expression faciale dans des scénarios de réalité virtuelle ; et la reconnaissance vocale silencieuse.
« Le but ultime est que l’utilisateur puisse suivre ses propres comportements, grâce à un suivi continu des mouvements du visage », a déclaré Zhang, chercheur principal du SciFi Lab. « Et cela, espérons-le, peut nous donner beaucoup d’informations sur votre activité physique et vos activités mentales. »
NeckFace, développé dans le Sci-Fi Lab de Cheng Zhang, professeur adjoint de sciences de l’information. Crédit: Sci-Fi Lab
Guimbretière a déclaré que NeckFace a également le potentiel de changer la visioconférence.
« L’utilisateur n’aurait pas besoin de faire attention pour rester dans le champ de vision d’une caméra », a-t-il déclaré. « Au lieu de cela, NeckFace peut recréer la photo parfaite de la tête lorsque nous nous déplaçons dans une salle de classe, ou même que nous marchons dehors pour partager une promenade avec un ami éloigné. »
Pour tester l’efficacité de NeckFace, Zhang et ses collaborateurs ont mené une étude d’utilisateurs auprès de 13 participants, chacun d’eux étant invité à effectuer huit expressions faciales en position assise et huit autres en marchant. Dans les scénarios assis, les participants devaient également faire pivoter la tête tout en exécutant les expressions faciales, puis retirer et remonter l’appareil en une seule session.
NeckFace a été testé dans deux modèles : un tour de cou, drapé autour de la nuque avec des caméras jumelles juste en dessous du niveau de la clavicule ; et un collier, avec un dispositif de caméra infrarouge (IR) en forme de pendentif suspendu sous le cou.
Le groupe a collecté des données de base sur les mouvements du visage à l’aide de la caméra 3D TrueDepth sur un iPhone X, puis les a comparées aux données collectées avec NeckFace. Entre les expressions d’assise, de marche et de remontée, les participants à l’étude ont exprimé un total de 52 formes de visage.
À l’aide de calculs impliquant un apprentissage en profondeur, le groupe a déterminé que NeckFace détectait les mouvements du visage avec presque la même précision que les mesures directes à l’aide de l’appareil photo du téléphone. Le tour de cou s’est avéré plus précis que le collier, ont déclaré les chercheurs, peut-être parce que deux caméras sur le tour de cou pouvaient capturer plus d’informations des deux côtés que la caméra du collier montée au centre.
Zhang a déclaré que l’appareil, une fois optimisé, pourrait être particulièrement utile dans le domaine de la santé mentale, pour suivre les émotions des gens au cours d’une journée. Bien que les gens ne portent pas toujours leurs émotions sur leur visage, a-t-il dit, la quantité d’expression faciale qui change au fil du temps pourrait indiquer des sautes émotionnelles.
« Pouvons-nous réellement voir comment votre émotion varie tout au long d’une journée ? » il a dit. « Avec cette technologie, nous pourrions avoir une base de données sur la façon dont vous vous portez physiquement et mentalement tout au long de la journée, ce qui signifie que vous pourriez suivre vos propres comportements. Et aussi, un médecin pourrait utiliser les informations pour prendre une décision. »
L’écouteur suit les expressions faciales, même avec un masque facial
Plus d’information:
Tuochao Chen et al, NeckFace, Actes de l’ACM sur les technologies interactives, mobiles, portables et omniprésentes (2021). DOI : 10.1145/3463511 Fourni par l’Université Cornell
Citation: Le collier intelligent pourrait suivre vos expressions faciales détaillées (2 août 2021) récupéré le 22 janvier 2022 sur https://techxplore.com/news/2021-08-smart-necklace-track-facial.html
Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.
