Synthèse et reconnaissance de gestes expressifs

Grâce aux avancées des technologies de pointe, en particulier dans le domaine des capteurs (caméra 3D, capteurs EEG et EMG, accéléromètres et capteurs de force ou de déformation),  des systèmes mobiles, ou des dispositifs interactifs spécialisés, la communication gestuelle, et l’expressivité que celle-ci véhicule, apportent une nouvelle dimension à un large éventail d’applications grand public, tels que les jeux, les applications pédagogiques et artistiques, la réhabilitation corporelle, le sport, etc. L’étude des gestes exige de plus en plus une compréhension fine des différents niveaux de représentation qui sous-tendent leur production, des niveaux sémantiques  aux réalisations physiques des mouvements caractérisées par des séries temporelles multivariées de grandes dimensions. Cela est encore plus vrai pour les gestes experts, expressifs, ou pour les gestes de communication, impliquant des représentations de haut niveau, sémiotiques et cognitives, lesquelles exigent en général une rapidité extrême, une précision et un engagement physique souvent en interaction avec l’environnement.

Nos axes principaux de recherche concernent spécifiquement l’étude de la variabilité dans les données capturées de mouvement, liée à différentes formes d’expression ou de style ou encore aux différentes possibilités de  séquençage des actions sémantiques dans les scénarios étudiés. La capture de mouvement est utilisée pour fournir le matériau de base à partir duquel nous identifions, analysons et caractérisons  les éléments pertinents qui encodent les principaux phénomènes spatio-temporels qui définissent les gestes : les caractéristiques de bas niveau sont extraites des données brutes à partir desquels les caractéristiques de haut niveau sont construites : ces dernières reflètent des motifs structuraux codant les aspects linguistiques ou signifiants des gestes.

Laisser un commentaire