Perception et modélisation de l'interaction

Télécharger la fiche au format pdf (125 KB)

Objectifs de l'Unité d'Enseignement

L'objectif de cet enseignement est de donner aux étudiants les fondements théoriques et méthodologiques en perception et modélisation de l'interaction. Ce cours aborde les représentations, les modèles statistiques et les algorithmes permettant l'analyse de l'humain et de ses activités dans des contextes réalistes, en utilisant une ou plusieurs modalités (principalement audio et/ou vidéo). Ces notions seront considérées dans leur rapport avec les dimensions verbales et non-verbales, socio-émotionnelles et éthiques notamment sur les systèmes de reconnaissance, de dialogue et les agents virtuels ou robotiques. Les aspects théoriques et pratiques seront abordés par l'analyse d'événements multi-modaux (e.g., signaux de communication, émotion, tour de parole...) : localisation, segmentation, suivi, reconnaissance et interprétation.

Contenu de l'Unité d'Enseignement

Introduction à la communication verbale et non-verbale:

• multi-modalité
• signaux socio-émotionnels

Analyse du comportement humain :

• Représentation : Globale vs locale, modèles du visage, corps ... (forme/apparence)
• Détection et localisation à l'aide des méthodologies vues dans l'UE « Traitement avancé des images et du son »
• Segmentation : Audio (segmentation et regroupement de locuteurs), Image et audio (fusion)
• Suivi : modélisation dynamique, suivi multi-personnes
• Reconnaissance : expressions vocales, faciales, gestes, actions

Robotique interactive :

• Conception de robots sociaux : incarnation, anthropomorphisme
• Architectures cognitives en interaction homme-robot: boucles interactives, décision partagée, apprentissage, communication
• Métriques d’évaluation des systèmes interactifs
• Applications de la robotique : robotique personnelle, d’assistance, thérapeutique
• Dimensions éthique et sociétale de la robotique interactive

Pré-requis

Traitement des images, traitement du signal

Modalités de contrôle des connaissances

Examens (répartis), TP