INTERACTION MULTI-MODALE 1-PRESENTATION La multi

INTERACTION MULTI-MODALE

1-PRESENTATION

La multi modalité combine de façon harmonieuse différents modes de communication entre l'homme et la machine. Pour entrer des informations, l'utilisateur peut utiliser la voix, l'écrit et le geste. Pour restituer des informations, le système exploite le graphisme, le texte, le son et la voix.

Les possibilités d'interaction multimodale sont variées. Pour certaines applications, il sera suffisant de prévoir une multi modalité alternée, permettant de basculer d'un mode à l'autre au cours d'une même transaction. L'utilisateur peut ainsi choisir le mode le plus adapté à chaque contexte d'interaction. Par exemple, un utilisateur accédant à un serveur vocal d'informations météo pourrait préférer désigner la région souhaitée en cliquant sur une carte ; mais il pourrait aussi préférer répondre vocalement si le système lui demande s'il souhaite connaître les prévisions pour le lendemain (oui ou non).

D'autres applications peuvent bénéficier d'une multi modalité combinée qui permet de conjuguer les informations issues de deux modalités (ou plus) d'entrée ou de sortie. Ce type de multi modalité peut fortement améliorer l'efficacité de l'interaction. Dans la voiture, l'utilisateur d'un système de navigation multimodal pourrait ainsi désigner du doigt (ou avec un stylet) une zone de la carte tout en disant, juste avant, pendant, ou juste après, " Je voudrais aller ici. "

2. DOMAINES D'UTILISATION

Dans une communication entre deux entités communicantes (humains, animaux, machines...), le mode de communication mis en jeu se rapporte, pour chacune de ces entités, à l'organe (ou au système d'organes) utilisé pour percevoir ou produire des informations. Cela nous amène par conséquent, à distinguer, pour chaque "interlocuteur" le mode d'entrée du mode de sortie.

Pour l'être humain les modes d'entrée et de sortie sont limités en nombre, en fonction des organes humains utilisés pour l'émission et la réception d'information. En entrée, il existe plusieurs modes correspondant aux différents organes sensoriels (récepteurs) :

Organes	Modes correspondants
yeux	visuel
oreille	auditif
nez	olfactif
langue	gustatif
enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires	tactilo-proprio-kinesthésique (TPK)

Le mode tactilo-proprio-kinesthésique (TPK) correspond aux organes qui permettent de percevoir la température, la pression, l'état de surface des objets, leur consistance, leur forme, mais également leur poids, leurs structures articulatoires et leur mouvement [Cadoz 94].

 En sortie, on peut identifier deux modes :

Organes	Modes correspondants
système vocal	oral
système musculaire	actionnel ou gestuel

 Le mode oral correspond aux différents organes (poumons, cordes vocales, langue, lèvres...) qui interviennent dans la production de sons (parole, bruits, sifflements etc.).

Le mode actionnel ou gestuel correspond aux différents organes qui permettent, par mise en action de tout ou de certaines parties du corps (mains, bras, tête, visage...) de transmettre des informations à un interlocuteur.

Remarque : le mode sonore désigne les modes oral et/ou auditif.

 Pour un sujet non humain (végétal, animal ou machine), il est difficile (voire impossible) d'établir une liste exhaustive des modes de communication possibles. En particulier, pour la machine la liste n'est pas figée et évolue avec l'apparition de nouveaux dispositifs d'interaction (également appelés médias).

C'est pourquoi, lors d'un échange d'informations entre un homme et une machine, nous ferons par convention référence aux modes de communication relatifs à l'être humain et non à ceux qui pourraient être dévolus à la machine. Par exemple, lorsque l'utilisateur fait un geste pour transmettre une information à la machine, le mode utilisé sera dit gestuel, quel que soit le média utilisé par la machine pour capter l'information (caméra ou gant numérique).

   3-AVANTAGES DE LA MULTI-MODALITE

> La multi modalité favorise l'adaptation à des situations et à des profils d'utilisateurs variés. Si l'environnement est bruyant, l'utilisateur dispose de différentes modalités pour entrer ses données. Si des donnés complexes doivent être restituées, le système peut compléter un message audio d'un affichage textuel ou de graphismes. La multi modalité a aussi l'intérêt de favoriser l'appropriation des outils informatiques par des personnes porteuses d'un handicap temporaire ou permanent.

> L'interaction multimodale apporte un réel gain en efficacité, en particulier si des manipulations d'objets graphiques sont nécessaires.

> La multi modalité optimise la robustesse des applications utilisant la reconnaissance vocale, d'une part en favorisant des énoncés structurellement plus simples, mais aussi en autorisant une désambiguïsation mutuelle avec d'autres modes utilisés en parallèle. Les interfaces multimodales facilitent aussi beaucoup la correction d'erreurs de reconnaissance.

> Les interfaces multimodales sont cruciales pour développer l'accès à l'information en situation de mobilité et dans les systèmes embarqués. Or avec l'arrivée des nouvelles normes de diffusion hertziennes d'information, GPRS, UMTS, WI Fi et BlueTooth, de plus en plus de personnes vont être connectées en permanence. Les usages mobiles s'en trouveront renforcés.
> De nombreuses études ont montré qu'indépendamment de l'efficacité objective enregistrée, les utilisateurs affirmaient leur préférence pour les interfaces multimodales par rapport aux interfaces monomodales.

Aussi Les avantages de la conception incrémentale sont visibles tant du point de vue de l'utilisateur que de la machine:

• L'utilisateur étant en face de sa machine, il a la possibilité à tout moment de palier les déficiences mineures des algorithmes.
• Temps réel: L'utilisateur agit en temps réel sur le dessin jusqu'à ce qu'il le trouve à son goût.
• L'utilisateur peut élaborer des stratégies quand il comprend les réactions du système, apprentissage simplifié.
• Transition: négociation au niveau temps/performance

4- INCONVENIENTS

Les inconvénients proviennent de la rigidité de la machine, les algorithmes d'interprétation ne laissent pas forcément l'utilisateur faire ce qu'il veut: choix à faire, options à fournir.

DEVOIR PRESENTE PAR:

- YAO JOEL

- SEKA FRANCK

- TIA BRICE

- KONE ESTELLE

- ARMEL