Observez la direction prise par votre regard – elle peut être utilisée pour prédire ce que vous allez dire. C’est en tout cas ce que révèle une nouvelle étude montrant qu’il est possible de deviner quelles phrases vont utiliser les gens pour décrire une scène, seulement en suivant leurs mouvements oculaires.
Moreno Coco et Frank Keller, de l’Université d’Edimbourg au Royaume-Uni, ont exposé 24 bénévoles à une série d’images photoréalistes représentant des scènes d’intérieur telles que la salle de réception d’un hôtel. Ils ont ensuite suivi la séquence des objets que chaque volontaire a regardé, après avoir été invité à décrire ce qu’ils avaient vu.
D’autres ont seulement donné des mots-clés, tels que ‘homme’ ou ‘valise’. Les participants étaient libres de décrire la scène comme ils le souhaitaient. Quelques phrases typiques ont été incluses : ‘l’homme est debout à la réception d’un hôtel’ ou ‘la valise est sur le plancher’.
L’ordre dans lequel le regard d’un participant se portait sur des objets de chaque scène avait tendance à refléter l’ordre des noms dans la phrase utilisée pour les décrire. « Nous avons été surpris qu’il y eut une corrélation aussi étroite », a dit Keller. Étant donné que plusieurs processus cognitifs sont impliqués dans la formation de phrase, Coco a signalé : « il est remarquable de trouver des preuves de similitude entre la parole et l’attention visuelle ».
La prédiction d’un mot
L’équipe a utilisé cette découverte pour voir s’ils pouvaient prédire quels termes seraient utilisés pour décrire une scène basée sur le seul mouvement des yeux. Ils ont développé un algorithme à partir de l’expérience précédente qui a été en mesure d’utiliser l’enregistrement du point de chute de l’œil, dans l’objectif de prédire une phrase correcte parmi un choix de 576 descriptions.
Changsong Liu, du laboratoire de Recherche sur les Interactions et le Langage à l’Université de l’État du Michigan à East Lansing, qui n’était pas impliqué dans l’étude, suggère que ces résultats pourraient motiver des concepts originaux pour des interfaces hommes-machines qui tirent parti de repères visuels pour améliorer le logiciel de reconnaissance vocale.
Ces informations sur le regard sont déjà utilisées pour aider à la désambiguïsation. Par exemple, si un système de reconnaissance vocale peut dire que vous êtes en train de regarder un arbre, il est moins probable qu’il puisse deviner que vous allez dire ‘trois’. La prévision d’une phrase peut trouver une application possible, par exemple, en combinant ce système avec des casques de réalité augmentée qui suivent le mouvement des yeux.
Coco et Keller sont maintenant à la recherche du rôle des processus de coordinations visuelles et linguistiques lors de conversations entre deux personnes. « Les gens engagés dans un dialogue utilisent des formes syntaxiques, des expressions et des mouvements oculaires similaires », a conclut Coco. Une hypothèse est que ce mimétisme de coordination pourrait être important dans la prise de décision conjointe.
Les travaux ont été publiés dans la revue Cognitive Science (DOI: 10.1111/j.1551-6709.2012.01246.x)
Citations de New Scientist
Crédit image À-la-Une : Wikimédia CC
[…] Observez la direction prise par votre regard – elle peut être utilisée pour prédire ce que vous allez dire. C’est en tout.. […]