"Mets ça ici" où quand "ici" dépend de "ça". L'interprétation de "ici" dans les énoncés de positionnement.

Dans cet article, nous proposons un processus d'interprétation pour l'adverbe ici suffisamment général pour pouvoir être implémenté dans des situations de dialogue multimodales relativement larges. La comparaison entre ici et là montre qu'une même situation peut être envisagée (verbalisée) sous des angles différents. L'étude du résultat purement objectif (ou présumé comme tel, exemple : à "Le N" se trouve associé un référent) de l'analyse d'une expression ne permet pas toujours de mettre à jour ce type de phénomènes

Interprétation des énoncés langue+geste en situation de dialogue homme-machine.

La mise en œuvre de systèmes de dialogue homme-machine nécessite, de façon primordiale, de définir une composante référentielle qui puisse prendre en compte l'ensemble des formes référentielles qu'un locuteur risque spontanément d'exprimer. Une telle composante s'inscrit naturellement dans la continuité des travaux menés depuis une quinzaine d'année sur le traitement spécifique de l'anaphore dans les systèmes de compréhension du langage naturel. Cependant, la situation est encore plus complexe si l'on considère une interaction homme-machine où l'échange n'est plus seulement verbal, mais s'ancre sur une présentation graphique de la tâche en cours de réalisation. A un traitement des anaphoriques, il est nécessaire d'ajouter les éventuelles références déictiques, qui peuvent prendre la forme soit d'expressions spatiales, soit d'expressions co-gestuelles dans le cadre de dialogues véritablement multimodaux. L'objectif de notre présentation sera de détailler les différents facteurs qui interviennent dans la compréhension de cette dernière catégorie d'expressions. Nous verrons que la langue sert bien sûr de pivot à l'ensemble du processus d'analyse, mais qu'il est aussi nécessaire de faire intervenir des informations précises concernant la perception visuelle et conceptuelle qu'a l'utilisateur de l'environnement graphique qui lui est présenté. Nous montrerons, en illustrant l'exposé d'exemples réels de dialogues finalisés, quelles sont les pistes de recherche à suivre pour combiner efficacement les différentes sources d'information, ainsi que les méthodes d'analyse du geste à considérer

Langue, dialogue finalisé et cognition spatiale

L'objectif de ce chapitre est d'aborder l'espace sous l'angle de la communication homme-machine pour mettre en évidence ce qui peut caractériser les mécanismes de compréhension d'expression de l'espace, ainsi que les opérations sous-jacentes de perception et de raisonnement. Nous montrons comment la perspective de réaliser des systèmes opérationnels de dialogue homme-machine permet d'intégrer la modélisation de l'espace dans une perspective plus large intégrant de nombreux paramètres liés à tout acte de communication

Enabling Techniques to support Reliable Smartphone-Based Motion Gesture Interaction

When using motion gestures - 3D movements of a mobile phone - as an input modality, one significant challenge is how to teach end users the movement parameters necessary to successfully issue a command. Is a simple video or image depicting movement of a smartphone sufficient? Or do we need three-dimensional depictions of movement on external screens to train users? In this thesis, we explore mechanisms to teach end users motion gestures and analyze the user’s perceived reliability of motion gesture recognition. Regarding teaching motion gestures, two factors were examined. The first factor is how to represent motion gestures: as icons that describe movement, video that depicts movement using the smartphone screen, or a Kinect-based teaching mechanism that captures and depicts the gesture on an external display in three-dimensional space. The second factor explored is recognizer feedback, i.e. a simple representation of the proximity of a motion gesture to the desired motion gesture based on a distance metric extracted from the recognizer. Our results show that, by combining video with recognizer feedback, participants master motion gestures equally quickly as end users that learn using a Kinect. These results demonstrate the viability of training end users to perform motion gestures using only the smartphone display. Regarding user’s perceived reliability of the gesture recognizer, the effects of bi-level thresholding on the workload and acceptance of end-users were examined. Bi-level thresholding is a motion gesture recognition technique that mediates between false positives, and false negatives by using two threshold levels: a tighter threshold that limits false positives and recognition errors and a looser threshold that prevents repeated errors (false negatives) by analyzing movements in sequence. By holding recognition rates constant but adjusting for fixed versus bi-level thresholding, we show that systems using bi-level thresholding result in significantly lower workload scores on the NASA-TLX. Overall, these results argue for the viability of bi-level thresholding as an effective technique for balancing between different types of recognizer errors

Understanding user interactions in stereoscopic head-mounted displays

2022 Spring.Includes bibliographical references.Interacting in stereoscopic head mounted displays can be difficult. There are not yet clear standards for how interactions in these environments should be performed. In virtual reality there are a number of well designed interaction techniques; however, augmented reality interaction techniques still need to be improved before they can be easily used. This dissertation covers work done towards understanding how users navigate and interact with virtual environments that are displayed in stereoscopic head-mounted displays. With this understanding, existing techniques from virtual reality devices can be transferred to augmented reality where appropriate, and where that is not the case, new interaction techniques can be developed. This work begins by observing how participants interact with virtual content using gesture alone, speech alone, and the combination of gesture+speech during a basic object manipulation task in augmented reality. Later, a complex 3-dimensional data-exploration environment is developed and refined. That environment is capable of being used in both augmented reality (AR) and virtual reality (VR), either asynchronously or simultaneously. The process of iteratively designing that system and the design choices made during its implementation are provided for future researchers working on complex systems. This dissertation concludes with a comparison of user interactions and navigation in that complex environment when using either an augmented or virtual reality display. That comparison contributes new knowledge on how people perform object manipulations between the two devices. When viewing 3D visualizations, users will need to feel able to navigate the environment. Without careful attention to proper interaction technique design, people may struggle to use the developed system. These struggles may range from a system that is uncomfortable and not fit for long-term use, or they could be as major as causing new users to not being able to interact in these environments at all. Getting the interactions right for AR and VR environments is a step towards facilitating their widespread acceptance. This dissertation provides the groundwork needed to start designing interaction techniques around how people utilize their personal space, virtual space, body, tools, and feedback systems

An experimental study of future 'natural' multimodal human-computer interaction

SIGLEAvailable at INIST (FR), Document Supply Service, under shelf-number : RP 12412 / INIST-CNRS - Institut de l'Information Scientifique et TechniqueFRFranc