Une assistance à l'interaction 3D en réalité virutuelle par un raisonnement sémantique et une conscience du contexte

Les tâches dans les environnements virtuels immersifs sont associées à des techniques et à des dispositifs d interaction 3D (e.g. la sélection d objets 3D à l aide de la main virtuelle via un flystick). Alors que les environnements et les tâches deviennent de plus en plus complexes, les techniques ne peuvent plus être les mêmes pour chaque application, voire pour les différentes situations au sein d une application. Une solution est d adapter l interaction en fonction des besoins de la situation pour améliorer l utilisabilité. Ces adaptations peuvent être effectuées manuellement par le concepteur ou l utilisateur, ou automatiquement par le système créant ainsi une interaction adaptative. La formalisation d une telle assistance automatique nécessite la gestion d informations pertinentes au vu de la situation. L ensemble de ces informations fait émerger le contexte de l interaction. L assistance adaptative obtenue en raisonnant à partir de ces informations est ainsi consciente du contexte. De nombreuses possibilités existent pour l obtenir. Notre objectif est une gestion du contexte qui préserve ses degrés élevés d expressivité et d évolutivité tout en étant facile à intégrer. Nous proposons une modélisation de ce problème par des graphes conceptuels basés sur une ontologie et gérés par un moteur externe en logique du premier ordre. Le moteur est générique et utilise une base de connaissance contenant des faits et des règles, qui peuvent être changés dynamiquement. Nous avons intégré une notion de confiance, afin d établir l adéquation d une situation à la base de connaissances. La confiance des réactions est comparée à leur impact afin de ne garder que les pertinentes tout en évitant de saturer l utilisateur. Les applications utilisent des outils qui peuvent être contrôlés par le moteur. Des capteurs permettent d extraire des informations sémantiques pour le contexte. Des effecteurs permettent d agir sur l application et d obtenir des adaptations. Un jeu d outils et une base de connaissance pour l interaction 3D ont été créés. De nombreuses étapes sont introduites dans la base de connaissance pour de bonnes combinaisons et une réflexion indépendante d outils spécifiques. Nos premières applications illustrent la compréhension de la situation, dont les intérêts et difficultés de l utilisateur, et le déclenchement d assistances adaptées. Une étude hors ligne montre ensuite l accès et l évolution des étapes du moteur selon la situation. Le raisonnement sémantique générique obtenu est alors expressif, compréhensif, extensif et modifiable dynamiquement. Pour l interaction 3D, il permet une assistance universelle automatique, ponctuelle ou manuelle à l utilisateur et des analyses hors-lignes d activités ou de conceptions pour le concepteur.Tasks in immersive virtual environments are associated with 3D interaction techniques and devices (e.g. the selection of 3D objects with the virtual hand and a flystick). As environments and tasks become more and more complex, techniques can not remain the same for each application, even for every situations of a single application. A solution is to adapt the interaction depending on the situation in order to increase usability. These adaptations can be done manually by the designer or the user, or automatically by the system thus creating an adaptative interaction. Formalisation of such assistance needs the management of pertinent information regarding the situation. Those items of information make the context emerge from the interaction. The adaptative assistance obtained by reasoning on this information is then context-aware. Numerous possibilities can be used to build one. Our objective is a context management that preserves its high degrees of expressiveness and evolutivity while being easy to plug in. We have built a model for this issue using conceptual graphs based on an ontology and managed externally with a first order logic engine. The engine is generic and uses a knowledge base with facts and rules which can be dynamically changed. We have added a confidence notion, in order to establish a situation similarity to the knowledge base. Reactions confidences are compared to their impacts so as to keep only the pertinent ones while avoiding user overload. Applications have tools that can be controlled by the engine. Sensors are used to extract semantic information for the context. Effectors are used to act upon the application and to have adaptations. A tools set and a knowledge base have been created for 3D interaction. Numerous steps have been added in the knowledge base to obtain good combinations and a reasoning independent from specific tools. Our first applications shows the situation understanding, including user interests and difficulties, and the triggering of pertinent assistances. An off-line study illustrates the access and evolution of the internal engine steps. The built generic semantic reasoning is expressive, understandable, extensive and modifiable dynamically. For 3D interaction, it allows universal assistances for the user that can be automatic, punctual or manual and off-line activities or conceptions analysis fort he designers.EVRY-Bib. électronique (912289901) / SudocSudocFranceF

Modèles sémantiques et raisonnements réactif et narratif, pour la gestion du contexte en intelligence ambiante et en robotique ubiquitaire

With the appearance of the paradigms of ubiquitous systems and ambient intelligence, a new domain of research is emerging with the aim of creating intelligent environments and ecosystems, that can provide multiple services that can improve quality of life, the physical and mental status and the social wellness of the users. In this thesis, we address the problem of semantic knowledge representation and reasoning, in the context of ambient intelligent systems and ubiquitous robots. We propose two semantic models that improve the cognitive functions of these systems, in terms of context recognition, and context adaptation. The first one is an ontology-based model, which is associated with a rule language to model reactive reasoning process on contextual knowledge. To take into account the dynamicity of context and insure coherent decision-making, this process guarantees two essential properties: decidability and non-monotonic reasoning. The second model is also an ontology-based model that completes the previous model in terms of expressiveness for semantic representation of non-trivial contexts with temporal dimension It is based on n-ary relations and a narrative representation of events for inferring causalities between events, and therefore to build the chronological context of a situation as from past and current events. The proposed models have been implemented on the ubiquitous experimental platform of LISSI, and validated through three scenarios for cognitive assistance and context recognitionAvec l'apparition des paradigmes des systèmes ubiquitaires ou omniprésents et de l'intelligence ambiante, on assiste à l'émergence d'un nouveau domaine de recherche visant à créer des environnements ou écosystèmes intelligents pouvant offrir une multitude de services permettant d'améliorer la qualité de vie, l'état physique et mental, et le bien-être social des usagers. Dans cette thèse, nous nous focalisons sur la problématique de la représentation sémantique des connaissances et du raisonnement dans le cadre des systèmes à intelligence ambiante et des robots ubiquitaires. Nous proposons deux modèles sémantiques permettant d'améliorer les fonctions cognitives de ces systèmes en termes de gestion du contexte. Au premier modèle, de type ontologique, sont associés un langage de règles et un raisonnement réactif pour la sensibilité au contexte. Pour prendre en compte le caractère dynamique du contexte et assurer une prise de décision cohérente, le mode de raisonnement retenu garantit deux propriétés essentielles : la décidabilité et la non-monotonie. Le deuxième modèle, également de type ontologique, complète le modèle précédent en termes d'expressivité pour la représentation de contextes non-triviaux et/ou liés au temps. Il s'appuie sur des relations n-aires et une représentation narrative des événements pour inférer des causalités entre événements et reconnaitre des contextes complexes non-observables à partir d'événements passés et courants. Les modèles proposés ont été mis en oeuvre et validés sur la plateforme ubiquitaire d'expérimentation du LISSI à partir de trois scenarii d'assistance cognitive et de reconnaissance de context

Vers une approche d’adaptation dynamique et temps-réel du contenu informationnel d’une interface utilisateur dans un environnement ubiquitaire

Ubiquitous environments are often considered highly dynamic environments and the contextual information can change at runtime. User interface should provide the right information for the right person at the right time. Certainly, such objective can be achieved only when we deduce the realtime user’s requirements in terms of information and present this information to the user according to his current context of use. The specific goal of our research is to improve the adaptation process while improving models at runtime. A fixed model cannot handle the high dynamic in such an environment. The model can progress and change its structure to better deduce the user’s requirements. Selecting the appropriate model is not that easy. To address this problem, adaptation strategies will be based on evolutionary models. Such models can be created while integrating progressively a range of elementary actions or undergo modifications and changes as the result of interactions with the user and through reinterpretations of existing models stored by the acquisition of preceding knowledge. Our approach takes advantage of OWL-S’s properties in order to describe the dynamic functioning of Petri-nets models. We formulate a Petri-nets based elementary action by using an OWL-S atomic process. And then, we progressively compose a set of elementary actions to formulate a Petri-nets based activity. The presented method lays a sound foundation for dynamic composition of Petri-nets based modeling.L’adaptation au contexte suivant notre cadre d’étude peut être définie par la flexibilité des interfaces utilisateur à évoluer au cours de l’interaction en fonction du contexte de l’utilisateur. Et puisque généralement la pertinence des modèles dépend de la qualité de l’adaptation dynamique de l’interface, l’adaptation qui se base sur un modèle fixe de fonctionnement n’est plus appropriée dans les environnements ubiquitaires. Le Contexte a tendance à varier énormément au cours de l’interaction avec l’utilisateur dans un environnement très dynamique. D’où, la déduction de l’information nécessaire au moment approprié pour un utilisateur quelconque exige une plus grande flexibilité, ainsi une méthode statique de fonctionnement est certainement insuffisante. Cette complexité croit lorsque les informations fournies à l’utilisateur doivent correspondre à certaines caractéristiques spécifiques et individuelles des utilisateurs. Une approche de modélisation dynamique a été soigneusement décrite. Nous y avons démontré l’adaptation temps-réel des informations fournies à l’utilisateur à ses spécificités, à ses préférences, à son activité en cours et au changement de son contexte d’usage. L’utilisateur se situant dans un environnement ubiquitaire arrivera nécessairement à recevoir sur son interface l’information dont il a besoin. En procédant de cette manière, nous nous sommes parvenu implicitement à aider l’utilisateur à accomplir sa tâche en cours. Il s’agit, en fait, de la principale motivation de l’Informatique Ubiquitaire que notre stratégie nous a permis, entre autres, de la respecter

Modèle sémantique d'intelligence ambiante pour le développement « Do-It-Yourself » d'habitats intelligents

L’intelligence ambiante utilise l’informatique diffuse, l’Internet des objets et l’intelligence artificielle pour faire émerger de nouvelles solutions technologiques qui facilitent le maintien à domicile des personnes âgées. L’assistance à l’autonomie à domicile passe par un processus de transformation de l’habitat en habitat intelligent. Cette thèse s’intéresse à la proposition d’un modèle sémantique de l’intelligence ambiante. Le but est de proposer un domaine d’interprétation des interactions existantes entre l’habitat, l’Internet des objets, le profil de la personne et l’assistance à offrir. À ce titre, le lien sémantique entre les énoncés permet de formellement spécifier les besoins et les règles d’inférences sont utilisées pour la génération des dispositifs électroniques correspondant aux besoins spécifiés. Le modèle sémantique proposé capture l’essence des concepts du domaine de l'intelligence ambiante. Il organise et structure ainsi la connaissance sous-jacente au sein d’une architecture logicielle. Couche par couche et module par module, cette architecture s’adapte au contexte de l’utilisateur afin de permettre aux personnes ayant peu ou pas de connaissances dans le domaine de concevoir (bricoler) leur propre solution d’assistance et d’accompagnement à la réalisation de certaines activités de la vie quotidienne. Pour faciliter le bricolage (la conception par soi-même), le modèle s’appuie sur des méthodes formelles de spécification, de vérification et de validation des scénarios. Les scénarios décrivent l’agencement et le déroulement des activités à réaliser pour la satisfaction d’un but. Enfin, pour accompagner le processus de bricolage jusqu’au bout, un modèle théorique de positionnement des dispositifs électroniques dans un habitat intelligent est proposé. Une expérimentation à domicile a été menée durant 42 jours chez une personne aînée souffrant de la maladie d’Alzheimer. Les résultats obtenus permettent de valider le fonctionnement du modèle de sensibilité au contexte proposé et de renseigner les proches aidant sur les habitudes de vie de leur aînée. L’assistance offerte a pour objectif de fournir des signaux environnementaux pour favoriser un sommeil réparateur et éviter des épisodes d’errance nocturne, chez les personnes atteintes de la maladie d’Alzheimer

Vers une approche de spécification et de génération d'interfaces sensibles au contexte : Application au domaine médical

Pervasive systems aim to make information available anytime and anywhere. These systems must be operated in different contexts according to the user's environment, his profile and the terminal being used. The mobile interface adaptation needs a dynamic approach instead of a fixed model that isn't able to manage the dynamic aspect of an ubiquitous environment. The model has to modify its structure according to the context information. This leads to a specification of user’s requirement and thus a generation of the suitable interface.This latter have to be valid and reliable, especially if we are working in a critical area as the medical field. Our research focuses on this issue by proposing a specification and a context-aware interface generation's approach in a critical domain. We started by establishing a state of arts about architectures dealing with context-awareness. Then, we applied the proposed architecture on a medical case study. We also proposed an application for diabetic patients' monitoring. Finally, an experimental platform for interfaces' evaluation was proposed.Les systèmes pervasifs ont pour objectif de rendre l’information disponible partout et à tout moment. Ces systèmes doivent pouvoir être utilisés dans différents contextes selon l’environnement de l’utilisateur, son profil et le terminal qu’il utilise. L’adaptation des interfaces mobiles au contexte nécessite une approche de modélisation dynamique puisqu’un modèle fixe ne peut pas gérer l’aspect fortement dynamique d’un environnement ubiquitaire. Le modèle doit donc être souple et modifier ainsi sa structure en fonction du contexte et ce, pour déduire les besoins de l’utilisateur et générer ainsi l’interface mobile adéquate. L’interface générée doit être valide et fiable surtout si nous travaillons dans un domaine critique comme le domaine médical. C’est dans ce cadre, que s’insèrent nos travaux de recherche. Nous avons proposé une approche de spécification et de génération d’interfaces sensibles au contexte dans un domaine critique. Nous avons commencé par établir un état de l’art relatif aux architectures des systèmes sensibles au contexte, puis, nous avons proposé et appliqué notre architecture sur un étude de cas médical. Nous avons proposé une application nommé DiaMon pour le suivi des patients diabétiques. Finalement, nous avons proposé une plateforme expérimentale d’évaluation des interfaces sensibles au contexte

Formalisation d'un environnement d'aide à l'analyse géovisuelle: Application à la sécurité et sûreté de la maritimisation de l'énergie

The maritime space is still a sensitive area due to many accidents and dangers, such as collisions or pirate attacks. In order to ensure the control of safety and security of this area, it is essential to study near real-time movement information (surveillance) or past events (analysis). Controllers and analysts are then faced to large sets of data, which must be studied with systems using maps and other visualizations. However, these tools are limited in terms of analysis capacities. Using geovisual analytics could be used to improve pattern identification, anomalies detection and knowledge discovery. However, due to the complexity of their use, most methods are still at the stage of research, and are not used yet in the operational word for studying maritime risks.In this context, we propose a geovisual analytics support system to guide users in the visualization and the analysis of maritime risks. Our research methodology is based on the formalization of use cases, of users and of several visualization methods. Ontologies and rules are used to create a knowledge-based system, to select adequate solutions for the visualization and the analysis of ships’ trajectories. Some examples for analyzing maritime risks are then presented to illustrate the use of such a system.L’espace maritime est encore aujourd’hui le contexte de nombreux accidents et dangers, comme des collisions ou des attaques pirates. Afin de garantir le contrôle de la sûreté et de la sécurité de cet espace, il est nécessaire d’étudier les données de mouvement en temps réel (surveillance) et les évènements passés (analyse). Contrôleurs et analystes sont alors confrontés à de grandes quantités de données, qui doivent être étudiées grâce à des systèmes utilisant des cartes et autres visualisations. Cependant, ces outils sont limités en termes de capacités d’analyse. L’utilisation de méthodes d’analyse géovisuelle pourrait alors faciliter la reconnaissance de motifs, la détection d’anomalies et la découverte de connaissances. Toutefois, en raison de leur complexité d’utilisation, plusieurs de ces méthodes n’ont pas dépassé le stade académique, et ne sont pas encore utilisées de manière opérationnelle dans l’étude des risques maritimes.Dans ce contexte, nous proposons un environnement d’aide à l’analyse géovisuelle, qui permet de guider l’utilisateur dans la visualisation et l’analyse d’informations pour l’étude des risques maritimes. Notre démarche de thèse se fonde sur la formalisation des cas d’utilisation, des utilisateurs et des méthodes de visualisation. Le recours à des ontologies et des règles permet de concevoir un système à base de connaissances, afin de proposer des méthodes adéquates pour la visualisation et l’analyse des trajectoires de navires. Nous illustrons cette proposition par plusieurs exemples d’analyse de risques en mer

Composition dynamique de services sensibles au contexte dans les systèmes intelligents ambiants

With the appearance of the paradigms of the ambient intelligence and ubiquitaire robotics, we attend the emergence of new ambient intelligent systems to create and manage environments or intelligent ecosystems in a intuitive and transparent way. These environments are intelligent spaces characterized in particular by the opening, the heterogeneousness, the uncertainty and the dynamicité of the entities which establish(constitute) them. These characteristics so lift(raise) considerable scientific challenges for the conception(design) and the implementation of an adequate intelligent system. These challenges are mainly among five: the abstraction of the representation of the heterogeneous entities, the management of the uncertainties, the reactivity in the events, the sensibility in the context and the auto-adaptationAvec l'apparition des paradigmes de l'intelligence ambiante et de la robotique ubiquitaire, on assiste à l'émergence de nouveaux systèmes intelligents ambiants visant à créer et gérer des environnements ou écosystèmes intelligents d'une façon intuitive et transparente. Ces environnements sont des espaces intelligents caractérisés notamment par l'ouverture, l'hétérogénéité, l'incertitude et la dynamicité des entités qui les constituent. Ces caractéristiques soulèvent ainsi des défis scientifiques considérables pour la conception et la mise en œuvre d'un système intelligent adéquat. Ces défis sont principalement au nombre de cinq : l'abstraction de la représentation des entités hétérogènes, la gestion des incertitudes, la réactivité aux événements, la sensibilité au contexte et l'auto-adaptation face aux changements imprévisibles qui se produisent dans l'environnement ambiant. L'approche par composition dynamique de services constitue l'une des réponses prometteuses à ces défis. Dans cette thèse, nous proposons un système intelligent capable d'effectuer une composition dynamique de services en tenant compte, d'une part, du contexte d'utilisation et des diverses fonctionnalités offertes par les services disponibles dans un environnement ambiant et d'autre part, des besoins variables exprimés par les utilisateurs. Ce système est construit suivant un modèle multicouche, adaptatif et réactif aux événements. Il repose aussi sur l'emploi d'un modèle de connaissances expressif permettant une ouverture plus large vers les différentes entités de l'environnement ambiant notamment : les dispositifs, les services, les événements, le contexte et les utilisateurs. Ce système intègre également un modèle de découverte et de classification de services afin de localiser et de préparer sémantiquement les services nécessaires à la composition de services. Cette composition est réalisée d'une façon automatique et dynamique en deux phases principales: la phase offline et la phase online. Dans la phase offline, un graphe global reliant tous les services abstraits disponibles est généré automatiquement en se basant sur des règles de décision sur les entrées et les sorties des services. Dans la phase online, des sous-graphes sont extraits automatiquement à partir du graphe global selon les tâches à réaliser qui sont déclenchées par des événements qui surviennent dans l'environnement ambiant. Les sous-graphes ainsi obtenus sont exécutés suivant un modèle de sélection et de monitoring de services pour tenir compte du contexte d'utilisation et garantir une meilleure qualité de service. Les différents modèles proposés ont été mis en œuvre et validés sur la plateforme ubiquitaire d'expérimentation du laboratoire LISSI à partir de plusieurs scénarii d'assistance et de maintien de personnes à domicil

Description assistée d'un environnement intelligent en réalité augmentée

Les technologies d'assistance modernes offrent d'augmenter, de maintenir ou d'améliorer les capacités fonctionnelles d'une personne avec incapacités. Parmi ces technologies, les environnements intelligents favorisent effectivement le maintien à domicile des personnes âgées. Pourtant, les taux d'abandon des technologies d'assistance sont aujourd'hui élevés. L'absence d'inclusion de l'utilisateur dans la construction et la personnalisation de ces technologies est fortement pointée du doigt par la littérature. Un système fait soi-même (Do-it-Yourself) centré sur le partage et où l'utilisateur conçoit lui-même son assistance est donc à privilégier. Cette thèse s'intéresse à développer les interactions entre l'humain et l'intelligence artificielle pour la description assistée d'environnements intelligents personnalisés selon les habitudes du résident. Le but est de déterminer les interfaces et le langage à adopter pour favoriser l'échange entre un descripteur humain, expert des besoins du résident, et une intelligence artificielle, experte des environnements intelligents. Les habitudes que le descripteur doit transmettre au système d'assistance sont spatialisées par définition, elles prennent place à des endroits spécifiques de l'environnement, avec des objets spécifiques de cet environnement et à des moments précis. La réalité augmentée s'inscrit ainsi parfaitement dans cette approche puisqu'elle permet d'ancrer dans le monde réel les éléments virtuels représentant l'environnement et les habitudes dans celui-ci. Les habitudes que le descripteur détaille sont également spécifiques à la façon de faire du résident tandis que les connaissances des environnements intelligents de l'intelligence artificielle proposée sont davantage génériques. Aussi, un langage compréhensible par l'humain et assez puissant pour représenter à la fois ces concepts spécifiques et génériques est nécessaire. Les ontologies, base de données sémantiques, répondent à ces besoins grâce à leur représentation textuelle et au raisonnement ontologique qui permet de définir le niveau d'abstraction adéquat pour l'échange. En combinant la réalité augmentée à la sémantique, le conseiller virtuel de description assistée des environnements intelligents présenté dans cette thèse accompagne le descripteur dans la spécification des habitudes du résident. De plus, en agrégeant l'expérience acquise avec l'ensemble des descriptions précédentes, ce conseiller fournit des conseils en temps-réel pour favoriser l'idéation. Ce conseiller virtuel a été testé auprès d'experts et de proches aidants. Les résultats obtenus confirment que le conseiller virtuel proposé permet la description de l'environnement et des activités, notamment grâce à ses interactions intuitives et naturelles. Les habitudes numérisées avec le conseiller virtuel pourraient à terme permettre à l'environnement intelligent de mieux comprendre les besoins de son résident et de s'y adapter