Approches outillées pour le développement de systèmes interactifs intégrant les aspects sûreté de fonctionnement et utilisabilité

Since the Airbus A380 and with the introduction of ARINC 661 standard, the glass cockpits are being replaced by interactive cockpits, by allowing the crew to control aircraft systems through display unit by using keyboard and cursor control unit (KCCU). Currently only secondary aircraft systems which are non-critical are managed using such interactive cockpits. To be able to generalize such features to critical aircraft system, the main question remains to understand how to match dependability requirements for such systems while preserving usability properties. To reach the goal of using such interactive techniques within safety critical aircraft systems, our research work has followed three main directions. The first approach is to tend to zero default design, by realizing the precise and unambiguous description of software components of interactive system, using formal description technique. The second approach consists in the use of fault tolerant mechanisms, to treat design residual fault, physical fault or environmental fault. These fault tolerant mechanisms enable the continuity of service despite the occurrence of fault. The third approach is the clarification of the impact of different fault tolerant mechanisms on the usability of the interactive system. This clarification is done by using and analyzing task models, describing the user activity of the systemDepuis l'A380 et avec l'introduction du standard ARINC 661, les systèmes d'affichage et de contrôle des cockpits sont passés d'un rôle de simple afficheur, à celui d'un système interactif permettant à l'équipage d'interagir sur les écrans grâce à l'utilisation d'un ensemble clavier/dispositif de pointage appelé KCCU. L'utilisation de cette nouvelle capacité d'interaction est à ce jour limitée à des interactions avec des systèmes avions non critiques. Pour envisager son extension à des systèmes critiques il faut se poser la question du respect d'exigences de sureté de fonctionnement imposées à de tels systèmes sans pour autant diminuer son niveau d'utilisabilité. Dans cette optique, nous proposons dans le cadre de nos travaux de recherche, différentes approches pour contribuer au développement d'un tel système interactif critique. La première approche est de tendre vers une conception zéro défaut, en réalisant une description précise et non ambigüe des composants logiciels du système interactif en utilisant une technique de description formelle. La seconde approche est l'utilisation de techniques de tolérance aux fautes car il existe toujours des fautes résiduelles de conception, des fautes matérielles ou venant de l'environnement. Dans ce cas, l'utilisation de technique de tolérance aux fautes permet au système de continuer à remplir ses fonctions en dépit de l'occurrence de fautes. La troisième approche est l'explicitation de l'impact des différentes approches de tolérance aux fautes sur l'utilisabilité du système interactif. Cette explicitation est faite au travers de la réalisation et de l'analyse des modèles de tâche, décrivant l'activité de l'utilisateur du système

Approches outillées pour le développement des systèmes interactifs intégrant les aspects sûreté de fonctionnement et utilisabilité

Depuis l'A380 et avec l'introduction du standard ARINC 661, les systèmes d'affichage et de contrôle des cockpits sont passés d'un rôle de simple afficheur, à celui d'un système interactif permettant à l'équipage d'interagir sur les écrans grâce à l'utilisation d'un ensemble clavier/dispositif de pointage appelé KCCU. L'utilisation de cette nouvelle capacité d'interaction est à ce jour limitée à des interactions avec des systèmes avions non critiques. Pour envisager son extension à des systèmes critiques il faut se poser la question du respect d'exigences de sureté de fonctionnement imposées à de tels systèmes sans pour autant diminuer son niveau d'utilisabilité. Dans cette optique, nous proposons dans le cadre de nos travaux de recherche, différentes approches pour contribuer au développement d'un tel système interactif critique. La première approche est de tendre vers une conception zéro défaut, en réalisant une description précise et non ambigüe des composants logiciels du système interactif en utilisant une technique de description formelle. La seconde approche est l'utilisation de techniques de tolérance aux fautes car il existe toujours des fautes résiduelles de conception, des fautes matérielles ou venant de l'environnement. Dans ce cas, l'utilisation de technique de tolérance aux fautes permet au système de continuer à remplir ses fonctions en dépit de l'occurrence de fautes. La troisième approche est l'explicitation de l'impact des différentes approches de tolérance aux fautes sur l'utilisabilité du système interactif. Cette explicitation est faite au travers de la réalisation et de l'analyse des modèles de tâche, décrivant l'activité de l'utilisateur du système.Since the Airbus A380 and with the introduction of ARINC 661 standard, the glass cockpits are being replaced by interactive cockpits, by allowing the crew to control aircraft systems through display unit by using keyboard and cursor control unit (KCCU). Currently only secondary aircraft systems which are non-critical are managed using such interactive cockpits. To be able to generalize such features to critical aircraft system, the main question remains to understand how to match dependability requirements for such systems while preserving usability properties. To reach the goal of using such interactive techniques within safety critical aircraft systems, our research work has followed three main directions. The first approach is to tend to zero default design, by realizing the precise and unambiguous description of software components of interactive system, using formal description technique. The second approach consists in the use of fault tolerant mechanisms, to treat design residual fault, physical fault or environmental fault. These fault tolerant mechanisms enable the continuity of service despite the occurrence of fault. The third approach is the clarification of the impact of different fault tolerant mechanisms on the usability of the interactive system. This clarification is done by using and analyzing task models, describing the user activity of the system

Classification automatique pour la compréhension de la parole (vers des systèmes semi-supervisés et auto-évolutifs)

La compréhension automatique de la parole est au confluent des deux grands domaines que sont la reconnaissance automatique de la parole et l'apprentissage automatique. Un des problèmes majeurs dans ce domaine est l'obtention d'un corpus de données conséquent afin d'obtenir des modèles statistiques performants. Les corpus de parole pour entraîner des modèles de compréhension nécessitent une intervention humaine importante, notamment dans les tâches de transcription et d'annotation sémantique. Leur coût de production est élevé et c'est la raison pour laquelle ils sont disponibles en quantité limitée.Cette thèse vise principalement à réduire ce besoin d'intervention humaine de deux façons : d'une part en réduisant la quantité de corpus annoté nécessaire à l'obtention d'un modèle grâce à des techniques d'apprentissage semi-supervisé (Self-Training, Co-Training et Active-Learning) ; et d'autre part en tirant parti des réponses de l'utilisateur du système pour améliorer le modèle de compréhension.Ce dernier point touche à un second problème rencontré par les systèmes de compréhension automatique de la parole et adressé par cette thèse : le besoin d'adapter régulièrement leurs modèles aux variations de comportement des utilisateurs ou aux modifications de l'offre de services du systèmeTwo wide research fields named Speech Recognition and Machine Learning meet with the Automatic Speech Language Understanding. One of the main problems in this domain is to obtain a sufficient corpus to train an efficient statistical model. Such speech corpora need a lot of human involvement to transcript and semantically annotate them. Their production cost is therefore quite high and they are difficultly available.This thesis mainly aims at reducing the need of human intervention in two ways: firstly, reducing the amount of corpus needed to build a model thanks to some semi-supervised learning methods (Self-Training, Co-Training and Active-Learning); And lastly, using the answers of the system end-user to improve the comprehension model.This last point addresses another problem related to automatic speech understanding systems: the need to adapt their models to the fluctuation of end-user habits or to the modification of the services list offered by the systemAVIGNON-Bib. numérique (840079901) / SudocSudocFranceF

Étude empirique de huit cas d'application de la réalité augmentée spatiale pour la communication événementielle

RÉSUMÉ : Le secteur des Nouvelles Technologies de l’Information et des Communications (NTIC) a créé de nouvelles attentes chez les consommateurs (mobilité, recherche de lien social, besoin de divertissement…) et a profondément bouleversé les schémas de communication traditionnelle. Pour répondre à ces nouvelles problématiques, de nouvelles approches de médiation ont fait leur apparition au sein des agences de communications. Depuis quelques années, l’usage de la Réalité Augmentée Spatiale (RAS), consistant à faire coexister spatialement et temporellement un monde virtuel avec le monde réel pour l'utilisateur placé dans l'environnement de réalité mixte, a permis aux agences de communication de mettre en place un nouveau modèle d’affaires, misant sur la dimension virale qu’ont les réalisations innovantes sur les réseaux sociaux. Certaines vidéos mettant en scène la dimension spectaculaire de la RAS à des fins publicitaires ont ainsi été partagées et visionnées plusieurs millions de fois, permettant de maximiser la diffusion du message publicitaire à moindre coût, grâce au partage des internautes. Le problème soulevé par cette recherche est le manque de littérature opérationnelle concernant ces prestations de services émergents. Les tâches de conception sont nombreuses, contextuelles et interconnectées, et impliquent plusieurs corps de métiers. Aussi, il est difficile de spécifier les fonctions d’usages de l’objet à concevoir principalement à cause de l’absence d’objet préexistant ou de client capable de formuler une demande claire. Il s’agit pour les acteurs de ces projets de conception innovante de créer des environnements de réalité mixte dans un environnement non contrôlé. Dans le cadre d'une communication événementielle nécessitant le développement d'un système de de Réalité Augmentée Spatiale (SRAS), cette recherche a pour objectif de répondre aux questions suivantes : quelles sont les tâches à faire, quelle est la démarche à suivre, à quels types de spécialistes faut-il faire appel, quels sont les outils informatiques à utiliser, et quels défis pratiques se posent? Nous espérons ainsi contribuer à l’amélioration des processus de développement et à la gestion de la connaissance associée à un champ d’applications industrielles émergentes. La méthode retenue pour ce projet de recherche est celle de la Recherche-Action (R-A). Elle a été réalisée dans le cadre d’un partenariat industriel de deux ans avec une agence de communication de nouveaux médias spécialisée dans les installations de projections à grande échelle et les expériences immersives et interactives. Au cours de ces deux années en milieu pratique, nous avons activement collaboré au développement de huit installations de RAS pour des cas de communication événementielle. La première contribution de ce mémoire, à travers la présentation de huit cas de projets industriels d’augmentations spatiales, est de permettre la réutilisation des processus opérationnels mis en place et des solutions techniques développées éprouvées par la pratique. Pour chaque cas, nous explicitons le mandat du commanditaire, le concept et le scénario d’augmentation retenu pour répondre aux besoins d'estime et d'usage, et les stratégies employées pour assurer la cohérence spatiale et temporelle de l'augmentation de la réalité. Ces cas permettront ainsi aux concepteurs d’appréhender les propriétés hédoniques et pragmatiques associées à ces produits émergents et représentent autant de pistes pour relever les défis qui se poseront lors de la conception de nouveaux SRAS. La deuxième contribution de ce mémoire est la proposition d'une démarche de conception et de réalisation dédiée. Pour cela, nous nous sommes basés sur nos expériences pratiques, nos observations et l’analyse du développement de ces huit produits de RAS. Nous explicitons la pluralité des expertises nécessaires, les tâches de conception génériques des différents acteurs et leurs interconnexions. Nous avons formulé des lignes directrices pour les tâches associées à l’augmentation numérique d’un environnement physique en contexte industriel (conception de l’expérience, conception matérielle et logicielle) et pour l’établissement du cadre de référence, permettant de faire le pont entre les dimensions réelle et virtuelle durant le développement. La troisième contribution de ce mémoire est l'analyse comparative de différents processus opérationnels pour la RAS par projection vidéo et des outils informatiques utilisables. Nous en avons utilisé certains pour des besoins réels de projets d’augmentation, ce qui nous a permis d’identifier leurs limites opérationnelles, de les indexer, et de formuler des conseils concernant leur utilisation contextuelle. Ce projet de recherche vise ainsi globalement à regrouper et structurer le savoir-faire technique et méthodique d'experts pionniers de l'usage de la RAS en tant que prestation de service de communication.----------ABSTRACT : The sector of New Technologies of Information and Communications (NICT) has created new expectations among consumers (mobility, social link seeking, entertainment need...) and profoundly disrupted traditional strategies for communication. To meet these new challenges, new approaches have appeared in communications agencies. In recent years, the use of Spatial Augmented Reality (SAR), consisting in overlaying an object or a physical environment with a digital layer of video, enabled agencies to establish a new business model, focusing on the viral dimension of innovative achievements on social networks. Indeed, some videos featuring the spectacular dimension of SAR for advertising purposes have been shared and viewed millions of times, maximizing the dissemination of the advertisement cost. The problem raised by this research is the lack of literature on the operational aspects of those emerging services and the design process of Spatial Augmented Reality Systems (SARS). Tasks are numerous, contextual, interconnected and involve several types of expertise. Our study is intended to help the designers of these projects by structuring the technical and methodical know-how. We hope to contribute to improve the development processes and the knowledge management associated with an emerging field of industrial applications. The method used for this research is Action Research. It was conducted as part of an industrial two-year partnership with a communication agency specializing in new media installations and large-scale projections experiences. During these two years in practice environment, we worked on the development of eight SARS used for event communication cases. The first contribution of this memoir is to present these eight cases of industrial projects to enable the reuse of processes and technical solutions that were developed. We described the mandate of the sponsor, the concept and scenario retained to meet his needs, and the strategies used to ensure spatial and temporal coherence of the augmentation of the reality for the end user. These cases should allow designers to understand the pragmatic and hedonic properties associated with these emerging products and represent examples for facing their own challenges when designing a specific SARS. The second contribution of this memoir is to suggest an approach to design SARS, based on our practical experience, our observations and the iterative development of these eight products. We expose the plurality of expertise that was required, the generic design tasks of the various actors and their interconnections. We have developed guidelines for the design tasks associated with the augmentation of a physical environment in an industrial context (experience design, hardware and software design) and have established a reference framework, building a bridge between the real and virtual dimension during the development of SARS. The third contribution of this memoir is a comparative analysis of different processes for projection mapping and of different computer tools used to fill the needs of this sector. We used some of them in the eight projects, which allowed us to identify their operational limits and give advice on their contextual uses

Définition d'un langage et d'une méthode pour la description et la spécification d'IHM post-W.I.M.P. pour les cockpits interactifs

Avec l'apparition de nouvelles technologies comme l'iPad, etc., nous rencontrons dans les logiciels grand public des interfaces de plus en plus riches et innovantes. Ces innovations portent à la fois sur la gestion des entrées (e. g. écrans multi-touch) et sur la gestion des sorties (e.g. affichage). Ces interfaces sont catégorisées de type post-WIMP et permettent d'accroitre la bande passante entre l'utilisateur et le système qu'il manipule. Plus précisément elles permettent à l'utilisateur de fournir plus rapidement des commandes au système et au système de présenter plus d'informations à l'utilisateur lui permettant par là-même de superviser des systèmes de complexité accrue. L'adoption par le grand public et le niveau de maturité de ces technos permet d'envisager leur intégration dans les systèmes critiques (comme les cockpits ou de façon plus générale les systèmes de commande et contrôle). Toutefois les aspects logiciels liés à ces technologies sont loin d'être maîtrisés comme le démontrent les nombreux dysfonctionnements rencontrés par leurs utilisateurs. Alors que ces derniers peuvent être tolérés pour des applications de jeux ou de divertissement elles ne sont pas acceptables dans le domaine des systèmes critiques présentés précédemment. La problématique de cette thèse porte précisément sur le développement de méthodes, langages, techniques et outils pour la conception et le développement de systèmes interactifs innovants et fiables. La contribution de cette thèse porte sur l'extension d'une notation formelle : ICO (Objets Coopératifs Interactifs) pour décrire de manières exhaustive et non ambiguë les techniques d'interactions multi-touch et la démonstrabilité de son application dans le cadre des applications multi-touch civils. Nous proposons en plus de cette notation, une méthode pour la conception et la validation de systèmes interactifs offrants des interactions multi-touch à leurs utilisateurs. Le fonctionnement de ces systèmes interactifs est basé sur une architecture générique permettant une structuration des modèles allant de la partie matérielle des périphériques d'entrées jusqu' à la partie applicative pour la commande et le contrôle de ces systèmes. Cet ensemble de contribution est appliqué sur un ensemble d'étude de ca dont la plus significative est une application de gestion météo pour un avion civil.With the advent of new technologies such as the iPad, general public software feature richer and more innovative interfaces. These innovations are both on the input layer (e.g. multi-touch screens) and on the output layer (e.g. display). These interfaces are categorized as post-W.I.M.P. type and allow to increase the bandwidth between the user and the system he manipulates. Specifically it allows the user to more quickly deliver commands to the system and the system to present more information to the user enabling him managing increasingly complex systems. The large use in the general public and the level of maturity of these technologies allows to consider their integration in critical systems (such as cockpits or more generally control and command systems). However, the software issues related to these technologies are far from being resolved judging by the many problems encountered by users. While the latter may be tolerated for gaming applications and entertainment, it is not acceptable in the field of critical systems described above. The problem of this thesis focuses specifically on the development of methods, languages, techniques and tools for the design and development of innovative and reliable interactive systems. The contribution of this thesis is the extension of a formal notation: ICO (Interactive Cooperative Object) to describe in a complete and unambiguous way multi-touch interaction techniques and is applied in the context of multi-touch applications for civilians aircrafts. We provide in addition to this notation, a method for the design and validation of interactive systems featuring multi-touch interactions. The mechanisms of these interactive systems are based on a generic architecture structuring models from the hardware part of the input devices up to the application part for the control and monitoring of these systems. This set of contribution is applied on a set of case studies, the most significant being an application for weather management in civilian aircrafts