Couplage de techniques d'interaction avancées avec des environnements virtuels 3D interactifs

The work of this thesis fit on the boundary between two complementary research areas: the field of 3D Virtual Environment (3DVE) from Computer Graphics (CG) and Virtual Reality (RV) and the field of Human-Computer Interaction (HCI). They rely on three assessments. Firstly, we observe that 3DVE takes more importance in our daily life (video games, serious games, e-commerce, museums, through the web and on mobile devices). Secondly, HCI becomes more complex with the emergence of advance forms of interaction like ambient computing, tangible interaction or spatial and gestural interactions. This evolution goes along with a diversification of devices (3D mouse, the Wiimote, the Kinect or the Leap Motion). Thirdly, the design of interaction techniques with 3DVE brings up some different considerations taken into account by the communities in the field of 3DVE and HCI. Therefore, take advantage of the latest considerations of EV3D communities (metaphors, quality of 3D interaction) and HCI (advance forms of interaction) results in the need to develop the coupling between advance forms of interaction techniques and EV3D. In this context, the objective of this thesis work is to contribute to the development of interactive 3D environments in multiple situations, including large audience situations. The approach we developed aimed to create a bridge between 3D and HCI design considerations. We intend to improve the coupling of advance interaction techniques with interactive 3D virtual environment. After analyzing methods for the design of interaction techniques for 3DVE, a first contribution consists in a design framework of 3D interaction. This framework aggregates design issues stem from 3D and HCI and help the designer to identify several elements involve in the coupling of interaction with a 3DVE. This design framework is based on the analysis of the links between user tasks and elements of the 3DVE impacted by these tasks. In order to precisely characterize each link, we have introduced the 3DIM (3D Interaction Modality) notation that describes the characteristics of the different elements constituting a "3D Interaction Modality" for the accomplishment of a user's interaction task in a 3DVE. We have grouped these elements into six blocks: the user, the physical actions, the physical objects, the input devices, the 3D behaviors and the 3D interactive objects. We complete our framework with analytical properties for guiding the designer and provide descriptive, evaluative and generative power at our conceptual model of advanced interaction techniques for 3DVE. Collaborating with the Museum of "Le Pic du Midi" observatory in France, we used our framework to design and implement tangible interaction and technique based on smartphone usage. Museum visitors can use these techniques in a 3DVE of the "Telescope Bernard Lyot" to explore and understand its functioning. We have conducted three users' studies in order to explore the design space of using a smartphone to interact with 3DVE. We used the smartphone in different ways to navigate, select and manipulate a 3D object displayed on a large remote screen. We explored several design solutions with a smartphone as a touch device, as a tangible object or mid-air interaction around the device.Les travaux de cette thèse s'inscrivent à la frontière entre deux domaines de recherche complémentaires : le domaine des Environnements Virtuels 3D (EV3D) issus de l'Informatique Graphique (IG) et de la Réalité Virtuelle (RV) et le domaine de l'Interaction Homme-Machine (IHM). Ils s'appuient sur trois constats. D'une part, on observe une place grandissante des EV3D dans notre quotidien (jeux vidéo, jeux sérieux, e-commerce, dans les musées, à travers le web et sur les dispositifs mobiles). D'autre part, les IHM se complexifient notamment avec l'apparition de formes avancées d'interaction comme l'informatique ambiante, l'interaction tangible, ou encore l'interaction spatiale et gestuelle, et s'accompagne d'une diversification des dispositifs d'interaction (souris 3D, la Wiimote, la Kinect, le Leap Motion). Enfin, la conception de techniques d'interaction avancées avec des EV3D fait apparaitre des considérations différentes prises en compte par les communautés des domaines EV3D et IHM. Par conséquent, tirer profit des considérations les plus récentes des communautés EV3D (métaphores, qualité de l'interaction 3D) et IHM (formes avancées de technique d'interaction) se traduit par un besoin de développer le couplage entre formes avancées de technique d'interaction et EV3D. Dans ce contexte, l'objectif de ces travaux de thèse est de contribuer à l'essor des environnements 3D interactifs dans de multiples situations, et notamment des situations grand public, en adoptant une approche visant à faire converger les approches 3D et IHM pour mieux établir le couplage de Techniques d'Interaction Avancées avec des Environnements Virtuels 3D Interactifs. Après une analyse des méthodes de conception de techniques d'interaction pour les EV3D, une première contribution de nos travaux consiste en un cadre de conception de l'interaction 3D. En y agrégeant les problématiques issues de la 3D et de l'IHM, ce cadre de conception permet d'identifier les différents éléments de couplages impliqués lors d'une interaction avec un EV3D. Il se base sur l'analyse des liens entre les tâches utilisateurs et les éléments de l'EV3D impactés par ces tâches. Afin de caractériser finement chaque lien, nous avons introduit la notation 3DIM (3D Interaction Modality) qui décrit les caractéristiques des différents éléments constituant une " modalité d'interaction 3D " permettant la réalisation d'une tâche d'interaction de l'utilisateur dans un EV3D. Nous avons regroupé ces éléments en 6 blocs : l'utilisateur, les actions physiques, les objets physiques manipulés, les dispositifs utilisés, les comportements 3D et les éléments 3D. Nous complétons ce cadre conceptuel par des propriétés analytiques qui permettent de guider le concepteur et procurent ainsi un caractère descriptif, évaluatif et génératif à notre modèle conceptuel de techniques d'interaction avancées pour des EV3D. Dans la cadre d'une collaboration avec le musée de l'observatoire du Pic du Midi, une mise en œuvre de ce cadre nous a conduit à concevoir et développer des techniques d'interaction tangibles et basées smartphone. Ces techniques sont utilisées par les visiteurs du musée dans un EV3D représentatif du Télescope Bernard Lyot pour l'explorer et comprendre son fonctionnement. Nous avons mené trois évaluations utilisateur afin d'explorer l'usage d'un smartphone utilisé de trois manière différentes : comme dispositif tactile, comme un objet tangible ou comme support pour une interaction gestuelle autour du dispositif pour naviguer, sélectionner ou manipuler un objet 3D dans un EV3D affiché sur un grand écran distant

E-Science, perspectives et opportunités pour de nouvelles pratiques de la recherche en informatique et mathématiques appliquées

La gestion et les usages de la documentation scientifique ont connu ces dernières années de nombreux bouleversements voire mutations liés au développement d'Internet. L'essor des bibliothèques numériques et des archives ouvertes a redéfini le champ d'action des professionnels de l'information scientifique et technique désormais amenés à gérer des espaces virtuels de partage et de diffusion de la production des chercheurs. Cette redéfinition du métier va de pair avec l'évolution toujours plus rapide des méthodes de recherche scientifique. Le développement des technologies de l'information et de la communication et la nécessité constante de visibilité ont considérablement encouragé les chercheurs à investir les nouveaux outils offerts par le web (blogs, wikis, réseaux sociaux, forges, open access ...). Parallèlement, les nouveaux équipements scientifiques permettent des expériences inédites qui entraînent de fait un véritable " déluge " de données qu'il s'agit maintenant de partager et d'exploiter. Depuis le début des années 2000, on a pu voir émerger dans la littérature scientifique un nouveau concept : celui de " e-science ". Ce terme désigne les infrastructures de partage et d'exploitation in silico des données de la recherche, et de communication quasi immédiate au sein de communautés virtuelles permises par les nouveaux outils d'internet. Cette notion est riche de promesses pour le secteur de recherche MSTIC, mais soulève aussi des questions par la remise en question des pratiques existantes (notamment pour la propriété intellectuelle, la pérennisation des infrastructures, etc.). C'est par l'écoute des besoins et une observation des pratiques qu'une unité de service telle que MI²S pourra répondre aux mieux aux nouveaux défis que soulève ce nouveau paradigme de recherche et proposer une infrastructure e-science à la communauté qu'elle dessert

Génération d'ombres floues provenant de sources de lumière surfaciques à l'aide de tampons d'ombre étendus

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal

Méthodes In-Situ et In-Transit : vers un continuum entre les applications interactives et offline à grande échelle.

Parallel simulation has become a very useful tool in various scientific areas. In order to perform such simulations, large parallel machines are required. The computational power of these machine continues to grow, allowing scientists to construct larger and larger models. However, the I/O systems, used to store the data produced by simulation, have not improved at the same pace. Currently, it is already difficult for scientist to store all the accumulated data and to have enough computational power later on to process them. Yet, these data are the key toward major scientific discoveries.In-situ treatments are a promising solution to this problem. The idea is to analyze the data while the simulation is still running and the data are still living in memory. This approach allows avoiding the I/O bottleneck as well as taking benefit of the computational power provided by a supercomputer to perform the analysis. In this thesis, we propose to use the data flow paradigm to construct complex asynchronous in-situ applications. We use the middleware FlowVR to couple heterogeneous parallel codes and to form a graph. Our approach provides enough flexibility to facilitate various placement strategies for the analytics in order to minimize their impact on the simulation. We applied our approach exemplarily to a well-known software from the field of molecular dynamics, Gromacs. With of the of biology experts, we designed several realistic scenarios in which we evaluated both the flexibility of our approach and the capability of our infrastructure to support each step of the biologists' analysis workflow.Les simulations parallèles sont devenues des outils indispensables dans de nombreux domaines scientifiques. La puissance de calcul de ces machines n'a cessé de monter permettant ainsi le traitement de simulations de plus en plus imposantes. En revanche, les systèmes d'I/O nécessaires à la sauvegarde des données produites par les simulations ont suivit une croissance beaucoup plus faible. Actuellement déjà, il est difficile pour les scientifiques de sauvegarder l'ensemble des données désirées et d'avoir suffisamment de puissance de calcul pour les analyser par la suite. Ces données sont pourtant une des clés vers des découvertes scientifiques majeures. Les traitements in-situ sont une solution prometteuse à ce problème. Le principe est d'effectuer des analyses alors que la simulation est en cours d'exécution et que les données sont encore en mémoire. Cette approche permet d'une part d'éviter le goulot d'étranglement au niveau des I/O mais aussi de profiter de la puissance de calcul offerte par les machines parallèles pour effectuer des traitements lourds. Dans cette thèse, nous proposons d'utiliser le paradigme du dataflow pour permettre la construction d'applications in-situ complexes asynchrones. Pour cela, nous utilisons l'intergiciel FlowVR permettant de coupler des codes parallèles hétérogènes en formant un graphe. Nous proposons une approche avec suffisamment de flexibilité pour permettre plusieurs stratégies de placement des processus d'analyses que cela soit sur les nœuds de la simulation, sur des cœurs dédiés ou des nœuds dédiés. De plus, les traitements in-situ peuvent être exécutés de manière asynchrone permettant ainsi un faible impact sur les performances de la simulation. Pour démontrer la flexibilité de notre approche, nous nous sommes intéressés au cas à la dynamique moléculaire et plus particulièrement Gromacs, un code de simulation de dynamique moléculaire couramment utilisé par les biologistes pouvant passer à l'échelle sur plusieurs milliers de coeurs. En étroite collaboration avec des experts du domaine biologique, nous avons construit plusieurs applications pour évaluer les performances et la flexibilité de notre approche

Accélération matérielle pour l’imagerie sismique : modélisation, migration et interprétation

During the seismic imaging workflow, from seismic modeling to interpretation, processingseismic data requires a massive amount of computation. We show in this work that, at eachstage of this workflow, hardware accelerators such as GPUs may help reducing the time requiredto process seismic data while staying at reasonable energy consumption levels.In this work, the key programming considerations needed to achieve good performance are describedand discussed. The importance of adapted in-memory data access patterns is particularlyemphasised since data access is the main bottleneck for the considered algorithms. When usingGPUs, speedup ratios of 40× are achieved for FDTD seismic modeling, and 8× up to 113× forseismic attribute computation compared to CPUs.La donnée sismique depuis sa conception (modélisation d’acquisitions sismiques), dans sa phase de traitement (prétraitement et migration) et jusqu’à son exploitation pour en extraire les informations géologiques pertinentes nécessaires à l’identification et l’exploitation optimale des réservoirs d’hydrocarbures (interprétation), génère un volume important de calculs. Nous montrons dans ce travail de thèse qu’à chacune de ces étapes l’utilisation de technologies accélératrices de type GPGPU permet de réduire radicalement les temps de calcul tout en restant dans une enveloppe de consommation électrique raisonnable. Nous présentons et analysons les éléments sous-jacents à ces performances. L’importance de l’utilisation de motifs d’accès mémoire adéquats est particulièrement mise en exergue étant donné que l’accès à la mémoire représente le principal goulot d’étranglement pour les algorithmes abordés. Nous reportons des facteurs d’accélération de l’ordre de 40 pour la modélisation sismique par résolution de l’équation d’onde par différences finies (brique de base pour la modélisation et l’imagerie sismique) et entre 8 et 113 pour le calcul d’attributs sismiques. Nous démontrons que l’utilisation d’accélérateurs matériels élargit considérablement le champ du possible, aussi bien en imagerie sismique (modélisation de nouveaux types d’acquisitions à grande échelle) qu’en interprétation (calcul d’attributs complexes sur station de travail, paramétrage interactif des calculs, etc.)

Visualisation en imagerie par résonance magnétique de diffusion : tractographie en temps réel des fibres de la matière blanche du cerveau

L'imagerie par résonance magnétique de diffusion est une technique non-invasive permettant de mesurer la diffusion des molécules d'eau selon plusieurs directions. Le résultat d'une telle acquisition contient de l'information implicite sur les structures microbiologiques qui composent le cerveau humain. La tractographie consiste à déterminer et visualiser, en trois dimensions, l'ensemble des connections neuronales de la matière blanche du cerveau en suivant la diffusion préférentielle de l'eau présente en chaque voxel. Les fibres de la matière blanche sont responsables de connecter les différentes aires fonctionnelles du cerveau entre-elles. En présence d'une tumeur, elles peuvent se réorganiser de multiples façons et refaire des connections pour assurer le suivi des fonctions importantes. L'imagerie du câblage cérébral est utilisée lors d'interventions neurochirurgicales afin d'aider le neurochirurgien à planifier son angle d'attaque pour réséquer le maximum de la tumeur sans léser la fonction du patient. La tractographie prend donc tout son sens pour le neurochirurgien avant et pendant l'opération. Dans ce mémoire, il sera question de tractographie en temps réel. La plupart des algorithmes de tractographie utilisent des paramètres fixes et prédéfinis pour l'ensemble du cerveau. Nous croyons que ces paramètres devraient être accessibles et modifiables afin de voir l'impact que ceux-ci ont sur la reconstruction des connections cérébrales. Nous proposons une méthode de visualisation de fibres en temps réel, permettant de calculer et d'afficher instantanément le résultat d'un nouvel algorithme de tractographie qui sera confronté aux méthodes existantes. Le nouveau module permet d'effectuer la tractographie des fibres de la matière blanche de manière interactive en offrant la possibilité d'ajuster les paramètres impliqués dans le processus de tractographie. Il a notamment été introduit plus d'une vingtaine de fois lors d'interventions neurochirurgicales au Centre Hospitalier Universitaire de Sherbrooke, grâce à la supervision du Dr. David Fortin. La tractographie en temps réel a changé la manière dont les données sont préparées en vue d'une intervention en bloc opératoire. Dans un contexte où le temps entre le traitement des données et l'intervention chirurgicale est une contrainte majeure, l'élimination de l'étape de tractographie du processus de prétraitement est un avantage non-négligeable

Paramètres de fabrication additive métallique arc-fil : vers un modèle d’aide à la décision

Pour contribuer à l’intégration industrielle des procédés de fabrication additive métallique, la maitrise des performances relatives à la qualité des pièces produites et relatives au procédé de fabrication est impérative. Cet article propose un cadre méthodologique outillé pour faciliter la mise en œuvre de ces technologies via le choix de paramètres de fabrication pertinents. Il combine un algorithme génétique, adapté à l’optimisation de paramètres de fabrication, le Nondominated Sorting Genetic Algorithm II (NSGA II) à un algorithme de classement multicritères permettant ainsi une interaction avec le décideur, une puissance de calcul élevée et une simplicité d’utilisation pour le décideur. Le modèle proposé a été développé pour l’optimisation des paramètres de fabrication du procédé additif arc-fil (Wire Arc Additive Manufacturing - WAAM) en fonction de critères mécaniques (force maximale admissible et précision dimensionnelle) et industriels (coût et impact environnemental). Ce modèle vise à participer à l’industrialisation des procédés dits de dépôt de matière sous flux d’énergie dirigé (Directed Energy Deposition – DED). Ainsi, il a été conçu pour être applicable à des cas d’études variés intégrant diverses géométries, matériaux et procédés DED.Directed Energy Deposition (DED) processes are not widely used in industry. To contribute to their integration, it appears essential to handle both the quality of the produced parts and the sustainability of the manufacturing process. This paper presents a methodological framework to support the implementation of these technologies through the choice of relevant manufacturing parameters according to the targeted performances. It combines a genetic algorithm, suited to the optimisation of manufacturing parameters, the Nondominated Sorting Genetic Algorithm II (NSGA II) with a multi-criteria ranking algorithm. Thus, it brings the necessary interaction with the decision-maker, a high computational power and a simplicity of use for the decision maker. The proposed model has been developed for the optimisation of manufacturing parameters of the Wire Arc Additive Manufacturing (WAAM) process according to both mechanical characteristics (load bearing capacity and dimensional accuracy) and industrial criteria (cost and environmental impact). As this model aims to participate to the industrialisation of DED processes, it has therefore been designed to be transferable to a broad range of cases integrating various geometries, materials and DED processes

Design d'expérimentation interactif : aide à la compréhension de systèmes complexes

Ce mémoire propose des outils de design d'expérimentations ayant pour but d'aider un analyste dans son investigation d'un système complexe. Les méthodes présentées se divisent en trois groupes, l'exploration, l'optimisation et l'approximation. Les trois ensembles répondent chacun à un besoin particulier lors de l'analyse de système complexe. L'exploration permet de disperser uniformément une collection d'expériences dans l'espace des paramètres du problème. L'optimisation, pour sa part, donne la possibilité de trouver les combinaisons de paramètres optimales du problème. L'approximation, quant à elle, octroie la possibilité d'estimer le résultat de combinaisons de facteurs dont la réponse est inconnue ou difficile à obtenir. Mises ensemble, ces méthodes forment le design d'expérimentation interactif. Elles permettent à un analyste d'obtenir, par le biais de méthodes éprouvées, une information détaillée sur le système étudié

Nouvelles techniques d'interaction pour les dispositifs miniaturisés de l'informatique mobile

Thanks to the availability of powerful miniaturized electronic coponents, this last decade have seen the popularization of small mobile devices such as smartphones, and even smaller devices for wearable computing. These new devices bring new interaction problems, such as the small size of the screen and the "fat-finger" problem (a relatively large portion of the sreen is occluded and pointing lacks precision). the objective of the work reported here is twofold : 1) to aquire a better understanding of pointing on small devices, thanks to an advanced study of Fitts' law, 2) to design new interaction techniques for increasing the interaction bandwidth between the user and the device.Du fait de la disponibilité de capteurs éléctroniques de plus en plus puissant, la dernière décennie a vu la popularisation de nouveaux dispositifs mobiles, comme les téléphones intelligents (smartphone), et même des dispositifs miniatures comme ceux de l'informatique portée. Ces nouveaux dispositifs apportent de nouveaux problèmes interactionnels, du fait de la petite taille de l'écran et du problème du "fat-finger" (lors de l'interaction, une large portion de l'écran se retrouve occultée par le doigt, et les tâches de pointage perdent en précision. L'objectif de ce travail est double : 1) d'acquérir une meilleure compréhension du pointage sur les petits dispositifs mobiles, grâce à une étude poussée de la loi Fitts, 2) de créer de nouvelles techniques d'interaction afin d'augmenter la bande passante interactionnelle entre l'utilisateur et le dispositi