Technologies logicielles de la modélisation, de la simulation et de l'interaction multisensorielles instrumentales pour la création

The presented works have firstly questioned the possible inter-relations between physics-based modelling and simulation on the one hand, and creation and creativity on the other. More specifically, the possibility and fundamental interests of rooting creative activities onto physics-based modelling have been considered.This theme was approached from a Computer Sciences perspective, through the invention and the design of a new family of software environments aimed at creation with masses-interactions physics-based networks. In particular: GENESIS for musical creation, and MIMESIS for movement and computer graphics animation.These software environments empower the artist with innovative and complete creation processes, centred on physical modelling activities.Each and all of these environments are characterized by a specific “software environment paradigm”: dedicated features, software architecture specificities, adequate and necessary human-computer interaction means (interfaces and languages), and particular usage protocols (in our case: modelling and creative processes).These elements have been situated in the scientific and technological history of computer creation tools, and in the state of the art of the various concerned scientific domains. This work has in particular led to analysing the properties of masses-interactions physical networks (modularity, generic potential, calculability, usability, …), in relation with other categories of algorithms, models and formalisms used nowadays to address human sensori-motor skills. It also accompanied the demonstration that the building of physical models by an artist can be deeply relevant. This relevance lies in the qualities of the phenomena that are finally generated, but also, which is more original, and probably more essential, in the modelling/creation processes themselves.Finally, the works have been extended to various other axes: contributions to synchronous real-time simulation architecture and software for multisensory interaction, including force-feedback, sound, and image, by means of physics-based simulation; experimental modelling works; contributions to the evolutions of the formal basis of the physics networks paradigm; contributions to graphical representation of punctual movements, etc.These past works and the achieved results altogether lead to introduce new research perspectives, which we name software technologies of multisensory instrumental interaction, with, as a far end view, the foundation of a new “science of the multisensory computer” and the possibility of a “multisensory art”.Les travaux présentés ont été pour l’essentiel traversés par un questionnement sur les relations liant modélisation et simulation physiques et création ou, plus spécifiquement, sur la possibilité et l’intérêt fondamental d’appuyer une activité de création sur la modélisation. Ce thème a été abordé sous l’angle de l’informatique appliquée (en anglais, les « computer sciences »), au moyen de l’invention et de la réalisation d’une nouvelle famille d’environnements logiciels pour la création avec les réseaux physiques masses-interactions, dont en particulier les modeleurs-simulateurs GENESIS pour la création musicale, puis MIMESIS pour la création du mouvement et l’image animée. Ces environnements permettent à l’artiste d’organiser des processus de création complets et novateurs, fondés sur l’activité de modélisation physique.Ils sont chacun, et dans leur ensemble, caractérisés par un paradigme d’environnement logiciel nouveau : des fonctionnalités, des caractéristiques en matière d’architecture logicielle, des ergonomies nécessaires, adéquates et spécifiques, ainsi que des protocoles d’utilisation – ici des processus de modélisation et de création – qui leur sont propres. Ces propriétés ont été situées dans l’histoire scientifique et technologique des outils de création et dans les états de l’art des communautés scientifiques concernées. Ce travail a notamment donné lieu à une étude des propriétés des réseaux physiques masses-interactions (généricité, modularité, calculabilité, utilisabilité, généralité...) en vis-à-vis des catégories d’algorithmes, modèles et formalismes utilisés pour adresser la sensori-motricité humaine. Il s’est de plus accompagné d’une analyse du fait que l’activité de construction de modèles physiques peut présenter une pertinence profonde pour l’artiste – pertinence qui se joue non seulement dans les qualités des phénomènes générés, mais encore, de façon plus originale et peut-être plus essentielle, dans le processus de modélisation/création lui-même.Enfin, les travaux se sont étendus à plusieurs autres axes d’études : contributions aux logiciels de simulation temps réel pour l’interaction multisensorielle incluant le retour d’effort, le son et l’image, au moyen de la simulation physique ; travaux expérimentaux en modélisation ; contributions à l’amélioration du cadre formel des réseaux physiques masses-interactions ; contributions aux procédés de mise en forme visuelle de mouvements ponctuels ; travaux de positionnement théorique ; etc.L’expérience et les résultats acquis conduisent à introduire de nouvelles perspectives de recherche, sous le fil conducteur des technologies logicielles de l’interaction multisensorielle instrumentale, avec en ligne de mire la fondation d’une « science de l’ordinateur multisensoriel » et la possibilité d’un « art multisensoriel »

Technologies de la Simulation Interactive de Modèles Physiques Multisensoriels

This thesis presents my research activity on multisensory interactive simulation (gesture, sound and image), in technological and conceptual aspects. This interdisciplinary research concerns three fields : 1/ physical modeling for simulation, 2/ hardware and software architectures for real time computation, 3/ interactive gestural interfaces (with force feedback). Work done in these three fields is presented chronologically.Ce mémoire présente mon activité de recherche sur la simulation interactive multisensorielle (geste, son et image), dans ses aspects technologiques et conceptuels. C’est une recherche interdisciplinaire qui concerne trois domaines : 1/ modélisation physique pour la simulation, 2/ architectures matérielles et logicielles pour le calcul temps réel, 3/ interfaces gestuelles interactives (à « retour d’effort »). Les travaux effectués dans ces trois domaines sont exposés de manière chronologique

”Haptic Processor Unit” : vers une Plate-Forme Transportable pour la Simulation Temps-Réel Synchrone Multisensorielle

This work is related to the field of Human-Computer Interaction, and particularly to the field of multisensory instrumental simulation, as conceptualized by the research group ACROE & ICA, and which needs a strong coupling between the human and the instrument.The first part of this thesis presents various degrees of the integration of gesture in computer uses, then develops a functional approach of force feedback technologies. This analysis elicits the mainstreams that are currently sharing the field of haptics research. We then present a study of the hardware and software components that are used in haptic simulation, and the various approaches used to connect a force feedback device to a real time modelling system. The analysis of the role of each of the components in the simulation chain and their relationships allowed us to conceptualize the “Haptic Processor Unit”. This component guarantees in particular the conditions of reactivity that are required for multisensory simulation. The new simulation architecture that we designed in this work, named ERGON_X, implements the concept of HPU. ERGON_X is a compact and transportable simulator, and handles simulation frequencies up to 44 100Hz. The third part presents the validation of the simulation platform ERGON_X. It mainly focuses on the design of new models, which were used in the framework of the research carried on by ACROE & ICA about instrumental interaction. The “E” is a model demonstrating the capabilities of the ERGOS technology, which is now fully exploitable thanks to this new simulation architecture. The models of tapping and of deformable paste allowed us to bring new results on human-object interaction, and validate the simulator as a tool for psychophysical experimentation. The Enactive Emblematic Scenarii “Ergotic Sounds” and “Pebble Box” illustrate the conception of Enaction. They validate the use of our simulation architecture as an experimental platform and lead us to a paradigm shift from “instrumental interaction” to “enactive interaction”Ce travail se situe dans le domaine de l’Interaction Personne-Système, et plus particulièrement dans celui de la simulation instrumentale multisensorielle telle que conceptualisée par le groupe de recherche ACROE & ICA, qui nécessite un couplage fort homme-instrument.La première partie de cette thèse présente les différents degrés d’intégration du geste dans l’ordinateur, puis propose une approche fonctionnelle des technologies pour le retour d’effort. Nous dégageons de cette analyse les grandes approches qui se partagent actuellement le champ de la recherche « haptique ».Nous présentons ensuite une étude sur les différents composants matériels et logiciels nécessaires à la chaîne de simulation haptique, ainsi que les différentes approches utilisées pour connecter un système à retour d’effort à un processus de simulation en temps réel. L’analyse du rôle des composants de la chaîne de simulation et de leurs relations permet de formaliser le concept de « Haptic Processor Unit ». Ce composant permet en particulier de garantir les conditions de réactivité propres à la simulation multisensorielle. La nouvelle architecture de simulation multisensorielle que nous avons réalisée, ERGON_X, met en œuvre le concept de HPU.ERGON_X est un simulateur compact et transportable, et permet d’utiliser des fréquences de simulation jusqu’à 44 100Hz. La dernière partie présente la validation de la plate-forme de simulation ERGON_X. Elle est essentiellement orientée vers l’implantation de nouveaux modèles, utilisés dans le cadre d’un travail de recherche sur la situation instrumentale médiatisée. Le « E » est un modèle de démonstration des performances de la technologie ERGOS que la nouvelle architecture de simulation permet d’exploiter pleinement. Les modèles de tapping (percussion) et de pâtes déformables ont permis d’avancer des résultatssur l’interaction homme-objet, et valident le simulateur comme un outil pour l’expérimentation psychophysique. Les Enactive Emblematic Scenarii « Ergotic Sounds » (frottement d’archet) et « Pebble Box » (la boîte à cailloux) sont des illustrations du concept de l’Enaction. Elles valident l’utilisation de l’architecture de simulation comme une plate-forme pour l’expérimentation et ouvrent de nouvelles perspectives de recherche sur l’enaction et la notion de présence en simulation interactive

MIMESIS, un environnement de conception et de simulation de modèles physiques particulaires masses-interactions CORDIS-ANIMA pour l'animation : du mouvement généré à l'image du mouvement

This thesis deals with the design of a computer framework dedicaced to animation by the physical mass-interaction CORDIS-ANIMA networks. Genericity and modularity of CORDIS-ANIMA having been still largely proved, the design and the implementation of such framework have to face with other theorical and practical problems that are discussed here in order to include every function that are required for an interactive creation of models and the communication inside a global chain of production of animated pictures. This thesis ends on the report of various situation of use in pedagogical, research and creation contexts.Cette thèse a pour objet la conception d’un environnement pour l’animation à l’aide de réseaux masses–interactions CORDIS-ANIMA. La généricité et la modularité de CORDIS-ANIMA ayant largement prouvé leur intérêt pour l’animation depuis 25 ans, la conception et l’implantation d’un environnement de conception de tels modèles doivent faire face à d’autres problématiques théoriques et pratiques qui seront discutées dans ce manuscrit, dans le but d’inclure dans cet environnement toutes les fonctionnalités requises pour une création interactive de modèles de mouvement et leur insertion dans une chaîne globale de production d’images animées. Cette thèse se terminera par le compte-rendu de situations d’utilisation dans un cadre pédagogique, de recherche et de création

Vers des environnements virtuels plus écologiques : étude des modifications du comportement moteur en réalité virtuelle lors de l'ajout d'informations haptiques par un mécanisme parallèle entraîné par câbles

Introduction : Les nouvelles technologies qui permettent de capter et d’analyser les mouvements des utilisateurs ne cessent de se développer et représentent un potentiel intéressant dans le domaine de la santé. Grâce à l’essor de ces nouvelles technologies, des systèmes de réalité virtuelle (RV) clefs en main intègrent les services de réadaptation, et les études démontrent leur capacité à optimiser la rééducation motrice et l’évaluation des clients présentant des troubles du contrôle moteur. Le marché de la RV est ainsi en pleine expansion, et l’ajout d’informations haptiques permettant de modéliser les caractéristiques physiques des entités virtuelles représente un intérêt considérable pour améliorer l’écologie des environnements virtuels (EVs) et le transfert des apprentissages aux activités quotidiennes. Toutefois, l’effet de l’ajout de ces informations sur le comportement moteur des sujets demeure très peu connu. L’objectif principal de cette thèse était ainsi d’évaluer l’impact de l’ajout d’informations haptiques, par un mécanisme parallèle entrainé par câbles (robot à câbles), sur le contrôle moteur de sujets sains, lors de la réalisation de tâches complexes et fonctionnelles dans des EVs. Les deux hypothèses principales étaient que cet ajout améliore le contrôle du mouvement lors de tâche de manutention d’objet ayant des contraintes environnementales statiques, et modifie les stratégies locomotrices proactives en présence de contraintes dynamiques. Méthode : Le comportement moteur de participants sains a été analysé lors de la réalisation de deux tâches. En premier lieu, une tâche de manutention de caisse nécessitant la préhension et le déplacement d’une caisse à partir d’une posture debout a été étudiée. Celle-ci a été réalisée dans un environnement réel et dans des EVs, en absence et en présence d’informations haptiques, relatives aux contraintes physiques de l’étagère et de la caisse manipulée, fournies grâce à un robot à câbles (Chapitre 3, N=12). En second lieu, une tâche nécessitant l’évitement d’avatars au cours de la marche sur un tapis roulant a été réalisée en présence et en absence de risque de contact physique avec les avatars, délivré par un robot à câbles (Chapitre 4, N=10). Les EVs étaient vus au travers d’un visiocasque. Résultats : La première étude a démontré une amélioration des paramètres spatiaux du mouvement réalisé dans l’EV en présente d’informations haptiques, au cours des différentes phases de la tâche de manutention (préhension, montée et descente de la caisse). L’organisation spatiale du mouvement était ainsi plus similaire à ce qui était observé dans un environnement réel, avec un meilleur respect des contraintes environnementales (éloignement plus important de la caisse avec l’étagère, trajectoire plus longue). De plus, le contrôle du mouvement était influencé par la demande de précision requise pour ne pas toucher les étagères en présence d’informations haptiques uniquement. La deuxième étude a démontré la mise en place de stratégies motrices plus précautionneuses pour éviter les avatars lors de l’ajout d’informations haptiques. Les participants tendaient à anticiper plus précocement l’évitement des avatars. Ils maintenaient une distance minimale plus importante avec les avatars et conservaient un espace péripersonnel plus large, indépendamment de l’angle d’approche de l’avatar. Conclusion : L’ajout d’informations haptiques dans les EVs impacte les stratégies motrices proactives des participants sains aussi bien lors de la tâche de manutention de caisse que de locomotion avec évitement d’avatars. Les résultats suggèrent que l’ajout d’informations haptiques favorise la prise en compte des entités virtuelles lors de la planification mouvement. Ces informations haptiques imposent en effet des restrictions plus réalistes dans les possibilités d’actions fournies par les EVs, et modifient probablement l’évaluation des conséquences que représente le contact avec les entités virtuelles. Il serait pertinent de poursuivre l’étude de l’influence de ces informations afin de proposer à des clients ayant des déficiences motrices des environnements encore plus écologiques, qui favorisent l’évaluation et la prise en compte des risques implicites que représentent les entités environnementales.Introduction: New technologies that capture and analyze user movement are constantly developing and represent a great potential in healthcare. Thanks to the recent technological advances, turnkey virtual reality (VR) systems are progressively integrated into the rehabilitation setting, and studies have demonstrated their ability to optimise sensorimotor rehabilitation and clinical assessment of people with motor control disorders. The market for VR is growing and adding haptic feedback that provides physical characteristics to virtual entities represents a great potential to improve the ecological validity of virtual environments (VE) and to the transfer of learning to daily tasks. However, the impact that adding haptic feedback has on motor behavior remains poorly understood. The main objective of this thesis was to assess the impact of adding haptic feedback, using a novel cable-driven parallel robot, on the motor control of healthy participants during complex, functional tasks in VEs. The two mains hypotheses were that haptic feedback improves motor control during a handling task with static environmental constraints and modifies proactive locomotor strategies in the presence of dynamic constraints. Method: The motor behavior of healthy participants was analysed during two tasks. First, a manual handling task was studied during which participants grasped and moved a crate while standing. This task was realised in a real environment and in VEs with the absence and the presence of haptic information. The latter simulated the physical constraints of the shelf and the crate to be manipulated using a cable-driven robot (Chapter 3, N=12). Second, avatar avoidance tasks were realised when participants walked on a self-paced treadmill in the absence and then in the presence of a risk of physical contact with avatars. Contact was simulated by a cable-driven robot (Chapter 4, N=10). VEs were viewed through a head mounted display for all tasks. Results: The first study showed that adding haptic feedback to the VE improved spatial parameters of movement realised in a VE during all phases of movement (reaching, ascent and descent phases). The spatial organisation of movement was closer to those observed in a physical environment, and better respected environmental constraints (higher clearances from the shelf and longer trajectories). Moreover, movement control was influenced by task precision required to avoid any contact with the shelf in the presence of haptic feedback only. The second study demonstrated that when avoiding avatars in VR, more cautious behavior was measured in the presence of potential physical contact. Participants tended to start their avoidance strategy earlier and increased minimum clearance along with a larger personal space regardless of the avatar’s approach angle. Conclusion: Adding haptic feedback in VEs impacts the proactive motor strategies of healthy participants during a manual handling task as well as a locomotor task involving the avoidance of avatars. These results suggest that adding haptic feedback enhances one’s consideration of virtual entities during movement planning. Haptic information imposes more realistic restrictions on the actions afforded by EVs, and likely modifies the perceived consequences of potential contact with virtual entities. It will be important to continue to study the impact of haptic feedback within VEs to provide even more ecological environments to people with motor deficits in order to improve assessment and the consideration of implicit risks posed by the environment

Rêves et réactivation de la mémoire : fenêtre sur la consolidation de la mémoire durant le sommeil

Le sommeil joue un rôle important dans la consolidation de la mémoire. Les expériences nouvellement acquises à l’éveil sont réactivées spontanément durant le sommeil, un processus qui aiderait à consolider et intégrer la mémoire à plus long terme. Il a été suggéré que ces réactivations de mémoire se reflétaient, du moins partiellement, dans le contenu des rêves et que les rêves pouvaient jouer un rôle actif dans la consolidation de la mémoire. L'objectif général de cette thèse de doctorat est ainsi d'évaluer si et comment le rêve est impliqué dans le traitement de la mémoire épisodique et procédurale en utilisant de nouvelles technologies et approches expérimentales pour étudier ces relations. La première étude de cette thèse visait à influencer les réactivations de mémoire durant le sommeil afin de clarifier leurs liens avec les rêves et la mémoire procédurale. Nous avons stimulé ces réactivations de mémoire en réexposant des participants, durant leur sommeil, à un stimulus sonore préalablement associé à un apprentissage moteur, une approche nommée « targeted memory reactivation » (TMR). Nous montrons que la TMR, lorsqu’appliquée en stade de sommeil paradoxal, permet d’améliorer l’apprentissage d’une tâche motrice complexe, soit apprendre à « voler » en réalité virtuelle. De plus, le fait de rêver à des éléments kinesthésiques de la tâche motrice en sommeil paradoxal, mais pas en sommeil lent léger, est associé à une meilleure amélioration à cette tâche (article I). Ces résultats appuient les modèles suggérant que le sommeil paradoxal joue un rôle important dans la consolidation de la mémoire procédurale complexe et suggèrent en outre que la simulation de sensations sensorimotrices dans les rêves pourrait contribuer à ce rôle. Bien que la TMR n’ait pas eu d’impact direct sur les rêves, nous montrons qu’elle peut influencer le décours temporel des incorporations de mémoire dans les rêves sur plusieurs jours. La TMR a amplifié les incorporations tardives de la tâche, soit 1-2 jours plus tard lorsqu’appliquée en sommeil paradoxal, et 5-6 jours plus tard lorsqu’appliquée en sommeil lent profond (article II). Nous suggérons que ces effets à plus long terme pourraient être dus à un mécanisme de marquage (tagging) des traces de mémoire, initiant ou amplifiant leur traitement subséquent au cours de plusieurs nuits de sommeil. De plus, nous montrons que notre expérience immersive en réalité virtuelle a augmenté l’incorporation de sensations de vol dans les rêves, particulièrement la nuit suivant l’exposition à celle-ci (article III). Nous identifions certains facteurs individuels qui sont associés à une plus grande incorporation de la tâche dans les rêves, tels que le fait d’avoir déjà eu des rêves de vols ou des rêves lucides. Un examen plus approfondi des rêves pendant 10 jours suivants l'expérience de réalité virtuelle montre que les sensations de vol sont progressivement décontextualisées du contexte de vol original au fil du temps. Les rêves de vol après l’expérience en réalité virtuelle avaient également des niveaux de contrôle et d'intensité émotionnelle plus élevés que ceux ayant eu lieu avant l’expérience. L'induction de rêves de vol nous a permis de faire une analyse qualitative approfondie sur ceux-ci, menant à une nouvelle proposition de la manière dont les sensations de vol, ou les sensations de mouvement de manière plus générale, peuvent survenir dans les rêves. Ces résultats pourraient à leur tour faciliter le développement de technologies pour mieux influencer et étudier les rêves. Une deuxième étude visait à évaluer quand et comment une source de mémoire épisodique commune à tous les participant – visiter le laboratoire de sommeil – est incorporé dans les rêves. Les résultats montrent que près du tiers des rêves incorporent des éléments du laboratoire, et ce, particulièrement dans les rêves en sommeil paradoxal lors d’une sieste matinale (article IV). Une étude qualitative de ces rêves met de l’avant les manières typiques par lesquelles des éléments du laboratoire réapparaissent dans les narratifs de rêve. Nous proposons l’existence de différentes « pressions intégratives » qui structurent les fragments de mémoire au sein de scénarios de rêves. Souvent, ces scénarios impliquent une certaine pression de performance, sont de nature sociale, projettent le rêveur dans le temps et dans l’espace, ou incorporent des sensations réelles du corps et de l’environnement de sommeil. Étudier le phénomène de « rêver au laboratoire » aide ainsi à clarifier comment les rêves sont façonnés autour de fragments de mémoire et souligne à la fois les avantages et les limites méthodologiques de l’étude des rêves et de la mémoire en laboratoire. Finalement, une troisième étude visait à suivre le décours temporel des sources de mémoire autobiographique des rêves au cours d’une nuit de sommeil entière en utilisant un protocole de réveils en série. Nos résultats montrent que les rêves peuvent combiner plusieurs sources de mémoire, en particulier lorsqu'ils se produisent en stade N1 ou en sommeil paradoxal, ce qui pourrait refléter une plus grande richesse ou capacité intégrative des rêves ayant lieu en ces stades (article V). Nous reproduisons le résultat voulant que les souvenirs récents sont préférentiellement réactivés tôt dans la nuit, tandis que les souvenirs plus lointains sont relativement plus représentés dans les rêves de fin de nuit – nous précisons que cet effet est indépendant des stades de sommeil. La co-activation de plusieurs sources de mémoire dans un même récit de rêve appuie la suggestion que l’une des fonctions du sommeil est d'intégrer les nouvelles connaissances à nos réseaux de mémoire préexistants. Nos résultats suggèrent que cette fonction pourrait être un processus cumulatif au cours d'une nuit de sommeil. Nous montrons entre autres qu'une seule source de mémoire peut être réactivée à plusieurs reprises dans plusieurs rêves, et en différents stades de sommeil, ce qui pourrait permettre un traitement continu ou séquentiel de souvenirs épisodiques avec d'autres souvenirs tout au long de la nuit. Dans l’ensemble, nos études quantitatives et qualitatives des incorporations de mémoire dans les rêves permettent d’éclairer les mécanismes fondamentaux de la formation des rêves ainsi que leurs associations avec le traitement et la consolidation des mémoires épisodique et procédurale. Nos résultats suggèrent qu’un rôle potentiel du rêve dans la mémoire irait au-delà de sa simple réactivation, soutenant des processus de transformation et d’intégration de la mémoire. La création de scénarios multisensoriels et immersifs basés sur des fragments mémoire est possiblement centrale à ces processus et permettrait d’optimiser l’utilisation de la mémoire pour le futur.Sleep plays an important role in memory consolidation. New experiences acquired while awake are reactivated spontaneously during sleep, a process that is thought to facilitate their consolidation and integration into longer-term memory. It has been suggested that these memory reactivations are, at least partially, reflected in dream content and that dreams play an active role in memory consolidation. The general objective of this doctoral thesis is to assess these claims; I examine whether and how dreams are involved in episodic and procedural memory processes by using new technologies and experimental approaches to study relationships between memory and dreaming. Our first study aimed to influence memory reactivations during sleep in order to clarify their relationships with dreams and procedural learning. We experimentally stimulated memory reactivations by re-exposing participants during their sleep to an auditory stimulus previously associated with motor learning, a process called targeted memory reactivation (TMR). We show that TMR, when applied during rapid eye movement (REM) sleep, improves performance of a complex motor task, i.e., learning how to "fly" in a virtual reality (VR) setting. Moreover, dreaming about kinesthetic elements of the motor task in REM sleep, but not in stage 2 sleep, is associated with better improvement on this task (article I). These results support previous models suggesting that REM sleep plays an important role in the consolidation of complex procedural memory and further suggest that the simulation of sensorimotor sensations in dreams contribute to this role. Although TMR did not directly impact dreams, we show that it can influence the time course of memory incorporations in dreams over multiple days. It amplified delayed incorporations of the task 1-2 days later when applied in REM sleep, and 5-6 days later when applied in slow-wave sleep (article II). We suggest that these longer-term effects could be due to a “tagging” mechanism of memory traces, which primes or amplifies their subsequent processing over several nights of sleep. Furthermore, we show that our immersive VR task increased the incorporation of flying sensations in dreams, especially the night after exposure to it (article III). We identify individual factors that are associated with the incorporation of the flying task in dreams, such as previous experience with both flying and lucid dreams. A closer look at dreams over 10 days following the VR experience shows that flying sensations become progressively decontextualized from the original flying context over time. Flying dreams after VR exposure also had higher levels of control and emotional intensity compared to baseline flying dreams. The successful induction of flying dreams allowed us to do an in-depth qualitative analysis of them, based on which we propose a new mechanistic explanation of how flying sensations or movements may arise in dreams. These results could facilitate the development of technologies to better influence and study dreaming. Our second study aimed to assess when and how an episodic memory source shared by all participants – visiting the sleep laboratory – is incorporated into dreams. The results show that almost a third of dreams incorporate elements of the laboratory, particularly REM dreams from a morning nap (article IV). A qualitative study of these dreams highlights the typical ways in which elements of the laboratory reappear in dream narratives. We suggest the existence of different “integrative pressures” that structure memory fragments into these dream scenarios. These are often performative or social in nature, project the dreamer in time and space, or incorporate real sensations from the sleeping body or the sleep environment. Studying the phenomenon of dreaming about the laboratory helps clarify how dreams are shaped from memory fragments, and highlights the advantages and methodological limits of laboratory dream and memory studies. Finally, our third study evaluated the time course of autobiographical dream memory sources during an entire night of sleep using a serial awakenings protocol. Our results show that dreams can combine multiple memory sources at once, especially when they occur at sleep onset or in REM sleep, which may reflect a greater dream richness or a more widespread associative memory activation in those stages (article V). We replicate the finding that recent memories are preferentially reactivated early in the night, while more distant memories are relatively more represented in late night dreams – we here clarify that this effect is independent of sleep stages. The coactivation of multiple memory sources in a dream narrative aligns with the suggestion that a function of sleep is to integrate new knowledge with existing knowledge. Our results further suggest that the latter may be a cumulative function of a night of sleep. We show that a single memory source can be repeatedly reactivated in multiple dreams in different sleep stages, which could allow a continuous or sequential processing of episodic memories with other memories across the night. Overall, our quantitative and qualitative studies of memory incorporations in dreams shed light on fundamental mechanisms of dream formation and on their association with episodic and procedural memory processing and consolidation. Our results suggest that a potential role of dreams in memory goes beyond simple reactivation, supporting long-term processes of memory transformation and integration. The creation of immersive and multisensory dream scenarios built upon memory fragments may be key to these processes and to optimizing the use of these memories for the future