Encodage visuel dans le raisonnement moral chez l’adulte neurotypique et ayant un trouble du spectre autistique

Le raisonnement moral est un processus cognitif qui sous-tend la capacité à prendre des décisions appropriées lors de situations sociales qui présentent un conflit moral. L'encodage visuel est une étape importante du traitement de l'information sociale et soutient l'interprétation des indices sociaux. Les visages, en particulier, véhiculent une grande quantité d'informations utilisée dans la planification et la production de comportements sociaux. Des études utilisant l’oculométrie suggèrent que l'encodage visuel peut prédire la prise de décision morale lors de dilemmes extrêmes, tels que des situations de vie ou de mort. Par contre, aucune étude n’a exploré l’encodage visuel lors de dilemmes représentatifs de la vie quotidienne. Par ailleurs, le trouble du spectre autistique (TSA) est associé à des déficits de la cognition sociale, ainsi qu’à certaines spécificités au niveau de l’encodage visuel de l’information sociale. Ces caractéristiques suggèrent un possible impact sur le raisonnement moral. Toutefois, certaines études démontrent que les personnes avec un TSA présentent des performances similaires à celles de participants neurotypiques à des tâches de raisonnement moral, ce qui soulève l'hypothèse de mécanismes alternatifs du raisonnement moral dans le TSA. L’objectif de cette thèse était donc d'utiliser un paradigme écologique et visuel en oculométrie pour évaluer la contribution de l’encodage visuel au raisonnement moral chez des individus au développement typique ou avec un TSA. Lors de la première étude, des participants neurotypiques ont complété la tâche Socio-Moral Reasoning Aptitude level (SoMoral). La tâche contient des photos décrivant des situations représentatives de dilemmes moraux de la vie quotidienne. La prise de décision morale et le niveau de maturité morale des justifications produites étaient enregistrés, ainsi que les mouvements oculaires et la dilatation pupillaire. Alors que l'encodage visuel n'était pas un prédicteur significatif de la prise de décision morale, cet aspect du traitement de l’information sociale prédisait le niveau de maturité morale. Lors de la deuxième étude, un protocole similaire a été utilisé auprès de deux groupes (TSA, Contrôles) comparables en âge, intelligence et sexe. La compréhension des dilemmes, la prise de décision morale et la justification morale ont été évalués grâce à la tâche SoMoral. Les mouvements oculaires et la dilatation pupillaire ont à nouveau été mesurés avec l’oculométrie. Sur le plan de l’encodage visuel, les participants avec un TSA présentaient une première fixation sur les visages plus tardive. Ils ont également compris moins de dilemmes et produit moins de réponses socialement adaptatives. De plus, ils s’appuyaient moins sur des justifications de nature sociale ou interpersonnelle, et davantage sur des principes moraux fondamentaux. Finalement, l'encodage visuel prédisait la maturité morale pour les deux groupes. Ces études confirment l’importance de l'encodage visuel des indices sociaux dans le raisonnement moral de la vie quotidienne. Les résultats des deux études démontrent également la pertinence d'étudier plusieurs aspects du raisonnement moral (compréhension, décision, justification) pour établir une compréhension globale du phénomène. Dans une perspective clinique, cette thèse permet d’établir une meilleure compréhension du raisonnement moral dans le TSA. Ceci pourrait contribuer à guider le développement de nouvelles interventions auprès d’individus avec un TSA.Moral reasoning is a cognitive process that underlies the ability to make appropriate decisions in social situations that present a moral conflict. Visual encoding is an important step in social information processing and supports the interpretation of social cues. Faces, in particular, convey a large amount of information, which can be used in the planning and production of social behaviours. Studies using eye-tracking techniques suggest that visual encoding can predict moral decision-making when individuals face extreme dilemmas, such as life and death situations. However, no study has explored visual encoding in dilemmas representative of everyday life. Moreover, Autism Spectrum Disorder (ASD) is associated with social cognition deficits, as well as some particularities in terms of the visual encoding of social information. These social features of the autistic phenotype suggest a possible impact on moral reasoning. However, some studies indicate that individuals with ASD perform similarly to neurotypical participants on moral reasoning tasks, raising the hypothesis of alternative mechanisms of moral reasoning in ASD. The objective of this thesis was to use an ecological and visual paradigm in eye-tracking to evaluate the contribution of visual encoding to moral reasoning in typically developing individuals and individuals with ASD. In the first study, neurotypical participants completed the Socio-Moral Reasoning Aptitude Level (SoMoral) task. The task presents pictures describing situations representative of everyday life moral dilemmas. Moral decision-making and the level of moral maturity of the justifications produced were documented while eye movements and pupillary dilation were recorded. While visual encoding was not a significant predictor of moral decision-making, it was a significant predictor of the level of moral maturity. In the second study, a similar protocol was used with two groups (ASD, Controls) comparable in age, intelligence and sex. Comprehension of dilemmas, moral decision-making and moral justification were assessed using the SoMoral. Eye movements and pupillary dilation were again measured using eye-tracking. In terms of visual encoding, participants with ASD produced their first fixation on faces later than the neurotypical control group. They also understood fewer dilemmas and produced fewer socially adaptive responses. Moreover, they generally relied less on social or interpersonal justifications, and more on fundamental moral principles. Finally, visual encoding was a significant predictor of moral maturity for both groups. These studies confirm that visual encoding of social cues contributes to moral reasoning in social situations relevant to everyday life. The two studies also highlight the relevance of studying a variety of aspects of moral reasoning (understanding, decision-making, justification) for a global understanding of the phenomenon. From a clinical perspective, this thesis provides a better understanding of moral reasoning in ASD. This could help guide the development of new interventions for individuals with ASD

Data-driven 3D reasoning for augmented reality

La réalité augmentée (RA) est un paradigme informatique non conventionnel dans lequel l'utilisateur interagit naturellement avec des ordinateurs en visualisant des informations en 3D et en interagissant physiquement avec du contenu virtuel. L'insertion de contenu 3D dans l'environnement nécessite que l'appareil informatique mesure le monde qui nous entoure. Les capteurs sont cependant physiquement limités et renvoient des informations brutes incomplètes ou complexes. Distiller ces données en concepts plus abstraits est donc nécessaire pour permettre de raisonner sur des concepts tels que la géométrie ou l'interaction de la lumière avec la scène. Dans cette thèse, nous explorons une question critique dans le contexte de la RA : comment les caméras de qualité grand public et les approches basées sur les données peuvent-elles être combinées pour parvenir à un raisonnement 3D du monde pour les problèmes fondamentaux de la RA ? Nous répondons à cette affirmation en nous concentrant sur trois objectifs importants couramment rencontrés dans la plupart des applications de réalité augmentée. Tout d'abord, nous estimons une pose 3D robuste de diverses instances d'objets dans des séquences temporelles à l'aide d'une seule caméra RGB-D. Notre nouvelle méthode d'apprentissage par réseaux profond permet une estimation robuste et précise de la pose malgré la présence d'occlusion. De plus, nous améliorons la stratégie d'évaluation de suiveurs d'objets en six degrées de libertés avec une méthodologie méticuleuse et un nouvel ensemble de données. Nous démontrons que l'utilisation du système de coordonnées de l'objet estimé nous permet d'éffectuer le rendu de contenu virtuel sur des objets inanimés. Deuxièmement, nous détectons les articulations du haut du corps en 3D à l'aide d'un casque de réalité virtuelle muni de plusieurs caméras pour améliorer les interactions entre le contenu humain et virtuel. Notre méthode tire partie des multiples caméras à large champ de vision sur l'appareil pour estimer une position 3D précise des articulations du corps de l'utilisateur. L'architecture du réseau neuronal utilise explicitement la géométrie projective de chaque caméra pour estimer les caractéristiques 3D pouvant être utilisées lors de la régression des positions des différentes articulations ainsi que d'autres tâches telles que la segmentation du corps. Nos expériences démontrent que l'utilisation de sources de supervision faibles améliore la précision du suiveur tout en permettant de collecter des données qui ne contiennent pas de position d'articulation 3D en vérité terrain. Enfin, nous proposons une méthode pour raisonner sur des conditions de lumière variant dans l'espace à partir d'une seule image couleur. Estimer uniquement l'éclairage global n'est pas précis lorsque les sources lumineuses sont proches du sujet et lorsque les objets de la scène occultent les sources lumineuses, un scénario courant dans les scènes d'intérieur. Notre méthode prend une image couleur et une coordonnée d'image 2D comme entrée pour estimer une représentation harmonique sphérique de la lumière à ce point de la scène. Nous montrons que les prédictions sont cohérentes avec les sources de lumière 3D et l'occlusion. La méthode est également une solution en temps réel en utilisant une architecture légère et des harmoniques sphériques pour effectuer des rendus rapidement. Chacun de ces objectifs est soutenu par des expériences approfondies et des analyses de résultats et, espérons-le, aide à combler le fossé vers de meilleures expériences utilisateur en RA.Augmented Reality (AR) is an unconventional computing paradigm where the user interacts naturally with machines by visualizing information in 3D and physically interacting with virtual content. Inserting 3D content in the environment requires the computing device to measure the world surrounding us. Sensors are however physically limited and return incomplete or complex raw information. Distilling this data in more abstract concepts is thus mandatory to allow reasoning about numerous concepts such as geometry or light interaction with the scene. In this thesis, we explore a critical question in the context of AR: how consumer grade cameras and data-driven approaches can be combined to achieve 3D reasoning of the world for fundamental AR problems? We address this statement by focusing on three important objectives commonly encountered in most augmented reality applications. First, we estimate a robust 3D pose of various object instances in temporal sequences using a single RGB-D camera. Our novel deep learning framework allows robust and accurate pose estimation despite the presence of occlusion. We further improve the evaluation strategy of 6 DOF object trackers with a meticulous methodology and challenging new dataset. We demonstrate that using the estimated object reference allows us to render virtual content over inanimate objects. Second, we detect the upper body joints in 3D using an off-the-shelf head mounted display (HMD) to improve human and virtual content interactions. Our method takes advantage of the multiple wide field of view cameras on the HMD to estimate an accurate 3D position of the user body joints. The neural network architecture explicitly uses the projective geometry of each cameras to estimate 3D features that can be used to regress the joint position and other tasks such as body segmentation. Our experiments demonstrate that using weak sources of supervision enhance the accuracy of the tracker while allowing to gather data that does not contain ground truth 3D joint position. Finally, we propose a method to reason about spatially-varying light conditions from a single RGB image. Estimating only global lighting does not provide accurate illumination when light sources are near the subject and when objects in the scene occlude the light sources, a common scenario in indoor scenes. Our method takes an RGB image and 2D image coordinate as input to estimate a spherical harmonic representation of light at that point in the scene. We show that the predictions are consistent with 3D light sources and occlusion. The method is also a real-time solution for the full render pipeline by using a lightweight architecture and spherical harmonics. Each of these objectives is supported by extensive experiments and result analyzes and hopefully help closing the gap to better AR experiences

RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking

Augmented reality devices require multiple sensors to perform various tasks such as localization and tracking. Currently, popular cameras are mostly frame-based (e.g. RGB and Depth) which impose a high data bandwidth and power usage. With the necessity for low power and more responsive augmented reality systems, using solely frame-based sensors imposes limits to the various algorithms that needs high frequency data from the environement. As such, event-based sensors have become increasingly popular due to their low power, bandwidth and latency, as well as their very high frequency data acquisition capabilities. In this paper, we propose, for the first time, to use an event-based camera to increase the speed of 3D object tracking in 6 degrees of freedom. This application requires handling very high object speed to convey compelling AR experiences. To this end, we propose a new system which combines a recent RGB-D sensor (Kinect Azure) with an event camera (DAVIS346). We develop a deep learning approach, which combines an existing RGB-D network along with a novel event-based network in a cascade fashion, and demonstrate that our approach significantly improves the robustness of a state-of-the-art frame-based 6-DOF object tracker using our RGB-D-E pipeline.Comment: 9 pages, 9 figure

Visual Encoding of Social Cues Contributes to Moral Reasoning in Autism Spectrum Disorder: An Eye-Tracking Study

Eye-tracking studies suggest that visual encoding is important for social processes such as socio-moral reasoning. Alterations to the visual encoding of faces, for example, have been linked to the social phenotype of autism spectrum disorders (ASDs) and are associated with social and communication impairments. Yet, people with ASD often perform similarly to neurotypical participants on measures of moral reasoning, supporting the hypothesis of differential mechanisms of moral reasoning in ASD. The objective of this study was to document visual encoding and moral reasoning in ASD and neurotypical individuals using a visual, ecological, sociomoral reasoning paradigm paired with eye-tracking. Two groups (ASD, Control) matched for age and IQ completed the SoMoral task, a set of picture situations describing everyday moral dilemmas, while their eye movements and pupil dilation were recorded. Moral understanding, decision-making, and justification were recorded. Participants with ASD presented a longer time to first fixation on faces. They also understood fewer dilemmas and produced fewer socially adaptive responses. Despite a similar average level of moral maturity, the justifications produced by participants with ASD were not distributed in the same way as the neurotypical participants. Visual encoding was a significant predictor of moral decision-making and moral justification for both groups. The results are discussed in the context of alternative mechanisms of moral reasoning in ASD