Interaction intermodale dans les réseaux neuronaux profonds pour la classification et la localisation d'évènements audiovisuels

La compréhension automatique du monde environnant a de nombreuses applications telles que la surveillance et sécurité, l'interaction Homme-Machine, la robotique, les soins de santé, etc. Plus précisément, la compréhension peut s'exprimer par le biais de différentes taches telles que la classification et localisation dans l'espace d'évènements. Les êtres vivants exploitent un maximum de l'information disponible pour comprendre ce qui les entoure. En s'inspirant du comportement des êtres vivants, les réseaux de neurones artificiels devraient également utiliser conjointement plusieurs modalités, par exemple, la vision et l'audition. Premièrement, les modèles de classification et localisation, basés sur l'information audio-visuelle, doivent être évalués de façon objective. Nous avons donc enregistré une nouvelle base de données pour compléter les bases actuellement disponibles. Comme aucun modèle audio-visuel de classification et localisation n'existe, seule la partie sonore de la base est évaluée avec un modèle de la littérature. Deuxièmement, nous nous concentrons sur le cœur de la thèse: comment utiliser conjointement de l'information visuelle et sonore pour résoudre une tâche spécifique, la reconnaissance d'évènements. Le cerveau n'est pas constitué d'une "simple" fusion mais comprend de multiples interactions entre les deux modalités. Il y a un couplage important entre le traitement de l'information visuelle et sonore. Les réseaux de neurones offrent la possibilité de créer des interactions entre les modalités en plus de la fusion. Dans cette thèse, nous explorons plusieurs stratégies pour fusionner les modalités visuelles et sonores et pour créer des interactions entre les modalités. Ces techniques ont les meilleures performances en comparaison aux architectures de l'état de l'art au moment de la publication. Ces techniques montrent l'utilité de la fusion audio-visuelle mais surtout l'importance des interactions entre les modalités. Pour conclure la thèse, nous proposons un réseau de référence pour la classification et localisation d'évènements audio-visuels. Ce réseau a été testé avec la nouvelle base de données. Les modèles précédents de classification sont modifiés pour prendre en compte la localisation dans l'espace en plus de la classification.Abstract: The automatic understanding of the surrounding world has a wide range of applications, including surveillance, human-computer interaction, robotics, health care, etc. The understanding can be expressed in several ways such as event classification and its localization in space. Living beings exploit a maximum of the available information to understand the surrounding world. Artificial neural networks should build on this behavior and jointly use several modalities such as vision and hearing. First, audio-visual networks for classification and localization must be evaluated objectively. We recorded a new audio-visual dataset to fill a gap in the current available datasets. We were not able to find audio-visual models for classification and localization. Only the dataset audio part is evaluated with a state-of-the-art model. Secondly, we focus on the main challenge of the thesis: How to jointly use visual and audio information to solve a specific task, event recognition. The brain does not comprise a simple fusion but has multiple interactions between the two modalities to create a strong coupling between them. The neural networks offer the possibility to create interactions between the two modalities in addition to the fusion. We explore several strategies to fuse the audio and visual modalities and to create interactions between modalities. These techniques have the best performance compared to the state-of-the-art architectures at the time of publishing. They show the usefulness of audio-visual fusion but above all the contribution of the interaction between modalities. To conclude, we propose a benchmark for audio-visual classification and localization on the new dataset. Previous models for the audio-visual classification are modified to address the localization in addition to the classification

A Transformer-based joint-encoding for Emotion Recognition and Sentiment Analysis

Understanding expressed sentiment and emotions are two crucial factors in human multimodal language. This paper describes a Transformer-based joint-encoding (TBJE) for the task of Emotion Recognition and Sentiment Analysis. In addition to use the Transformer architecture, our approach relies on a modular co-attention and a glimpse layer to jointly encode one or more modalities. The proposed solution has also been submitted to the ACL20: Second Grand-Challenge on Multimodal Language to be evaluated on the CMU-MOSEI dataset. The code to replicate the presented experiments is open-source: https://github.com/jbdel/MOSEI_UMONS.Comment: Winner of the ACL20: Second Grand-Challenge on Multimodal Languag

Modelling the impact of beliefs and communication on attitude dynamics : a cognitive agent-based approach

In the context of military training for stabilization operation of a crisis zone with civilian population, understanding the formation of attitude and its dynamics is a key issue. This paper presents a multi-agent model for simulating attitude formation and change based on individual's perception of information and its diffusion through communication. We represent the attitude as object-evaluation associations of varying strength proposed by Fazio [1]. Individuals observe military operations. They exchange and revise beliefs about social objects depending on multiple criteria deriving from social psychology theories. They compute their attitude value based on analytic assessment of these beliefs. We illustrate, through several simulation experiments, the role of communication on attitude dynamics

A comprehensive evaluation of the accuracy of CBCT and deformable registration based dose calculation in lung proton therapy

The uncertainties in water equivalent thickness (WET) and accuracy of dose estimation using a virtual CT (vCT), generated from deforming the planning CT (pCT) onto the daily cone-beam CT (CBCT), were comprehensively evaluated in the context of lung malignancies and passive scattering proton therapy. The validation methodology utilized multiple CBCT datasets to generate the vCTs of twenty lung cancer patients. A correction step was applied to the vCTs to account for anatomical modifications that could not be modeled by deformation alone. The CBCT datasets included a regular CBCT (rCBCT) and synthetic CBCTs created from the rCBCT and rescan CT (rCT), which minimized the variation in setup between the vCT and the gold-standard image (i.e., rCT). The uncertainty in WET was defined as the voxelwise difference in WET between vCT and rCT, and calculated in 3D (planning target volume, PTV) and 2D (distal and proximal surfaces). The uncertainty in WET based dose warping was defined as the difference between the warped dose and a forward dose recalculation on the rCT. The overall root mean square (RMS) uncertainty in WET was 3.6 ± 1.8, 2.2 ± 1.4 and 3.3 ± 1.8 mm for the distal surface, proximal surface and PTV, respectively. For the warped dose, the RMS uncertainty of the voxelwise dose difference was 6% ± 2% of the maximum dose (%mD), using a 20% cut-off. The rCBCT resulted in higher uncertainties due to setup variability with the rCT; the uncertainties reported with the two synthetic CBCTs were similar. The vCT followed by a correction step was found to be an accurate alternative to rCT

Characterization of environmental multi-exposure : exploration of vulnerability and resilience potentials related to health risks

Indépendamment des facteurs individuels, l'apparition d'une maladie est déterminée par un ensemble complexe de déterminants interconnectés et évoluant dans l'espace. Cette variabilité des phénomènes observés nécessite la validation d'approches multidimensionnelles. Une des méthodes reconnues repose sur la création d'indices composites qui regroupent différents indicateurs mesurant les multiples facettes d'un phénomène. De nombreuses études traitent des questions de santé environnementale où l'évaluation des inégalités territoriales se concentre principalement sur la vulnérabilité (i.e. la somme des contraintes et nuisances péjoratives auxquelles sont soumises les populations). La résilience, définie comme la capacité d'un territoire à faire face à ces inégalités de santé, vient s'intégrer à l'analyse menée au cours de nos travaux afin d'apporter une description plus précise des territoires. Cependant, le design des indices composites en santé environnementale doit être optimisé et la variabilité induite doit être maitrisée. Le premier objectif de ce projet de thèse est la définition et l'analyse spatiale des typologies de territoires au regard de la multi-dimensionnalité des phénomènes impliqués en santé environnement. Une analyse de la littérature a permis d'identifier une grande diversité des terminologies et des méthodologies mais également sur des variables incluses dans les indices composites spatialisés en santé environnement. Sur la base des conclusions de l'analyse, un cadre méthodologique de construction d'indices composites spatialisés permettant de prendre en compte une multi-exposition environnementale, qu'elle soit bénéfique ou néfaste pour la santé humaine, a été proposé. Celle-ci a été appliquée aux communes des Hauts-de-France et a permis d'obtenir une représentation holistique des niveaux de vulnérabilité et de résilience des communes. Une réflexion a également été menée sur l'adaptabilité de cette méthodologie à très fine échelle sur la Communauté Urbaine de Dunkerque.Le second objectif est l'analyse des relations entre les potentiels de vulnérabilité et de résilience et la survenue de maladies chroniques prégnantes sur certains territoires. La collaboration avec des registres de santé nous a permis de pouvoir garantir l'exhaustivité des cas pour une pathologie donnée sur un territoire donné. Dans un premier temps, l'influence de ces caractéristiques territoriales sur la variabilité résiduelle de l'insuffisance rénale chronique terminale (IRCT) a été menée à l'échelle des communes du Nord et du Pas de Calais sur la période 2005-2018. Après ajustement sur des facteurs de confusion, des régressions écologiques ont été menées. Les résultats ont mis en évidence l'influence et la prépondérance des facteurs bénéfiques sur l'incidence de l'IRCT. Dans un second temps, des indices de vulnérabilité et de résilience ont été développés à l'échelle des IRIS de la Métropole Européenne de Lille pour évaluer leur influence sur la survenue des maladies coronariennes sur la période 2012-2016. Bien que les méthodologies mises en place diffèrent, les résultats rejoignent ceux obtenus dans le cadre de l'insuffisance rénale chronique terminale, avec une influence plus importante des facteurs bénéfiques sur la survenue des maladies coronariennes. Afin de poursuivre l'analyse des interactions entre les déterminants en lien avec la résilience et la vulnérabilité et les maladies coronariennes, des profils complexes de territoire ont été développés. Leur caractérisation par l'incidence des maladies coronariennes a souligné que la sur-morbidité n'était pas la seule résultante d'une accumulation de déterminants en lien avec la vulnérabilité. L'enjeu de ce travail était d'identifier des facteurs de risques territoriaux qui permettront de décrire de nouvelles hypothèses étiologiques dans le cadre de futures études épidémiologiques.Regardless of individual factors, the development of disease is determined by a complex set of interconnected and spatially evolving determinants. This variability of observed phenomena requires the validation of multidimensional approaches. One of the recognized methods is based on the development of composite indices that aggregate together different indicators describing the multiple facets of a phenomenon. Many studies deal with environmental health issues where the evaluation of territorial inequalities focuses mainly on vulnerability (i.e. the sum of the pejorative constraints and nuisances to which populations are subjected). Resilience, defined as the capacity of a territory to cope with these health inequalities, is integrated into the analysis carried out during our work in order to provide a more precise description of the territories. However, the design of composite environmental health indices must be optimized and the resulting variability must be mastered.The first objective of this thesis project is the definition and spatial analysis of the typologies of territories in view of the multi-dimensionality of the phenomena involved in environmental health. An analysis of the literature made it possible to identify a great diversity of terminologies and methodologies but also of the variables included in the spatialized composite indices in environmental health. Based on the conclusions of the analysis, a methodological framework for building up spatialized composite indices to consider environmental multi-exposure, whether beneficial or harmful to human health, has been proposed. This was applied to the municipalities of Hauts-de-France and made it possible to obtain a holistic representation of the levels of vulnerability and resilience of the municipalities. A reflection was also carried out on the adaptability of this methodology at a very fine scale on the Dunkerque Urban Community perimeter.The second objective is to analyze the relationships between the potential for vulnerability and resilience and the incidence of significant chronic diseases in certain territories. Collaboration with health registries has enabled us to guarantee the exhaustiveness of cases for a given pathology in a given territory. Firstly, the influence of these territorial characteristics on the residual variability of end-stage renal disease (ESRD) was assessed at the level of the municipalities of Nord and Pas de Calais over the period 2005-2018. After adjusting for confounding factors, ecological regressions were carried out. The results highlighted the influence and the preponderance of beneficial factors on the incidence of ESRD. Secondly, vulnerability and resilience indices were developed at the scale of the neighborhood of the European Lille Metropolis to assess their influence on the incidence of coronary heart disease over the period 2012-2016. Although the methodologies implemented differ, the results are similar to those obtained in the context of end-stage chronic renal disease and highlight a greater influence of beneficial factors on the occurrence of coronary heart disease. In order to continue the analysis of the interactions between the determinants related to resilience and vulnerability and coronary heart disease, complex territory profiles have been developed. Their characterization by the incidence of coronary heart disease highlighted that excess morbidity was not the only result of an accumulation of determinants linked to vulnerability. The challenge of this work was to identify potential territorial risk factors that will make it possible to describe new etiological hypotheses in the context of future epidemiological studies