Multi-player games in the era of machine learning

Parmi tous les jeux de société joués par les humains au cours de l’histoire, le jeu de go était considéré comme l’un des plus difficiles à maîtriser par un programme informatique [Van Den Herik et al., 2002]; Jusqu’à ce que ce ne soit plus le cas [Silveret al., 2016]. Cette percée révolutionnaire [Müller, 2002, Van Den Herik et al., 2002] fût le fruit d’une combinaison sophistiquée de Recherche arborescente Monte-Carlo et de techniques d’apprentissage automatique pour évaluer les positions du jeu, mettant en lumière le grand potentiel de l’apprentissage automatique pour résoudre des jeux. L’apprentissage antagoniste, un cas particulier de l’optimisation multiobjective, est un outil de plus en plus utile dans l’apprentissage automatique. Par exemple, les jeux à deux joueurs et à somme nulle sont importants dans le domain des réseaux génératifs antagonistes [Goodfellow et al., 2014] ainsi que pour maîtriser des jeux comme le Go ou le Poker en s’entraînant contre lui-même [Silver et al., 2017, Brown andSandholm, 2017]. Un résultat classique de la théorie des jeux indique que les jeux convexes-concaves ont toujours un équilibre [Neumann, 1928]. Étonnamment, les praticiens en apprentissage automatique entrainent avec succès une seule paire de réseaux de neurones dont l’objectif est un problème de minimax non-convexe et non-concave alors que pour une telle fonction de gain, l’existence d’un équilibre de Nash n’est pas garantie en général. Ce travail est une tentative d'établir une solide base théorique pour l’apprentissage dans les jeux. La première contribution explore le théorème minimax pour une classe particulière de jeux non-convexes et non-concaves qui englobe les réseaux génératifs antagonistes. Cette classe correspond à un ensemble de jeux à deux joueurs et a somme nulle joués avec des réseaux de neurones. Les deuxième et troisième contributions étudient l’optimisation des problèmes minimax, et plus généralement, les inégalités variationnelles dans le cadre de l’apprentissage automatique. Bien que la méthode standard de descente de gradient ne parvienne pas à converger vers l’équilibre de Nash de jeux convexes-concaves simples, il existe des moyens d’utiliser des gradients pour obtenir des méthodes qui convergent. Nous étudierons plusieurs techniques telles que l’extrapolation, la moyenne et la quantité de mouvement à paramètre négatif. La quatrième contribution fournit une étude empirique du comportement pratique des réseaux génératifs antagonistes. Dans les deuxième et troisième contributions, nous diagnostiquons que la méthode du gradient échoue lorsque le champ de vecteur du jeu est fortement rotatif. Cependant, une telle situation peut décrire un pire des cas qui ne se produit pas dans la pratique. Nous fournissons de nouveaux outils de visualisation afin d’évaluer si nous pouvons détecter des rotations dans comportement pratique des réseaux génératifs antagonistes.Among all the historical board games played by humans, the game of go was considered one of the most difficult to master by a computer program [Van Den Heriket al., 2002]; Until it was not [Silver et al., 2016]. This odds-breaking break-through [Müller, 2002, Van Den Herik et al., 2002] came from a sophisticated combination of Monte Carlo tree search and machine learning techniques to evaluate positions, shedding light upon the high potential of machine learning to solve games. Adversarial training, a special case of multiobjective optimization, is an increasingly useful tool in machine learning. For example, two-player zero-sum games are important for generative modeling (GANs) [Goodfellow et al., 2014] and mastering games like Go or Poker via self-play [Silver et al., 2017, Brown and Sandholm,2017]. A classic result in Game Theory states that convex-concave games always have an equilibrium [Neumann, 1928]. Surprisingly, machine learning practitioners successfully train a single pair of neural networks whose objective is a nonconvex-nonconcave minimax problem while for such a payoff function, the existence of a Nash equilibrium is not guaranteed in general. This work is an attempt to put learning in games on a firm theoretical foundation. The first contribution explores minimax theorems for a particular class of nonconvex-nonconcave games that encompasses generative adversarial networks. The proposed result is an approximate minimax theorem for two-player zero-sum games played with neural networks, including WGAN, StarCrat II, and Blotto game. Our findings rely on the fact that despite being nonconcave-nonconvex with respect to the neural networks parameters, the payoff of these games are concave-convex with respect to the actual functions (or distributions) parametrized by these neural networks. The second and third contributions study the optimization of minimax problems, and more generally, variational inequalities in the context of machine learning. While the standard gradient descent-ascent method fails to converge to the Nash equilibrium of simple convex-concave games, there exist ways to use gradients to obtain methods that converge. We investigate several techniques such as extrapolation, averaging and negative momentum. We explore these techniques experimentally by proposing a state-of-the-art (at the time of publication) optimizer for GANs called ExtraAdam. We also prove new convergence results for Extrapolation from the past, originally proposed by Popov [1980], as well as for gradient method with negative momentum. The fourth contribution provides an empirical study of the practical landscape of GANs. In the second and third contributions, we diagnose that the gradient method breaks when the game’s vector field is highly rotational. However, such a situation may describe a worst-case that does not occur in practice. We provide new visualization tools in order to exhibit rotations in practical GAN landscapes. In this contribution, we show empirically that the training of GANs exhibits significant rotations around Local Stable Stationary Points (LSSP), and we provide empirical evidence that GAN training converges to a stable stationary point, which is a saddle point for the generator loss, not a minimum, while still achieving excellent performance

Injection de style par blanchissage et coloration dans un réseau génératif profond

Dans la génération et la manipulation d'images basées sur les GANs, l'injection de style par Adaptive Instance Normalization (AdaIN) est devenue la norme pour paramétrer la génération avec une représentation latente du domaine des images. AdaIN fonctionne en modulant les statistiques des caractéristiques de l'image : il normalise d'abord les caractéristiques en soustrayant leur moyenne et en divisant par leur écart type puis injecte un vecteur de style par l'inverse de cette opération. Bien que cette méthode ait été utilisée avec succès dans une variété de scénarios de traduction d'image à image, la représentation statistique d'AdaIN est limitée en ce qu'elle ne tient pas compte des corrélations entre les caractéristiques. Cependant, dans la littérature du transfert de style, la transformation par blanchiment et coloration (Whitening & Coloring Transformation WCT) est devenue l'approche privilégiée, car elle prend compte de l'existence de ces corrélations. Toutefois, malgré ses bonnes performances en matière de transfert de style, l'utilisation du WCT n'a jusqu'à présent pas été explorée de manière approfondie dans le contexte de l'injection de style. Dans ce travail, nous comblons cette lacune en remplaçant AdaIN par une opération de WCT explicite pour l'injection de style dans les GAN. Plus précisément, nous introduisons un module qui peut être utilisé en remplacement des blocs AdaIN (sans changement additionnel) dans les architectures GAN populaires existantes et présentons son impact sur les tâches de génération. Effectivement, dans la génération d'images conditionnelles, où l'espace latent est destiné à représenter le style des images, nous constatons que le blanchiment aide à s'assurer que l'espace n'encode que des informations stylistiques, ce qui permet au contenu de l'image conditionnelle d'être plus visible. Nous démontrons les performances de notre méthode dans deux scénarios : 1) dans un context d'entraînement supervisé à l'aide du jeu de données Google Maps et 2) en ayant recours à l'architecture StarGANv2 multi-domaine et multi-modale dans une situation d'entraînement non-supervisé et ce en utilisant le jeu de données Animal Faces-HQ (AFHQ).In the GAN-based images generation and manipulation domain, style injection by Adaptive Instance Normalization (AdaIN) has become the standard method to allow the generation with a latent representation of the image domain. AdaIN works by modulating the statistics of the characteristics of the image: it first normalizes the characteristics by subtracting their mean and dividing by their standard deviation then it injects a style vector by the reverse of this operation. Although this method has been used successfully in a variety of image-to-image translation scenarios, the statistical representation of AdaIN is limited in that it does not take into account the existing correlations between the features. However, in the style transfer literature, the transformation by whitening and coloring (Whitening & Coloring Transformation WCT) has become the preferred approach because it takes into account the existence of these correlations. Yet, despite its good performance in terms of style transfer, the use of WCT has so far not been explored in depth in the style injection literature. In this work, we fill this gap by replacing AdaIN by an explicit operation of WCT for style injection in GAN. More specifically, we introduce a module that can be used as a replacement for the AdaIN blocks (without any additional change) in the existing popular GAN architectures and we present its impact on generation tasks. Indeed, in the conditional image generation task, where the latent space is intended to represent the style of the images, we find that whitening helps ensure that the space encodes only stylistic information which allows the content of the input image to be more visible. We demonstrate the performance of our method in two scenarios: 1) in a supervised training context using the Google Maps dataset and 2) using multi-domain and multi-modal StarGANv2 architecture in an unsupervised training setup using the Animal Faces-HQ (AFHQ) dataset

Contributions au traitement des images multivariées

Ce mémoire résume mon activité pédagogique et scientifique en vue de l’obtention de l’habilitation à diriger des recherches

Estimation de posture 3D à partir de données imprécises et incomplètes : application à l'analyse d'activité d'opérateurs humains dans un centre de tri

Dans un contexte d’étude de la pénibilité et de l’ergonomie au travail pour la prévention des troubles musculo-squelettiques, la société Ebhys cherche à développer un outil d’analyse de l’activité des opérateurs humains dans un centre de tri, par l’évaluation d’indicateurs ergonomiques. Pour faire face à l’environnement non contrôlé du centre de tri et pour faciliter l’acceptabilité du dispositif, ces indicateurs sont mesurés à partir d’images de profondeur. Une étude ergonomique nous permet de définir les indicateurs à mesurer. Ces indicateurs sont les zones d’évolution des mains de l’opérateur et d’angulations de certaines articulations du haut du corps. Ce sont donc des indicateurs obtenables à partir d’une analyse de la posture 3D de l’opérateur. Le dispositif de calcul des indicateurs sera donc composé de trois parties : une première partie sépare l’opérateur du reste de la scène pour faciliter l’estimation de posture 3D, une seconde partie calcule la posture 3D de l’opérateur, et la troisième utilise la posture 3D de l’opérateur pour calculer les indicateurs ergonomiques. Tout d’abord, nous proposons un algorithme qui permet d’extraire l’opérateur du reste de l’image de profondeur. Pour ce faire, nous utilisons une première segmentation automatique basée sur la suppression du fond statique et la sélection d’un objet dynamique à l’aide de sa position et de sa taille. Cette première segmentation sert à entraîner un algorithme d’apprentissage qui améliore les résultats obtenus. Cet algorithme d’apprentissage est entraîné à l’aide des segmentations calculées précédemment, dont on sélectionne automatiquement les échantillons de meilleure qualité au cours de l’entraînement. Ensuite, nous construisons un modèle de réseau de neurones pour l’estimation de la posture 3D de l’opérateur. Nous proposons une étude qui permet de trouver un modèle léger et optimal pour l’estimation de posture 3D sur des images de profondeur de synthèse, que nous générons numériquement. Finalement, comme ce modèle n’est pas directement applicable sur les images de profondeur acquises dans les centres de tri, nous construisons un module qui permet de transformer les images de profondeur de synthèse en images de profondeur plus réalistes. Ces images de profondeur plus réalistes sont utilisées pour réentrainer l’algorithme d’estimation de posture 3D, pour finalement obtenir une estimation de posture 3D convaincante sur les images de profondeur acquises en conditions réelles, permettant ainsi de calculer les indicateurs ergonomique

Les signatures neurobiologiques de la conscience

Dans le cadre de ses activités scientifiques, l’Académie Européenne Interdisciplinaire des Sciences a réuni durant la période 2016-2018, par l’intermédiaire de séminaires, conférences et colloque, divers spécialistes travaillant dans les domaines des neurosciences, de la psychologie cognitive, de l’intelligence artificielle, ou encore réfléchissant aux impacts sociétaux des avancées obtenues. Cet ouvrage est le fruit de toutes ces contributions et a pour ambition de présenter un certain nombre de résultats, de perspectives actuellement discernables, de points de vue concernant l’état des connaissances dans ces domaines avec un lien, parfois direct, parfois implicite, avec la question de la conscience. Une introduction générale, rédigée par le comité de lecture de l’AEIS, rappelle le contexte de l’émergence de ces résultats, perspectives et points de vue, dont le lecteur prendra connaissance dans le corps de l’ouvrage, qui comporte quatre parties : Travaux en neurosciences et psychologie expérimentale. Sciences cognitives et intelligence artificielle. Réflexions sur l’intelligence, la conscience et l’impact de l’IA sur les activités humaines. Synthèse des discussions de la table ronde tenue à l’issue du colloque de mars 2018. Un court épilogue rédigé par le comité de lecture met en avant des réflexions et questions qu’ont soulevé la lecture des différents chapitres de l’ouvrage et la prise de connaissance d’articles scientifiques foisonnants sur les travaux actuels pluridisciplinaires autour des interrogations liées à la conscience au sens large

Conditionnement par tâches auxiliaires des réseaux antagonistes génératifs

During the last decade, Generative Adversarial Networks (GANs) have caused a tremendous leap forward in image generation as a whole. Their ability to learn very complex, high-dimension distributions not only had a huge impact on the field of generative modeling, their influence extended to the general public at large. By being the first models able generate high-dimension photo-realistic images, GANs very quickly gained popularity as an image generation and photo manipulation technique. For example, their use as "filters" became common practice on social media, but they also allowed for the rise of Deepfakes, images that have been manipulated in order to fake the identity of a person. In this thesis, we explore the conditioning of Generative Adversarial Networks, that is influencing the generation process in order to control the content of a generated image. We focus on conditioning through auxiliary tasks, that is we explicitly implement additional objective to the generative model to complement the initial goal of learning the data distribution. First, we introduce generative modeling through several examples, and present the Generative Adversarial Networks framework. We discuss theoretical interpretations of GANs as well as its most prominent issues, notably the lack of stability during training of the model and the difficulty to generate diverse samples. We review classical techniques for conditioning GANs and propose an overview of recent approaches aiming to both solve the aforementioned issues and enhance the visual quality of the generated images. Afterwards, we focus on a specific generation task that requires conditioning : image reconstruction. In a nutshell, the problem consists in recovering an image from which we only have a handful of pixels available, usually around 0.5%. It stems from an application in geostatistics, namely the reconstruction of underground terrain from a reduced amount of expensive and difficult to obtain measurements. To do so, we propose to introduce an explicit auxiliary reconstruction task to the GAN framework which, in addition to a diversity-restoring technique, allows for the generation of high-quality images that respect the given measurements. Finally, we investigate a task of domain-transfer with generative models, specifically transferring images from the RGB color domain to the polarimetric domain. Polarimetric images bear hard constraints that directly stem from the physics of polarimetry. Leveraging on the cyclic-consistency paradigm, we extend the training of generative models with auxiliary tasks that push the generator towards enforcing the polarimetric constraints. We highlight that the approach manages to generate physically realistic polarimetric.Au cours de la dernière décennie, les réseaux génératifs antagonistes (Generative Adversatial Networks, ou GANs) ont révolutionné la génération d’images dans son ensemble. Leur capacité à apprendre des distributions très complexes en grande dimension ils ont eu un impact important sur le domaine des modèles génératifs et leur influence s’est largement étendue au grand public. En effet, en étant les premiers modèles capables de générer des images photo-réalistes en haute dimension, ils ont très vite gagné en popularité en tant que technique de génération d’images et de manipulation de photos. Par exemple, leur utilisation en tant que "filtres" est devenue une pratique courante sur les médias sociaux : ils ont également permis l’essor des Deepfakes, des images manipulées afin de falsifier l’identité d’une personne. Dans cette thèse, nous étudions le conditionnement des réseaux génératifs antagonistes, c’est-à-dire influencer le processus de génération afin de contrôler le contenu d’une image générée. Nous nous concentrons sur le conditionnement par le biais de tâches auxiliaires, c’est-à-dire l’utilisation d’un ou plusieurs objectifs supplémentaires au modèle génératif en plus de l’objectif initial d’apprentissage de la distribution des données. Nous introduisons les principes de la modélisation générative à travers plusieurs exemples, et nous présentons le cadre des réseaux génératifs antagonistes. Nous analysons les interprétations théoriques de ce modèle ainsi que ses problèmes les plus importants, notamment l’instabilité de l’apprentissage du modèle et la difficulté de générer des échantillons diversifiés. Nous passons en revue les techniques classiques de conditionnement des GAN et proposons un aperçu des approches récentes visant à résoudre ses problèmes et à améliorer la qualité visuelle des images générées. Dans la suite de la thèse, nous nous concentrons sur une tâche de génération spécifique qui nécessite un conditionnement : la reconstruction d’images. Ce problème consiste à générer une image dont nous ne connaissons qu’un nombre très réduit de pixels à priori, généralement autour de 0,5 %. Ceci est motivé par une application directe en géostatistique : la reconstruction de données géologiques de sous-sols à partir d’une très petite quantité de mesures coûteuses et difficiles à obtenir. Pour ce faire, nous proposons d’introduire une tâche de reconstruction auxiliaire explicite dans le cadre du GAN qui, combinée à une technique de restauration de la diversité, a permis de générer des images de haute qualité qui respectent les mesures données. Dans la deuxième contribution nous étudions une tâche de transfert de domaine avec des modèles génératifs, en particulier le transfert d’images du domaine couleur au domaine polarimétrique. Les images polarimétriques sont soumises à des contraintes strictes qui découlent directement des propriétés physiques de la polarimétrie. En s’appuyant sur l’approche de cohérence cyclique, nous étendons la formulation des modèles génératifs avec des tâches auxiliaires qui poussent le générateur à faire respecter les contraintes polarimétriques. Nous montrons que cette approche permet non seulement de générer des images polarimétriques physiquement réalistes, mais que l’utilisation des images générées comme données augmentées augmente la performance des modèles de détection d’objets sur des applications d’analyse de scène routière

Conditionnement par tâches auxiliaires des réseaux antagonistes génératifs

During the last decade, Generative Adversarial Networks (GANs) have caused a tremendous leap forward in image generation as a whole. Their ability to learn very complex, high-dimension distributions not only had a huge impact on the field of generative modeling, their influence extended to the general public at large. By being the first models able generate high-dimension photo-realistic images, GANs very quickly gained popularity as an image generation and photo manipulation technique. For example, their use as "filters" became common practice on social media, but they also allowed for the rise of Deepfakes, images that have been manipulated in order to fake the identity of a person. In this thesis, we explore the conditioning of Generative Adversarial Networks, that is influencing the generation process in order to control the content of a generated image. We focus on conditioning through auxiliary tasks, that is we explicitly implement additional objective to the generative model to complement the initial goal of learning the data distribution. First, we introduce generative modeling through several examples, and present the Generative Adversarial Networks framework. We discuss theoretical interpretations of GANs as well as its most prominent issues, notably the lack of stability during training of the model and the difficulty to generate diverse samples. We review classical techniques for conditioning GANs and propose an overview of recent approaches aiming to both solve the aforementioned issues and enhance the visual quality of the generated images. Afterwards, we focus on a specific generation task that requires conditioning : image reconstruction. In a nutshell, the problem consists in recovering an image from which we only have a handful of pixels available, usually around 0.5%. It stems from an application in geostatistics, namely the reconstruction of underground terrain from a reduced amount of expensive and difficult to obtain measurements. To do so, we propose to introduce an explicit auxiliary reconstruction task to the GAN framework which, in addition to a diversity-restoring technique, allows for the generation of high-quality images that respect the given measurements. Finally, we investigate a task of domain-transfer with generative models, specifically transferring images from the RGB color domain to the polarimetric domain. Polarimetric images bear hard constraints that directly stem from the physics of polarimetry. Leveraging on the cyclic-consistency paradigm, we extend the training of generative models with auxiliary tasks that push the generator towards enforcing the polarimetric constraints. We highlight that the approach manages to generate physically realistic polarimetric.Au cours de la dernière décennie, les réseaux génératifs antagonistes (Generative Adversatial Networks, ou GANs) ont révolutionné la génération d’images dans son ensemble. Leur capacité à apprendre des distributions très complexes en grande dimension ils ont eu un impact important sur le domaine des modèles génératifs et leur influence s’est largement étendue au grand public. En effet, en étant les premiers modèles capables de générer des images photo-réalistes en haute dimension, ils ont très vite gagné en popularité en tant que technique de génération d’images et de manipulation de photos. Par exemple, leur utilisation en tant que "filtres" est devenue une pratique courante sur les médias sociaux : ils ont également permis l’essor des Deepfakes, des images manipulées afin de falsifier l’identité d’une personne. Dans cette thèse, nous étudions le conditionnement des réseaux génératifs antagonistes, c’est-à-dire influencer le processus de génération afin de contrôler le contenu d’une image générée. Nous nous concentrons sur le conditionnement par le biais de tâches auxiliaires, c’est-à-dire l’utilisation d’un ou plusieurs objectifs supplémentaires au modèle génératif en plus de l’objectif initial d’apprentissage de la distribution des données. Nous introduisons les principes de la modélisation générative à travers plusieurs exemples, et nous présentons le cadre des réseaux génératifs antagonistes. Nous analysons les interprétations théoriques de ce modèle ainsi que ses problèmes les plus importants, notamment l’instabilité de l’apprentissage du modèle et la difficulté de générer des échantillons diversifiés. Nous passons en revue les techniques classiques de conditionnement des GAN et proposons un aperçu des approches récentes visant à résoudre ses problèmes et à améliorer la qualité visuelle des images générées. Dans la suite de la thèse, nous nous concentrons sur une tâche de génération spécifique qui nécessite un conditionnement : la reconstruction d’images. Ce problème consiste à générer une image dont nous ne connaissons qu’un nombre très réduit de pixels à priori, généralement autour de 0,5 %. Ceci est motivé par une application directe en géostatistique : la reconstruction de données géologiques de sous-sols à partir d’une très petite quantité de mesures coûteuses et difficiles à obtenir. Pour ce faire, nous proposons d’introduire une tâche de reconstruction auxiliaire explicite dans le cadre du GAN qui, combinée à une technique de restauration de la diversité, a permis de générer des images de haute qualité qui respectent les mesures données. Dans la deuxième contribution nous étudions une tâche de transfert de domaine avec des modèles génératifs, en particulier le transfert d’images du domaine couleur au domaine polarimétrique. Les images polarimétriques sont soumises à des contraintes strictes qui découlent directement des propriétés physiques de la polarimétrie. En s’appuyant sur l’approche de cohérence cyclique, nous étendons la formulation des modèles génératifs avec des tâches auxiliaires qui poussent le générateur à faire respecter les contraintes polarimétriques. Nous montrons que cette approche permet non seulement de générer des images polarimétriques physiquement réalistes, mais que l’utilisation des images générées comme données augmentées augmente la performance des modèles de détection d’objets sur des applications d’analyse de scène routière

Conditionnement par tâches auxiliaires des réseaux antagonistes génératifs

Au cours de la dernière décennie, les réseaux génératifs antagonistes (Generative Adversatial Networks, ou GANs) ont révolutionné la génération d’images dans son ensemble. Leur capacité à apprendre des distributions très complexes en grande dimension ils ont eu un impact important sur le domaine des modèles génératifs et leur influence s’est largement étendue au grand public. En effet, en étant les premiers modèles capables de générer des images photo-réalistes en haute dimension, ils ont très vite gagné en popularité en tant que technique de génération d’images et de manipulation de photos. Par exemple, leur utilisation en tant que "filtres" est devenue une pratique courante sur les médias sociaux : ils ont également permis l’essor des Deepfakes, des images manipulées afin de falsifier l’identité d’une personne. Dans cette thèse, nous étudions le conditionnement des réseaux génératifs antagonistes, c’est-à-dire influencer le processus de génération afin de contrôler le contenu d’une image générée. Nous nous concentrons sur le conditionnement par le biais de tâches auxiliaires, c’est-à-dire l’utilisation d’un ou plusieurs objectifs supplémentaires au modèle génératif en plus de l’objectif initial d’apprentissage de la distribution des données. Nous introduisons les principes de la modélisation générative à travers plusieurs exemples, et nous présentons le cadre des réseaux génératifs antagonistes. Nous analysons les interprétations théoriques de ce modèle ainsi que ses problèmes les plus importants, notamment l’instabilité de l’apprentissage du modèle et la difficulté de générer des échantillons diversifiés. Nous passons en revue les techniques classiques de conditionnement des GAN et proposons un aperçu des approches récentes visant à résoudre ses problèmes et à améliorer la qualité visuelle des images générées. Dans la suite de la thèse, nous nous concentrons sur une tâche de génération spécifique qui nécessite un conditionnement : la reconstruction d’images. Ce problème consiste à générer une image dont nous ne connaissons qu’un nombre très réduit de pixels à priori, généralement autour de 0,5 %. Ceci est motivé par une application directe en géostatistique : la reconstruction de données géologiques de sous-sols à partir d’une très petite quantité de mesures coûteuses et difficiles à obtenir. Pour ce faire, nous proposons d’introduire une tâche de reconstruction auxiliaire explicite dans le cadre du GAN qui, combinée à une technique de restauration de la diversité, a permis de générer des images de haute qualité qui respectent les mesures données. Dans la deuxième contribution nous étudions une tâche de transfert de domaine avec des modèles génératifs, en particulier le transfert d’images du domaine couleur au domaine polarimétrique. Les images polarimétriques sont soumises à des contraintes strictes qui découlent directement des propriétés physiques de la polarimétrie. En s’appuyant sur l’approche de cohérence cyclique, nous étendons la formulation des modèles génératifs avec des tâches auxiliaires qui poussent le générateur à faire respecter les contraintes polarimétriques. Nous montrons que cette approche permet non seulement de générer des images polarimétriques physiquement réalistes, mais que l’utilisation des images générées comme données augmentées augmente la performance des modèles de détection d’objets sur des applications d’analyse de scène routière.During the last decade, Generative Adversarial Networks (GANs) have caused a tremendous leap forward in image generation as a whole. Their ability to learn very complex, high-dimension distributions not only had a huge impact on the field of generative modeling, their influence extended to the general public at large. By being the first models able generate high-dimension photo-realistic images, GANs very quickly gained popularity as an image generation and photo manipulation technique. For example, their use as "filters" became common practice on social media, but they also allowed for the rise of Deepfakes, images that have been manipulated in order to fake the identity of a person. In this thesis, we explore the conditioning of Generative Adversarial Networks, that is influencing the generation process in order to control the content of a generated image. We focus on conditioning through auxiliary tasks, that is we explicitly implement additional objective to the generative model to complement the initial goal of learning the data distribution. First, we introduce generative modeling through several examples, and present the Generative Adversarial Networks framework. We discuss theoretical interpretations of GANs as well as its most prominent issues, notably the lack of stability during training of the model and the difficulty to generate diverse samples. We review classical techniques for conditioning GANs and propose an overview of recent approaches aiming to both solve the aforementioned issues and enhance the visual quality of the generated images. Afterwards, we focus on a specific generation task that requires conditioning : image reconstruction. In a nutshell, the problem consists in recovering an image from which we only have a handful of pixels available, usually around 0.5%. It stems from an application in geostatistics, namely the reconstruction of underground terrain from a reduced amount of expensive and difficult to obtain measurements. To do so, we propose to introduce an explicit auxiliary reconstruction task to the GAN framework which, in addition to a diversity-restoring technique, allows for the generation of high-quality images that respect the given measurements. Finally, we investigate a task of domain-transfer with generative models, specifically transferring images from the RGB color domain to the polarimetric domain. Polarimetric images bear hard constraints that directly stem from the physics of polarimetry. Leveraging on the cyclic-consistency paradigm, we extend the training of generative models with auxiliary tasks that push the generator towards enforcing the polarimetric constraints. We highlight that the approach manages to generate physically realistic polarimetric

Generative adversarial networks for medical imaging : unsupervised domain adaptation to reduce center effect in clinical trials

Le problème d’acquisition Shift est un problème largement répandu en imagerie médicale. Egalement nommé effet de centre, il est causé par l’absence de norme et d’homogénéité au sein des systèmes d’imageries médicales, mais également au sein des pratiques des médecins. Cela peut comprendre des paramètres et méthodes d’acquisitions différents. Cet effet engendre potentiellement un biais significatif au sein des bases d’images agrégées provenant de plusieurs centres. L’effet de centre peut causer des écarts entre les résultats obtenus lors du développement d’une méthode et sa mise en application dans le domaine clinique. De ce fait découle un besoin de méthodes avancées permettant de réduire cet écart inter-images à l’échelle d’une base d’images multicentriques. Deux méthodes d’adaptation de domaine non supervisée ont été proposées. Elles se basent sur l’utilisation de réseaux génératifs antagonistes ou GAN (generative adversarial networks), une famille récente de réseaux de neurones permettant de travailler directement à l’échelle de l’image. Une première méthode préliminaire, basée sur la mise en série de deux apprentissages - cyclique puis pixel à pixel, présentait un risque potentiel d’altération des structures au sein des images. La seconde méthode se base sur le contrastive learning. Cette approche permet un apprentissage rapide, sur peu de données, sans connaissances préalables requises sur les domaines auxquels appartiennent les images hétérogènes. Ces méthodes ont été mises en application dans des cadres de recherche mais également dans le cadre clinique, le but de ces travaux étant d’intégrer de telles méthodes dans le déploiement de l’étude Deep Lung IV menée par l’entreprise SOPHiA GENETICS sur le cancer du poumon. Nous avons montré que le contrastive learning utilisé en accord avec des fonctions de coût de préservation de structures permet de réduire la variabilité intra classe interne à une base d’images multicentrique, tout en préservant l’information structurelle des images.Acqusition shift is a wide spread medical imaging issue. Also known as Center Effect, acquisition shift is due to a lack of homogeneity and norms in medical imaging or medical process, including multiple acquisition parameters and methods. Acquisition shift may lead to high heterogeneity in multicentric databases.The center effet is responsible for potentially harmful differences between development and deployment conditions of a medical process. Thus there is a growing need for advanced methods that could mitigate this heterogeneity in a multicentric medical image database.Two approaches were proposed, based on unsupervised domain adaptation. These two methods focuse ondeep learning, more particularly generative adversartial networks, an image processing neural network architecture that shows significant performance for medical applications. The two-step preliminary method based on a cycleGAN and a Pix2Pix network was potentially altering geometric structures of the images. The second approach, based on contrastive learning, enables a quick learning, and need only a few data or knowledge about the several imaging centers gathered to create the image database. These two methods have been applied in a laboratory and clinical trial context. The aim of this work is to integrate such standardizing methods in the wide spread lung cancer clinical trial Deep Lung IV led by SOPHiA GENETICS. We have shown that contrastive learning, with the help of edge preserving loss functions, enables the decreasing of the heterogeneity in a multicentric database while preserving the structure of interest of the images

Apprentissage profond pour la reconstruction tomographique : Etude et application à la tomodensitométrie et à l'imagerie par émission de positrons

La tomographie consiste à reconstruire un volume à partir de ses projections. En tomodensitométrie (TDM), des rayons X sont transmis au patient puis atténués par leurs tissus : les projections sont obtenues à partir de l’atténuation mesurée. En tomographie par émission de positons (TEP), un radionucléide est injecté au patient, puis il émet un positon qui génère deux photons gamma dans des directions opposées. Les projections correspondent alors à l’ensemble des lignes de réponse entre chaque paire de photons détectés de façon simultanée. La reconstruction tomographique en TEP ou TDM revient à résoudre un problème inverse. Les méthodes analytiques sont rapides mais leur efficacité est restreinte lorsque les données sont bruitées ou sous-échantillonnées. Les méthodes itératives sont plus robustes au bruit et présentent moins d’artefacts de reconstruction, mais le temps de calcul des algorithmes correspondants est un inconvénient majeur en pratique. Les méthodes d’apprentissage profond ont le potentiel de surmonter ces limites. Le premier objectif de cette thèse est d’étudier l’impact de la fonction coût d’entraînement sur des métriques d’évaluation qui ont un intérêt majeur dans le cadre du diagnostic médical. Nous effectuons cette étude sur des données d’imagerie TDM de la microarchitecture osseuse, et nous montrons dans ce cas que la fonction coût L1 devrait être utilisée au regard de toutes les métriques considérées. Les réseaux entraînés avec des fonctions coût dites perceptuelles sont plus à même de retrouver les paramètres liés à la structure de l’os sur les images reconstruites, au détriment d’une diminution de la performance en terme de résolution. Utiliser une fonction coût inspirée des réseaux génératifs antagonistes améliore la précision de la reconstruction en terme de distribution des valeurs de densité. Nous nous intéressons ensuite à la TEP avec temps de vol pour des applications liées à l’imagerie peropératoire ; l’objectif est d’avoir une méthode de reconstruction qui puisse améliorer la détectabilité de tumeurs dans le cadre du cancer du sein. Nous proposons un réseau de neurones baptisé PAVENET qui récupère de façon simultanée l’image et la fonction d’étalement du point, qui dépend de l’image, à partir d’une reconstruction de faible qualité. Nous présentons dans cette thèse une preuve de concept pour PAVENET via des simulations Monte-Carlo de données d’acquisition d’un détecteur innovant étudié au Radiation Physics Laboratory à BostonThe purpose of tomography is to reconstruct a volume from its projections. In Computed Tomography (CT), X-rays are transmitted to a patient and attenuated by their tissues: the projections are obtained from the measured attenuation. For Positron Emission Tomography (PET), a radionuclide injected inside a patient emits a positron that generates two gamma photons in opposite directions. The projections correspond to the set of lines of response between each pair of simultaneously detected photons. Tomographic reconstruction for PET or CT amounts to solving an inverse problem. Analytical methods are fast but their efficiency is limited when data are under-sampled or noisy. Iterative methods are efficient for noise and artefacts removal, but the computation time represents a major drawback for practical use. Deep learning based methods have the potential to overcome those limits. The first objective of this thesis is to study the impact of the training loss on medical diagnosis-oriented evaluation metrics. We perform this study on bone microarchitecture CT imaging and show that in this case L1 loss should be used regarding all the considered metrics. Networks trained with perceptual losses show better transcription of structural features, at the cost of a deteriorated resolution. Adversarial losses improve the accuracy of the reconstruction in terms of density distribution. We then focus on Time of Flight (TOF) PET data for intraoperative surgical applications; our aim is to design a reconstruction method to improve the detectability of small tumors in the context of breast cancer. We propose a neural network called PAVENET that simultaneously retrieves the image and the image-dependent point-spread function (PSF) from a poor-quality initial reconstruction. We present in this thesis the proof of concept for PAVENET with experiments on Monte-Carlo simulations reproducing acquisitions from an innovative detector studied in the Radiation Physics Instrumentation Laboratory (RPIL) in Boston