Classification supervisée avec option de rejet partiel et contraintes de performance basée sur l'estimation des densités de probabilité

Cette communication traite les problèmes de classification avec option de rejet partiel et contraintes de performances. L'objectif est d'étudier la possibilité d'exploiter la solution obtenue dans le cadre des tests d'hypothèses statistiques en y introduisant des densités de probabilité conditionnelles estimées. Deux estimateurs de densités sont utilisés et deux modalités d'optimisation des estimateurs sont comparées et analysées

Apprentissage progressif pour la reconnaissance de symboles dans les documents graphiques

National audienceLes méthodes actuelles de reconnaissance de symboles donnent de bons résultats quand il s'agit de reconnaître peu de symboles différents qui sont peu bruités et souvent déconnectés du graphique. Cependant, dans le cas d'applications réelles, les méthodes sont encore mal maîtrisées quand il s'agit de discriminer dans de grandes bases entre plusieurs centaines de symboles différents, souvent complexes et bruités et encapsulés dans les couches graphiques. Dans ce contexte il est nécessaire de mettre en oeuvre des méthodes d'apprentissage. Nous présentons dans cet article une méthode d'apprentissage progressif pour la reconnaissance de symboles qui améliore son propre taux de reconnaissance au fur et à mesure que de nouveaux symboles sont reconnus dans les documents. Pour ce faire, nous proposons une nouvelle exploitation de l'analyse discriminante qui fournit des règles d'affectation à partir d'un échantillon d'apprentissage sur lequel les appartenances aux classes sont connues (apprentissage supervisé). Mais cette méthode ne se révèle efficace que si l'échantillon d'apprentissage et les données ultérieures sont observés dans les mêmes conditions. Or cette hypothèse est rarement vérifiée dans les conditions réelles. Pour pallier ce problème, nous avons adapté une approche récente d'analyse discriminante conditionnelle qui ajoute à chaque observation l'observation d'un vecteur aléatoire, représentatif des effets parasites observés dans l'analyse discriminante classique

Forêts Aléatoires PAC-Bayésiennes

Dans ce mémoire de maîtrise, nous présentons dans un premier temps un algorithme de l'état de l'art appelé Forêts aléatoires introduit par Léo Breiman. Cet algorithme effectue un vote de majorité uniforme d'arbres de décision construits en utilisant l'algorithme CART sans élagage. Par après, nous introduisons l'algorithme que nous avons nommé SORF. L'algorithme SORF s'inspire de l'approche PAC-Bayes, qui pour minimiser le risque du classificateur de Bayes, minimise le risque du classificateur de Gibbs avec un régularisateur. Le risque du classificateur de Gibbs constitue en effet, une fonction convexe bornant supérieurement le risque du classificateur de Bayes. Pour chercher la distribution qui pourrait être optimale, l'algorithme SORF se réduit à être un simple programme quadratique minimisant le risque quadratique de Gibbs pour chercher une distribution Q sur les classificateurs de base qui sont des arbres de la forêt. Les résultasts empiriques montrent que généralement SORF est presqu'aussi bien performant que les forêts aléatoires, et que dans certains cas, il peut même mieux performer que les forêts aléatoires.In this master's thesis, we present at first an algorithm of the state of the art called Random Forests introduced by Léo Breiman. This algorithm construct a uniformly weighted majority vote of decision trees built using the CART algorithm without pruning. Thereafter, we introduce an algorithm that we called SORF. The SORF algorithm is based on the PAC-Bayes approach, which in order to minimize the risk of Bayes classifier, minimizes the risk of the Gibbs classifier with a regularizer. The risk of Gibbs classifier is indeed a convex function which is an upper bound of the risk of Bayes classifier. To find the distribution that would be optimal, the SORF algorithm is reduced to being a simple quadratic program minimizing the quadratic risk of Gibbs classifier to seek a distribution Q of base classifiers which are trees of the forest. Empirical results show that generally SORF is almost as efficient as Random forests, and in some cases, it can even outperform Random forests

Analyse intelligente des images pour la surveillance dans une agriculture de précision

Les avancées technologiques de la vision par ordinateur et l'utilisation des systèmes d'intelligence artificielle (comme l'apprentissage automatique ou profond) ont eu un fort impact dans l'agriculture en la faisant passer à une nouvelle ère digitalisée. Il s'agit d'une agriculture numérique ou de précision dans laquelle on assiste à une forte utilisation des données, de l'informatique intelligente, des drones, et des capteurs pour produire davantage. A cet effet, cette thèse propose de nouvelles réponses aux enjeux de la surveillance des cultures menacées par des attaques fongiques. Ce qui nous a amené à donner de nouvelles contributions visant à relever les défis d’une agriculture de précision. Partant de là, nous avons effectué une étude bibliométrique sur les apports de l’apprentissage profond en agriculture. Nous avons discuté les contributions des chercheurs principalement impliqués, en vue d'apporter de nouvelles réponses aux défis de l’agriculture de précision. Cette étude a été clôturée par des recommandations essentielles dans la réalisation d’un système agricole intelligent. Il s’agit de (i) considérer la perception des acteurs humains du système; (ii) exiger la prise en compte des tests statistiques et des validations croisées des données d’entraînement lors de la comparaison des performances de plusieurs classificateurs ; (iii) analyser la performance d’un classificateur sur les données d’entraînement en faible quantité. Dans un premier temps, pour consolider cette étude, nous avons étudié la classification de la maladie mildiou au niveau de la culture du mil, une des cultures vivrières des régions d’Afrique et d’Asie. Dans ce travail, un accent a été mis sur la faible quantité de données d'entraînements supervisées, nécessaires pour former de tels classificateurs. Dans un second temps, nous avons proposé une nouvelle tâche de classification des réseaux de neurones convolutifs en augmentant les espaces de caractéristiques des données d’entraînement. Cette approche se base sur les principes de l’apprentissage multitâches dans l’élaboration d’un modèle de classification multi-labels avec la comparaison de plusieurs classificateurs. Durant des années, les recherches en apprentissage automatique étaient beaucoup plus concentrées sur la performance des modèles de prédiction plutôt que sur leur compréhension, leur interprétation et leur pouvoir de décision. Si nous comprenions ce que le modèle a appris, il est possible de garantir la qualité des résultats obtenus. Dans un troisième temps, nous avons observé les propriétés de visualisation d’un modèle profond afin d’obtenir des résultats significatifs, explicables par un utilisateur quelconque. Nous avons qualitativement analysé des cartes de visualisation des méthodes d'explicabilité lors de la localisation des insectes ravageurs des cultures. Au-delà d’une prédiction à base du calcul de probabilité, nous avons guidé le processus de la localisation d’insectes en employant la théorie de l’information mutuelle. L'apprentissage profond requiert assez souvent une grande quantité de données et une puissance de calcul pour entraîner un réseau de neurones profonds. Les résultats obtenus par nos travaux ont prouvé que, l'apprentissage par transfert, l'augmentation des données et le partage des tâches constituent des moyens efficients pour améliorer la capacité des réseaux de neurones profonds. Notons que les systèmes ont pour vocation d'interagir avec des utilisateurs humains. Ils doivent donc être en mesure d'expliquer, de justifier leur comportement et les décisions qu'ils prennent afin que ces utilisateurs puissent comprendre les actions réalisées. Les contributions de cette thèse ont dévoilé que, l'exploration des méthodes de l'explicabilité est un moyen pertinent et utile pour le déploiement des outils d'intelligence artificielle au service de l’agriculture de précision

Towards Understanding Generalization in Gradient-Based Meta-Learning

Dans ce mémoire, nous étudions la généralisation des réseaux de neurones dans le contexte du méta-apprentissage, en analysant divers propriétés des surface leurs fonctions objectifs. La recherche en apprentissage automatique portant sur les surfaces de fonctions objectifs des réseaux de neurones ayant aidé à comprendre leur généralisation en apprentissage supervisé standard, nous proposons l'étude de telles surfaces dans le but d'approfondir nos connaissances sur la généralisation en méta-apprentissage. Nous introduisons d'abord la littérature sur les fonctions objectifs des réseaux de neurones à la Section \ref{sec:intro:objective_landscapes}, puis celle portant sur le méta-apprentissage à la Section \ref{sec:intro:meta-learning}, pour enfin terminer notre introduction avec le méta-apprentissage par descente de gradient, très similaire à l'entraînement des réseaux de neurones par descente de gradient stochastique et pour une tâche unique. Nous présentons par la suite notre travail sur les fonctions objectifs en méta-apprentissage au Chapitre \ref{chap:prof_forcing}, lequel nous avons soumis à la conférence NeurIPS 2019 en tant qu'article scientifique. Au moment d'écrire ce mémoire, et au meilleur de notre connaissance, ce travail est le premier à étudier empiriquement les surfaces des fonctions objectifs en méta-apprentissage, particulièrement dans le contexte de l'apprentissage profond, et nous mettons notamment en lumière certaines propriétés de ces surfaces qui apparaissent liées à la généralisation des réseaux de neurones à de nouvelles tâches. Nous démontrons empiriquement qu'alors que progresse la phase de méta-entraînement, pour les solutions aux nouvelles tâches obtenues via quelques itérations de descente de gradient, la courbure de la fonction objective décroit monotoniquement, la valeur de la fonction objective diminue, tandis que la distance euclidienne avec la solution ``méta-entraînement" augmente. Cependant, nous observons que la courbure des minima continue de décroître même lorsque le sur-apprentissage devient apparent et que la généralisation commence à se dégrader, indiquant que la courbure des minima semble peu corrélée à la généralisation en méta-apprentissage par descente de gradient. De plus, nous montrons empiriquement que la généralisation aux nouvelles tâches semble plutôt liée à la cohérence de leurs trajectoires d'adaptation dans l'espace des paramètres, mesurée par la similarité cosinus moyenne entre les trajectoires. Nous montrons également que la cohérence des gradients ''meta-test", mesurée par le produit scalaire moyen entre les vecteurs de gradients spécifiques aux nouvelles tâches, évalué à solution meta-entraînement, est également corrélée à la généralisation. Nous basant sur ces observations, nous proposons un nouveau terme de régularisation pour l'algorithme de méta-apprentissage Model Agnostic Meta-Learning (MAML).In this master's thesis, we study the generalization of neural networks in gradient-based meta-learning by analyzing various properties of the objective landscapes. Meta-learning, a challenging paradigm where models not only have to learn a task but beyond that, are trained for ``learning to learn" as they must adapt to new tasks and environments with very limited data about them. With research on the objective landscapes of neural networks in classical supervised having provided some answers regarding their ability to generalize for new data points, we propose similar analyses aimed at understanding generalization in meta-learning. We first introduce the literature on objective landscapes of neural networks in Section \ref{sec:intro:objective_landscapes}. We then introduce the literature of meta-learning in Section \ref{chap:prof_forcing}, concluding our introduction with the approach of gradient-based meta-learning, a meta-learning setup that bears strong similarities to the traditional supervised learning setup through stochastic gradient-based optimization. At the time of writing of this thesis, and to the best of our knowledge, this is the first work to empirically study the objective landscapes in gradient-based meta-learning, especially in the context of deep learning. We notably provide some insights on some properties of those landscapes that appear correlated to the generalization to new tasks. We experimentally demonstrate that as meta-training progresses, the meta-test solutions, obtained after adapting the meta-train solution of the model, to new tasks via few steps of gradient-based fine-tuning, become flatter, lower in loss, and further away from the meta-train solution. We also show that those meta-test solutions become flatter even as generalization starts to degrade, thus providing experimental evidence against the correlation between generalization and flat minima in the paradigm of gradient-based meta-leaning. Furthermore, we provide empirical evidence that generalization to new tasks is correlated with the coherence between their adaptation trajectories in parameter space, measured by the average cosine similarity between task-specific trajectory directions, starting from a same meta-train solution. We also show that coherence of meta-test gradients, measured by the average inner product between the task-specific gradient vectors evaluated at meta-train solution, is also correlated with generalization. Based on these observations, we propose a novel regularizer for the Model Agnostic Meta-Learning (MAML) algorithm and provide experimental evidence for its effectiveness

Generative models : a critical review

Dans cette thèse, nous introduisons et motivons la modélisation générative comme une tâche centrale pour l’apprentissage automatique et fournissons une vue critique des algorithmes qui ont été proposés pour résoudre cette tâche. Nous montrons comment la modélisation générative peut être définie mathématiquement en essayant de faire une distribution d’estimation identique à une distribution de vérité de terrain inconnue. Ceci peut ensuite être quantifié en termes de valeur d’une divergence statistique entre les deux distributions. Nous décrivons l’approche du maximum de vraisemblance et comment elle peut être interprétée comme minimisant la divergence KL. Nous explorons un certain nombre d’approches dans la famille du maximum de vraisemblance, tout en discutant de leurs limites. Enfin, nous explorons l’approche antagoniste alternative qui consiste à étudier les différences entre une distribution d’estimation et une distribution de données réelles. Nous discutons de la façon dont cette approche peut donner lieu à de nouvelles divergences et méthodes qui sont nécessaires pour réussir l’apprentissage par l’adversité. Nous discutons également des nouveaux paramètres d’évaluation requis par l’approche contradictoire. Le chapitre ref chap: fortnet montre qu’en apprenant des modèles génératifs des couches cachées d’un réseau profond, on peut identifier quand le réseau fonctionne sur des données différentes des données observées pendant la formation. Cela nous permet d’étudier les différences entre les modes de fonctionnement libre et de forçage des enseignants dans les réseaux récurrents. Cela conduit également à une meilleure robustesse face aux attaques adverses. Le chapitre ref chap: gibbsnet a exploré une procédure itérative pour la génération et l’inférence dans les réseaux profonds, qui est inspirée par la procédure MCMC de gibbs bloquées pour l’échantillonnage à partir de modèles basés sur l’énergie. Cela permet d’améliorer l’inpainting, la génération et l’inférence en supprimant l’exigence que les variables a priori sur les variables latentes aient une distribution connue. Le chapitre ref chap: discreg a étudié si les modèles génératifs pouvaient être améliorés en exploitant les connaissances acquises par des modèles de classification discriminants. Nous avons étudié cela en augmentant les autoencoders avec des pertes supplémentaires définies dans les états cachés d’un classificateur fixe. Dans la pratique, nous avons montré que cela conduisait à des modèles générateurs mettant davantage l’accent sur les aspects saillants des données, et discutait également des limites de cette approche.In this thesis we introduce and motivate generative modeling as a central task for machine learning and provide a critical view of the algorithms which have been proposed for solving this task. We overview how generative modeling can be de ned mathematically as trying to make an estimating distribution the same as an unknown ground truth distribution. This can then be quanti ed in terms of the value of a statistical divergence between the two distributions. We outline the maximum likelihood approach and how it can be interpreted as minimizing KL-divergence. We explore a number of approaches in the maximum likelihood family, while discussing their limitations. Finally, we explore the alternative adversarial approach which involves studying the di erences between an estimating distribution and a real data distribution. We discuss how this approach can give rise to new divergences and methods that are necessary to make adversarial learning successful. We also discuss new evaluation metrics which are required by the adversarial approach. Chapter 2 shows that by learning generative models of the hidden layers of a deep network can identify when the network is being run on data di ering from the data seen during training. This allows us to study di erences between freerunning and teacher forcing modes in recurrent networks. It also leads to improved robustness to adversarial attacks. Chapter 3 explored an iterative procedure for generation and inference in deep networks, which is inspired by the blocked gibbs MCMC procedure for sampling from energy-based models. This achieves improved inpainting, generation, and inference by removing the requirement that the prior over the latent variables have a known distribution. Chapter 4 studied whether generative models could be improved by exploiting the knowledge learned by discriminative classi cation models. We studied this by augmenting autoencoders with additional losses de ned in the hidden states of a xed classi er. In practice we showed that this led to generative models with better focus on salient aspects of the data, and also discussed limitations in this approach

Modélisation Hiérarchique de Données Multidimensionnelles dans des Espaces Régulièrement Décomposés : Tome 4 : Synthèse et Perspectives (2016 -2018)

Ce quatrième et dernier tome a pour objectif de détailler les travaux envisagés dans un projet présenté dans le tome précédent. Il porte sur une nouvelle approche dédiée au codage des images fixes et animées, établissant ainsi un pont entre les corps de normes MPEG-4 et MPEG-7.Ce projet a pour objectif de définir les principes du codage vidéo auto-descriptif. Pour les établir le document est décomposé en cinq chapitres qui détaillent les diverses techniques envisagées pour mettre au point une telle approche en codage visuel:- segmentation d’images,- calcul de descripteurs visuels,- calcul de regroupements perceptuels,- construction de dictionnaires visuels,- codage d’images et de vidéos.Fondé sur les techniques de calcul multirésolution, il se propose de développer une segmentation d’image en composantes régulières par morceaux, de calculer des attributs portant sur le support et le rendu des formes ainsi produites, indépendamment des transformations géométriques que celles-ci peuvent subir dans le plan image, et de les assembler en groupements perceptuels de manière à pouvoir mettre en œuvre une reconnaissance des formes en parties cachées.Grâce à la quantification vectorielle du support et du rendu des formes, il apparaîtra que les formes simples peuvent être assimilées à un alphabet visuel et que les formes complexes deviennent alors des mots rédigés sur cet alphabet qui pourront être enregistrés dans un dictionnaire. A l’aide d’un balayage au plus proche voisin appliqué sur les formes de l’image, l’encodage auto-descriptif produira alors une phrase formée de mots rédigés à partir de l’alphabet des formes simples

Sequential decision modeling in uncertain conditions

Cette thèse consiste en une série d’approches pour la modélisation de décision structurée - c’est-à-dire qu’elle propose des solutions utilisant des modèles génératifs pour des tâches intégrant plusieurs entrées et sorties, ces entrées et sorties étant dictées par des interactions complexes entre leurs éléments. Un aspect crucial de ces problèmes est la présence en plus d’un résultat correct, des résultats structurellement différents mais considérés tout aussi corrects, résultant d’une grande mais nécessaire incertitude sur les sorties du système. Cette thèse présente quatre articles sur ce sujet, se concentrent en particulier sur le domaine de la synthèse vocale à partir de texte, génération symbolique de musique, traitement de texte, reconnaissance automatique de la parole, et apprentissage de représentations pour la parole et le texte. Chaque article présente une approche particulière à un problème dans ces domaines respectifs, en proposant et étudiant des architectures profondes pour ces domaines. Bien que ces techniques d’apprentissage profond utilisées dans ces articles sont suffisamment versatiles et expressives pour être utilisées dans d’autres domaines, nous resterons concentrés sur les applications décrites dans chaque article. Le premier article présente une approche permettant le contrôle détaillé, au niveau phonétique et symbolique, d’un système de synthèse vocale, en utilisant une méthode d’échange efficace permettant de combiner des représentations à un niveau lexical. Puisque cette combinaison permet un contrôle proportionné sur les conditions d’entrée, et améliore les prononciations faisant uniquement usage de caractères, ce système de combinaison pour la synthèse vocale a été préféré durant des tests A/B par rapport à des modèles de référence équivalents utilisant les mêmes modalités. Le deuxième article se concentre sur un autre système de synthèse vocale, cette fois-ci centré sur la construction d’une représentation multi-échelle de la parole à travers une décomposition structurée des descripteurs audio. En particulier, l’intérêt de ce travail est dans sa méthodologie économe en calcul malgré avoir été bâti à partir de travaux antérieurs beaucoup plus demandant en ressources de calcul. Afin de bien pouvoir faire de la synthèse vocale sous ces contraintes computationelles, plusieurs nouvelles composantes ont été conçues et intégrées à ce qui devient un modèle efficace de synthèse vocale. Le troisième article un nouveau modèle auto-régressif pour modéliser des chaînes de symboles. Ce modèle fait usage de prédictions et d’estimations itérative et répétées afin de construire une sortie structurée respectant plusieurs contraintes correspondant au domaine sous-jacent. Ce modèle est testé dans le cadre de la génération symbolique de musique et la modélisation de texte, faisant preuve d’excellentes performances en particulier quand la quantité de données s’avère limitée. Le dernier article de la thèse se concentre sur l’étude des représentations pour la parole et le texte apprise à partir d’un système de reconnaissance vocale d’un travail antérieur. À travers une série d’études systématiques utilisant des modèles pré-entraînés de texte et de durée, relations qualitatives entre les données de texte et de parole, et études de performance sur la récupération transmodal “few shot”, nous exposons plusieurs propriétés essentielles sous-jacent à la performance du système, ouvrant la voie pour des développements algorithmiques futurs. De plus, les différents modèles résultants de cette étude obtiennent des résultats impressionnants sur un nombre de tâches de référence utilisant des modèles pré-entraîné transféré sans modification.This thesis presents a sequence of approaches to structured decision modeling - that is, proposing generative solutions to tasks with multiple inputs and outputs, featuring complicated interactions between input elements and output elements. Crucially, these problems also include a high amount of uncertainty about the correct outcome and many largely equivalent but structurally different outcomes can be considered equally correct. This thesis presents four articles about these topics, particularly focusing on the domains of text-to-speech synthesis, symbolic music generation, text processing, automatic speech recognition, and speech-text representation learning. Each article presents a particular approach to solving problems in these respective domains, focused on proposing and understanding deep learning architectures for these domains. The deep learning techniques used in these articles are broadly applicable, flexible, and powerful enough that these general approaches may find application to other areas however we remain focused on the domains discussed in each respective article. The first article presents an approach allowing for flexible phonetic and character control of a text-to-speech system, utilizing an efficient "swap-out" method for blending representations at the word level. This blending allows for smooth control over input conditions, and also strengthens character only pronunciations, resulting in a preference for a blended text-to-speech system in A/B testing, compared to an equivalent baselines even when using the same input information modalities. The second article focuses on another text-to-speech system, this time centered on building multi-scale representations of speech audio using a structured decomposition of audio features. Particularly this work focuses on a compute efficient methodology, while building on prior work which requires a much greater computational budget than the proposed system. In order to effectively perform text-to-speech synthesis under these computational constraints, a number of new components are constructed and integrated, resulting in an efficient model for text-to-speech synthesis. The third article presents a new non-autoregressive model for modeling symbolic sequences. This model uses iterative prediction and re-estimation in order to build structured outputs, which respect numerous constraints in the underlying sequence domain. This model is applied to symbolic music modeling and text modeling, showing excellent performance particularly in limited data generative settings. The final article in this thesis focuses on understanding the speech-text representations learned by a text-injected speech recognition system from prior literature. Through a systematic series of studies utilizing pre-trained text and duration models, qualitative relations between text and speech sequences, and performance studies in few-shot cross-modal retrieval, we reveal a number of crucial properties underlying the performance of this system, paving the way for future algorithmic development. In addition, model variants built during this study achieve impressive performance results on a number of benchmark tasks using partially frozen and transferred parameters