Optimization tools for non-asymptotic statistics in exponential families

Les familles exponentielles sont une classe de modèles omniprésente en statistique. D'une part, elle peut modéliser n'importe quel type de données. En fait la plupart des distributions communes en font partie : Gaussiennes, variables catégoriques, Poisson, Gamma, Wishart, Dirichlet. D'autre part elle est à la base des modèles linéaires généralisés (GLM), une classe de modèles fondamentale en apprentissage automatique. Enfin les mathématiques qui les sous-tendent sont souvent magnifiques, grâce à leur lien avec la dualité convexe et la transformée de Laplace. L'auteur de cette thèse a fréquemment été motivé par cette beauté. Dans cette thèse, nous faisons trois contributions à l'intersection de l'optimisation et des statistiques, qui tournent toutes autour de la famille exponentielle. La première contribution adapte et améliore un algorithme d'optimisation à variance réduite appelé ascension des coordonnées duales stochastique (SDCA), pour entraîner une classe particulière de GLM appelée champ aléatoire conditionnel (CRF). Les CRF sont un des piliers de la prédiction structurée. Les CRF étaient connus pour être difficiles à entraîner jusqu'à la découverte des technique d'optimisation à variance réduite. Notre version améliorée de SDCA obtient des performances favorables comparées à l'état de l'art antérieur et actuel. La deuxième contribution s'intéresse à la découverte causale. Les familles exponentielles sont fréquemment utilisées dans les modèles graphiques, et en particulier dans les modèles graphique causaux. Cette contribution mène l'enquête sur une conjecture spécifique qui a attiré l'attention dans de précédents travaux : les modèles causaux s'adaptent plus rapidement aux perturbations de l'environnement. Nos résultats, obtenus à partir de théorèmes d'optimisation, soutiennent cette hypothèse sous certaines conditions. Mais sous d'autre conditions, nos résultats contredisent cette hypothèse. Cela appelle à une précision de cette hypothèse, ou à une sophistication de notre notion de modèle causal. La troisième contribution s'intéresse à une propriété fondamentale des familles exponentielles. L'une des propriétés les plus séduisantes des familles exponentielles est la forme close de l'estimateur du maximum de vraisemblance (MLE), ou maximum a posteriori (MAP) pour un choix naturel de prior conjugué. Ces deux estimateurs sont utilisés presque partout, souvent sans même y penser. (Combien de fois calcule-t-on une moyenne et une variance pour des données en cloche sans penser au modèle Gaussien sous-jacent ?) Pourtant la littérature actuelle manque de résultats sur la convergence de ces modèles pour des tailles d'échantillons finis, lorsque l'on mesure la qualité de ces modèles avec la divergence de Kullback-Leibler (KL). Pourtant cette divergence est la mesure de différence standard en théorie de l'information. En établissant un parallèle avec l'optimisation, nous faisons quelques pas vers un tel résultat, et nous relevons quelques directions pouvant mener à des progrès, tant en statistiques qu'en optimisation. Ces trois contributions mettent des outil d'optimisation au service des statistiques dans les familles exponentielles : améliorer la vitesse d'apprentissage de GLM de prédiction structurée, caractériser la vitesse d'adaptation de modèles causaux, estimer la vitesse d'apprentissage de modèles omniprésents. En traçant des ponts entre statistiques et optimisation, cette thèse fait progresser notre maîtrise de méthodes fondamentales d'apprentissage automatique.Exponential families are a ubiquitous class of models in statistics. On the one hand, they can model any data type. Actually, the most common distributions are exponential families: Gaussians, categorical, Poisson, Gamma, Wishart, or Dirichlet. On the other hand, they sit at the core of generalized linear models (GLM), a foundational class of models in machine learning. They are also supported by beautiful mathematics thanks to their connection with convex duality and the Laplace transform. This beauty is definitely responsible for the existence of this thesis. In this manuscript, we make three contributions at the intersection of optimization and statistics, all revolving around exponential families. The first contribution adapts and improves a variance reduction optimization algorithm called stochastic dual coordinate ascent (SDCA) to train a particular class of GLM called conditional random fields (CRF). CRF are one of the cornerstones of structured prediction. CRF were notoriously hard to train until the advent of variance reduction techniques, and our improved version of SDCA performs favorably compared to the previous state-of-the-art. The second contribution focuses on causal discovery. Exponential families are widely used in graphical models, and in particular in causal graphical models. This contribution investigates a specific conjecture that gained some traction in previous work: causal models adapt faster to perturbations of the environment. Using results from optimization, we find strong support for this assumption when the perturbation is coming from an intervention on a cause, and support against this assumption when perturbation is coming from an intervention on an effect. These pieces of evidence are calling for a refinement of the conjecture. The third contribution addresses a fundamental property of exponential families. One of the most appealing properties of exponential families is its closed-form maximum likelihood estimate (MLE) and maximum a posteriori (MAP) for a natural choice of conjugate prior. These two estimators are used almost everywhere, often unknowingly -- how often are mean and variance computed for bell-shaped data without thinking about the Gaussian model they underly? Nevertheless, literature to date lacks results on the finite sample convergence property of the information (Kulback-Leibler) divergence between these estimators and the true distribution. Drawing on a parallel with optimization, we take some steps towards such a result, and we highlight directions for progress both in statistics and optimization. These three contributions are all using tools from optimization at the service of statistics in exponential families: improving upon an algorithm to learn GLM, characterizing the adaptation speed of causal models, and estimating the learning speed of ubiquitous models. By tying together optimization and statistics, this thesis is taking a step towards a better understanding of the fundamentals of machine learning

Améliorations des transmissions VLC (Visible Light Communication) sous contrainte d'éclairage : études théoriques et expérimentations

Abstract : Indoor visible light communication (VLC) networks based on light-emitting diodes (LEDs) currently enjoy growing interest thanks in part to their robustness against interference, wide license-free available bandwidth, low cost, good energy efficiency and compatibility with existing lighting infrastructure. In this thesis, we investigate spectral-efficient modulation techniques for the physical layer of VLC to increase throughput while considering the quality of illumination as well as implementation costs. Numerical and experimental studies are performed employing pulse amplitude modulation (PAM) and carrierless amplitude and phase (CAP) modulation under illumination constraints and for high modulation orders. Furthermore, the impact of LED nonlinearity is investigated and a postdistortion technique is evaluated to compensate these nonlinear effects. Within this framework, transmission rates in the order of a few hundred Mb/s are achieved using a test bench made of low-cost components. In addition, an imaging multiple input multiple-output (MIMO) system is developed and the impact on performance of imaging lens misalignment is theoretically and numerically assessed. Finally, a polynomial matrix decomposition technique based on the classical LU factorization method is studied and applied for the first time to MIMO VLC systems in large space indoor environments.Les réseaux de communication en lumière visible (VLC) s’appuyant sur l’utilisation de diodes électroluminescentes (LED) bénéficient actuellement d’un intérêt grandissant, en partie grâce à leur robustesse face aux interférences électromagnétiques, leur large bande disponible non-régulée, leur faible coût, leur bonne efficacité énergétique, ainsi que leur compatibilité avec les infrastructures d’éclairage déjà existantes. Dans cette thèse, nous étudions des techniques de modulation à haute efficacité spectrale pour la couche physique des VLC pour augmenter les débits tout en considérant la qualité de l’éclairage ainsi que les coûts d’implémentation. Des études numériques et expérimentales sont réalisées sur la modulation d’impulsion d’amplitude (PAM) et sur la modulation d’amplitude et de phase sans porteuse (CAP) sous des contraintes d’éclairage et pour des grands ordres de modulation. De plus, l’impact des non-linéarités de la LED est étudié et une technique de post-distorsion est évaluée pour corriger ces effets non-linéaires. Dans ce cadre, des débits de plusieurs centaines de Mb/s sont atteints en utilisant un banc de test réalisé à partir de composants à bas coûts. Par ailleurs, un système multi-entrées multi-sorties (MIMO) imageant est également développé et l’impact du désaxage de l’imageur sur les performances est étudié. Finalement, une technique de décomposition polynomiale basée sur la méthode de factorisation classique LU est étudiée et appliquée aux systèmes MIMO VLC dans des grands espaces intérieurs

La prise en charge des aidants-conjoints dans la maladie d'Alzheimer en médecine générale

Introduction : les aidants dans la maladie d Alzheimer jouent un rôle important dans la prise en charge de la personne malade. La moitié des aidants sont les conjoints, souvent âgés. Ce rôle a une répercussion importante sur la santé de l aidant. Depuis 2010, il est recommandé aux médecins généralistes d organiser un suivi médical spécifique. Or ce suivi médical est difficile. Objectif : comprendre comment prendre en charge les aidants-conjoints en médecine générale. Matériel et méthode : une étude qualitative a été réalisée auprès de 14 aidants conjoints par entretien individuel semi-dirigé recrutés via les accueils de jours angevins. Résultats : la maladie d Alzheimer était une crise existentielle pour l aidant-conjoint. L engagement et le lien affectif qui le reliait à la personne malade l impliquait activement dans le soin. Cela perturbait la prise en charge médicale des aidants reculant les soins non urgents. Leur réticence à se faire aider et une interaction avec l équipe soignante de la personne malade gênaient l implication du médecin. Les médecins intervenaient peu. D autres réponses étaient apportées pour améliorer leur qualité de vie comme la persistance des loisirs ou le recours aux aides professionnelles. Conclusion : l aidant s adapte à la maladie de son conjoint engendrant des conduites à risques mais aussi des conduites bénéfiques. Ces conduites sont importantes à évaluer par le médecin pour cibler les besoins de l aidant et améliorer sa réponse. D autre part, le médecin doit être plus impliqué dans le suivi de l aidant. Il apparait donc important d améliorer la communication entre tous les intervenants en incluant le médecin généraliste de l aidant.Background : The caregivers of persons with Alzheimer s disease get involved into cares for their elderly relatives. Fifty percent of them are spouses. Responsibilities they take have an impact on their own health leading to exhaustion and depression. From 2010 on, general practitioners (GP) in France have been invited to offer a specific medical support to them. However, this seems difficult to realize.Aim: To understand how general practitioner can support the spouse caregivers. Methods: This qualitative study using the analysis of semi-structured interviews was conducted with 14 spouse caregivers recruited from adult day care, in Angers, France. Results: Alzheimer s disease was an existential crisis. The emotional connection and the sense of commitment strongly involved the spouse caregivers into cares for the loved ones. This disturbed the medical support of the caregivers. They reported non-urgent cares for themselves. Moreover their intention to handle things on their own and the interaction with health professionals of the care recipients interfered with the involvement of the caregivers GP even if GP weren t active enough. However the caregivers improved their quality of life themselves. Conclusion: Caregivers are adaptive. The necessity to adapt generates both negative or positive behaviors. The GP must appraise these behaviors and lead caregivers to the positive one if necessary. So he has to accurately assess the needs of caregivers to enhance their support. He has to be more involved in the caregivers support. It thus seems to be important to improve communication between support services, health professionals of care recipients and caregivers GP.ANGERS-BU Médecine-Pharmacie (490072105) / SudocSudocFranceF

Au sujet de l’épizootie de peste aviaire qui sévit actuellement en France

Jacotot Henri, Vallée A., Le Priol A. Au sujet de l'épizootie de peste aviaire qui sévit actuellement en France. In: Bulletin de l'Académie Vétérinaire de France tome 103 n°1, 1950. pp. 75-78