Graphical models for mixed data with categorical latent variables

Aquesta tesi pretén proporcionar una visió general dels models gràfics probabilístics en el context d'altres mètodes d'aprenentatge automàtic àmpliament utilitzats, i com aquests mètodes es poden formalitzar utilitzant models de independència condicionada i estadística algebraica. A base de comparar les Mixtures Gaussianes amb les Xarxes Neuronals interpretades com a models generatius, proposem un model gràfic per a dades mixtes (variables discretes i contítnues) que proporciona una base teòrica sòlida i una manera d'analitzar la Màquina de Boltzmann Restringida Gaussiana-Bernoulli. Això s'utilitza per modelar variables amb una distribució gaussiana condicionada, amb variables latents discretes. A més a més, aquesta tesi es centra en els procediments d'aprenentatge i mostreig, així com en l'ús de tècniques d'estadística algebraica per a descriure la expressivitat del model, fent servir models d'independència i de mixtura per a les varietats semi-algebraiques dels cumulants.Esta tesis pretende proporcionar una visión general de los modelos gráficos probabilísticos en el contexto de otros métodos de aprendizaje automático ampliamente utilizados, y cómo estos métodos pueden ser formalizados utilizando modelos de independencia condicional y estadística algebraica. Al comparar los populares modelos de Mezclas Gaussianas con las redes neuronales vistas como modelos generativos, proponemos un modelo gráfico para datos mixtos (variables discretas y continuas) que sirve de base teórica sólida a la vez que permite analizar la Máquina de Boltzmann Restringida Gaussiana-Bernoulli. Esto se utiliza para modelar variables con una distribución gaussiana condicionada, con variables latentes discretas. Además, esta tesis se explaya sobre los procedimientos de aprendizaje y muestreo del modelo, así como en el uso de técnicas de estadística algebraica para describir la expresividad del mismo, utilizando modelos de independencia y mezcla para las variedades semi-algebraicas de los cumulantes.This thesis aims to provide an overview of probabilistic graphical models in the context of other widely used machine learning methods, and how these methods can be formalised using conditional independence models and algebraic statistics. By comparing the extremely popular Gaussian Mixture Models and Neural Networks as generative graphical models, we are able to propose a graphical model for mixed data (discrete and continuous components) that provides a solid theoretical background and a way to analyse the Gaussian-Bernoulli Restricted Boltzmann Machine. This is used to model variables with a Gaussian conditional distribution, with discrete latent variables. On top of that, this thesis then goes into learning and sampling procedures as well as using techniques from algebraic statistics to further depict the expressibility of the model, making use of independence and mixture models for cumulant semi-algebraic varieties.Outgoin

Properties of Intermittent Transport in the Mega Ampere Spherical Tokamak

This thesis investigates the properties of intermittent transport on the Mega Amp Spher- ical Tokamak (MAST) both through dedicated experiment and numerical modelling. A ball pen probe (BPP) diagnostic has been operated on MAST to make a direct mea- surement of the plasma potential at the plasma boundary. By combining the BPP measurement with the floating potential from a Langmuir probe (LP) a measurement of the electron temperature is obtained, which is compared to the Thomson scattering diagnostic allowing for the accuracy of the BPP measurement of plasma potential to be assessed. From the measurement of the plasma potential the profile of the radial elec- tric field is extracted. Using a third LP on the probe face fluctuation statistics of the ion-saturation current are determined. The skewness of the Isat fluctuations is shown cross zero at the point where the radial electric field gradient maximizes. This suggests that intermittency in the plasma edge of MAST is produced at the centre of the radial shear layer, with negative skewness inside and positive skewness outside the centre of the shear layer. The intermittent transport in the scrape-off layer (SOL) can be approximated as the result of successive discrete transport events arising from the motion of individual fil- aments. The BOUT++ framework has been used to model the motion of individual filaments in a geometry representative of the SOL of MAST. The SOL geometry gives rise to gradients in the filament parallel to the magnetic field through two mechanisms; enhanced diffusion in the divertor region and resistive ballooning. Parallel gradients cause a departure of the filament dynamics from 2D predictions due to the presence of the Boltzmann response in 3D. This provides a mechanism for poloidal motion of the filament alongside a breakdown into resistive drift-wave turbulence with the turbulent scale-length determined by the level of diffusion present in the system. The motion of the filament in the direction normal and bi-normal to the magnetic field line is shown to be approximately decoupled. The velocity of the filament in the normal direction displays a scaling with temperature and filament size congruent with the resistive bal- looning or ideal interchange regimes of 2D blob dynamics whilst the bi-normal velocity of the filament adheres to a scaling based on the Boltzmann response. An increase in temperature is shown to provide a slight increase in the net radial transport of particles due to the motion of the filament at the outboard midplane, however an increase in filament width provides a far stronger increase in particle transport. This suggests that for MAST the filament with is the main parameter determining the level of intermittent particle transport in the SOL

Investigation of hidden multipolar spin order in frustrated magnets using interpretable machine learning techniques

Frustration gives rise to a plethora of intricate phenomena, the most salient of which are spin liquids, both classical ones—such as the spin-ice phase which has been realized experimentally in rare-earth oxide pyrochlore materials—and their more elusive quantum counterparts. At low temperatures, classical frustrated spin systems may still order, despite their extensive ground-state degeneracy, due to the order-by-disorder phenomenon. The resulting orders are often of a multipolar type which defies conventional probes. Identifying and characterizing such “hidden” orders is thus a challenging endeavor. This thesis introduces a machine-learning framework for studying the phase diagram of classical frustrated spin models in an unbiased and automated way. The interpretability of the resulting classification was of paramount importance in the design of the method. It allows for the inference of both the order parameter tensors of the phases with broken symmetries as well as the constraints which are characteristic of classical spin liquids and signal their emergent gauge structure. On top of that, it establishes a hierarchical relationship among the various phases according to their degree of disorder. The framework is applied to three different models and spin configurations are harvested from classical Monte Carlo simulations of those. A gauge model is used to mimic the interactions between the mesogens of generalized nematics. These may possess arbitrary point group symmetry, resulting in benchmark models with a low-temperature phase that breaks the O(3) spin symmetry accordingly. In addition, two frustrated spin models are considered. The historically important case of the Heisenberg model on the kagome lattice gives rise to hidden triatic order which requires a description in terms of two tensors of different ranks; the machine is capable of finding both. Meanwhile, for the XXZ model on the pyrochlore lattice, the machine reconstructs the complex phase diagram which was only recently obtained and correctly identifies the spin nematic phase as well as three distinct types of classical spin liquids, including their crossovers. The method has the potential to accelerate the characterization of model Hamiltonians of frustrated magnets. It can scrutinize the whole parameter space at once and may thus help to identify interesting regimes, paving the way for the search of new orders and spin liquids.Frustration führt zu einer Fülle komplexer Phänomene, von denen die herausragendsten Spinflüssigkeiten sind, sowohl klassische – wie beispielsweise die Spin-Eis-Phase, die experimentell in den Oxiden seltener Erden auf dem Pyrochlor-Gitter realisiert wurde – und ihre schwerer fassbaren quantenmechanischen Gegenstücke. Bei niedrigen Temperaturen können klassische frustrierte Spinsysteme obgleich der extensiven Entartung des Grundzustandes aufgrund des Phänomens der „Ordnung durch Unordnung“ dennoch Ordnungen ausbilden. Diese sind oft multipolarer Natur und entziehen sich herkömmlichen Messgrößen. Die Identifikation und Charakterisierung solcher „verborgener“ Ordnungen ist daher eine herausfordernde Aufgabe. In dieser Arbeit wird ein Verfahren für das unvoreingenommene und automatisierte maschinelle Lernen der Phasendiagramme klassischer frustrierter Spinmodelle eingeführt. Die Interpretierbarkeit der resultierenden Klassifikatoren war für das Design der Methode ausschlaggebend. Sie erlaubt den Rückschluss sowohl auf die Ordnungsparametertensoren der symmetriebrechenden Phasen als auch auf die Nebenbedingungen, die für klassische Spinflüssigkeiten charakteristisch sind und auf deren emergente Eichstruktur hindeuten. Darüber hinaus wird eine hierarchische Beziehung zwischen den verschiedenen Phasen gemäß dem Grade ihrer jeweiligen Unordnung hergestellt. Das Verfahren wird auf drei verschiedene Modelle angewendet und Spin-Konfigurationen werden jeweils aus klassischen Monte-Carlo-Simulationen dieser gewonnen. Ein Eichmodell dient dazu, die Wechselwirkungen zwischen den Mesogenen verallgemeinerter nematischer Flüssigkristalle nachzuahmen. Diese können beliebige Punktgruppensymmetrien besitzen, was zu Benchmark-Modellen mit einer Niedertemperaturphase führt, die die O(3)-Spinsymmetrie entsprechend herunterbricht. Darüber hinaus werden zwei frustrierte Spinmodelle betrachtet. Der historisch wichtige Fall des Heisenberg-Modells auf dem Kagome-Gitter führt zu einer verborgenen trigonalen Ordnung, die eine Beschreibung in Form von zwei Tensoren unterschiedlichen Ranges erforderlich macht; die Maschine ist in der Lage, beide zu finden. Währenddessen rekonstruiert die Maschine für das XXZ-Modell auf dem Pyrochlor-Gitter das komplexe Phasendiagramm, das erst vor Kurzem ausgearbeitet wurde, und identifiziert die spin-nematische Phase sowie drei verschiedene Arten klassischer Spinflüssigkeiten, einschließlich ihrer Übergänge, korrekt. Die Methode hat das Potenzial, die Charakterisierung von Spinmodellen frustrierter Magnete zu beschleunigen. Sie kann den gesamten Parameterraum auf einmal untersuchen und somit dazu beitragen, interessante Bereiche zu identifizieren. Dies bereitet den Weg für die Suche nach neuen Ordnungen und Spinflüssigkeiten

Investigation of hidden multipolar spin order in frustrated magnets using interpretable machine learning techniques

Frustration gives rise to a plethora of intricate phenomena, the most salient of which are spin liquids, both classical ones—such as the spin-ice phase which has been realized experimentally in rare-earth oxide pyrochlore materials—and their more elusive quantum counterparts. At low temperatures, classical frustrated spin systems may still order, despite their extensive ground-state degeneracy, due to the order-by-disorder phenomenon. The resulting orders are often of a multipolar type which defies conventional probes. Identifying and characterizing such “hidden” orders is thus a challenging endeavor. This thesis introduces a machine-learning framework for studying the phase diagram of classical frustrated spin models in an unbiased and automated way. The interpretability of the resulting classification was of paramount importance in the design of the method. It allows for the inference of both the order parameter tensors of the phases with broken symmetries as well as the constraints which are characteristic of classical spin liquids and signal their emergent gauge structure. On top of that, it establishes a hierarchical relationship among the various phases according to their degree of disorder. The framework is applied to three different models and spin configurations are harvested from classical Monte Carlo simulations of those. A gauge model is used to mimic the interactions between the mesogens of generalized nematics. These may possess arbitrary point group symmetry, resulting in benchmark models with a low-temperature phase that breaks the O(3) spin symmetry accordingly. In addition, two frustrated spin models are considered. The historically important case of the Heisenberg model on the kagome lattice gives rise to hidden triatic order which requires a description in terms of two tensors of different ranks; the machine is capable of finding both. Meanwhile, for the XXZ model on the pyrochlore lattice, the machine reconstructs the complex phase diagram which was only recently obtained and correctly identifies the spin nematic phase as well as three distinct types of classical spin liquids, including their crossovers. The method has the potential to accelerate the characterization of model Hamiltonians of frustrated magnets. It can scrutinize the whole parameter space at once and may thus help to identify interesting regimes, paving the way for the search of new orders and spin liquids.Frustration führt zu einer Fülle komplexer Phänomene, von denen die herausragendsten Spinflüssigkeiten sind, sowohl klassische – wie beispielsweise die Spin-Eis-Phase, die experimentell in den Oxiden seltener Erden auf dem Pyrochlor-Gitter realisiert wurde – und ihre schwerer fassbaren quantenmechanischen Gegenstücke. Bei niedrigen Temperaturen können klassische frustrierte Spinsysteme obgleich der extensiven Entartung des Grundzustandes aufgrund des Phänomens der „Ordnung durch Unordnung“ dennoch Ordnungen ausbilden. Diese sind oft multipolarer Natur und entziehen sich herkömmlichen Messgrößen. Die Identifikation und Charakterisierung solcher „verborgener“ Ordnungen ist daher eine herausfordernde Aufgabe. In dieser Arbeit wird ein Verfahren für das unvoreingenommene und automatisierte maschinelle Lernen der Phasendiagramme klassischer frustrierter Spinmodelle eingeführt. Die Interpretierbarkeit der resultierenden Klassifikatoren war für das Design der Methode ausschlaggebend. Sie erlaubt den Rückschluss sowohl auf die Ordnungsparametertensoren der symmetriebrechenden Phasen als auch auf die Nebenbedingungen, die für klassische Spinflüssigkeiten charakteristisch sind und auf deren emergente Eichstruktur hindeuten. Darüber hinaus wird eine hierarchische Beziehung zwischen den verschiedenen Phasen gemäß dem Grade ihrer jeweiligen Unordnung hergestellt. Das Verfahren wird auf drei verschiedene Modelle angewendet und Spin-Konfigurationen werden jeweils aus klassischen Monte-Carlo-Simulationen dieser gewonnen. Ein Eichmodell dient dazu, die Wechselwirkungen zwischen den Mesogenen verallgemeinerter nematischer Flüssigkristalle nachzuahmen. Diese können beliebige Punktgruppensymmetrien besitzen, was zu Benchmark-Modellen mit einer Niedertemperaturphase führt, die die O(3)-Spinsymmetrie entsprechend herunterbricht. Darüber hinaus werden zwei frustrierte Spinmodelle betrachtet. Der historisch wichtige Fall des Heisenberg-Modells auf dem Kagome-Gitter führt zu einer verborgenen trigonalen Ordnung, die eine Beschreibung in Form von zwei Tensoren unterschiedlichen Ranges erforderlich macht; die Maschine ist in der Lage, beide zu finden. Währenddessen rekonstruiert die Maschine für das XXZ-Modell auf dem Pyrochlor-Gitter das komplexe Phasendiagramm, das erst vor Kurzem ausgearbeitet wurde, und identifiziert die spin-nematische Phase sowie drei verschiedene Arten klassischer Spinflüssigkeiten, einschließlich ihrer Übergänge, korrekt. Die Methode hat das Potenzial, die Charakterisierung von Spinmodellen frustrierter Magnete zu beschleunigen. Sie kann den gesamten Parameterraum auf einmal untersuchen und somit dazu beitragen, interessante Bereiche zu identifizieren. Dies bereitet den Weg für die Suche nach neuen Ordnungen und Spinflüssigkeiten

Bayesian Modelling Approaches for Quantum States -- The Ultimate Gaussian Process States Handbook

Capturing the correlation emerging between constituents of many-body systems accurately is one of the key challenges for the appropriate description of various systems whose properties are underpinned by quantum mechanical fundamentals. This thesis discusses novel tools and techniques for the (classical) modelling of quantum many-body wavefunctions with the ultimate goal to introduce a universal framework for finding accurate representations from which system properties can be extracted efficiently. It is outlined how synergies with standard machine learning approaches can be exploited to enable an automated inference of the most relevant intrinsic characteristics through rigorous Bayesian regression techniques. Based on the probabilistic framework forming the foundation of the introduced ansatz, coined the Gaussian Process State, different compression techniques are explored to extract numerically feasible representations of relevant target states within stochastic schemes. By following intuitively motivated design principles, the resulting model carries a high degree of interpretability and offers an easily applicable tool for the numerical study of quantum systems, including ones which are notoriously difficult to simulate due to a strong intrinsic correlation. The practical applicability of the Gaussian Process States framework is demonstrated within several benchmark applications, in particular, ground state approximations for prototypical quantum lattice models, Fermi-Hubbard models and $J_1-J_2$ models, as well as simple ab-initio quantum chemical systems.Comment: PhD Thesis, King's College London, 202 page