Algorithmes à propagation de messages et homologie

Les algorithmes à propagation de messages constituent un schéma de calcul parallèle pour estimer les marginales d’une loi de probabilité de haute dimension. Ils ont été employés dans des domaines variés où la statistique d’un grand nombre de variables en interaction doit être étudiée, comme la physique statistique, l’intelligence artificielle, le décodage en théorie de l’information. Cette thèse décrit les structures algébriques et topologiques naturelles où se déroulent la propagation de messages. Dans la plupart des applications, la loi de probabilité p est définie par un champ de Markov ou modèle graphique, i.e. par un produit de facteurs locaux qui ne dépendent que d’un petit sous-ensemble de variables en interaction. De manière équivalente, l’énergie totale H = ln p (ou log-vraisemblance) est une somme de potentiels d’interaction locaux. Nous montrons que cette contrainte est équivalente à l’existence d’une paramétrisation biunivoque de l’énergie totale par les classes d’homologie de potentiels locaux, en immergeant les potentiels comme sous-espace de degré 0 d’un complexe de chaînes d’observables locales. Les 1-chaînes de ce complexe sont un analogue statistique des flux de chaleur. L’évolution de potentiels à un bord de flux de chaleur près, préservant l’énergie totale, produit de nouveaux algorithmes à propagation de croyances comme des équations de diffusion à temps continu. La consistance des pseudo-marginales que l’on cherche à approximer est réciproquement traduite par une contrainte cohomologique, demandant que la collection de probabilités locales ait une différentielle nulle. Les potentiels locaux et les probabilités locales forment une paire de variables duales, reliées par une fonctionnelle lisse et non-linéaire, composant essentiellement l’exponentielle avec une somme sur les sous-parties appelée transformée zeta en combinatoire. Les paires à l’intersection des surfaces de contrainte associées à la conservation de l’énergie et à la consistance marginale respectivement sont mises en correspondance avec les points stationnaires des algorithmes à propagation de croyance d’une part, et avec les points critiques d’une approximation locale de l’énergie libre, obtenue par la méthode combinatoire de Bethe-Kikuchi (en tronquant la transformée de Möbius, inverse de la transformée zeta) d’autre part.Message-passing algorithms consist of a parallelised computing scheme to estimate the marginals of a high-dimensional probability distribution. They have been used in various areas where the statistics of a large number of interacting variables have to be studied, including statistical physics, artificial intelligence, decoding in information theory. This thesis desctibes the algebraic and topological structures in which message-passing algorithms naturally take place. In most applications, the probability distribution p is defined by a Markov field or graphical model, i.e. as a product of local factors depending only on small subsets of interacting variables. Equivalently, the total energy H = - ln p (or log-likelihood) is a sum of local interaction potentials. Embedding potentials as the 0-degree subspace of a chain complex of local observables, we show that this constraint is equivalent to assuming a one-to-one parametrisation of total energies by homology classes of interaction potentials. The 1-chains of this complex are statistical analogs of heat fluxes. The evolution of potentials up to the boundary of a heat flux, preserving total energy, produces new belief propagation algorithms as continuous-time diffusion equations. The consistency of pseudo-marginals one seeks to approximate is reciprocally translated by a cohomological constraint, demanding that a collection of local probability distributions has a vanishing differential. The local potentials and local distributions form a pair of dual variables put in correspondence by a smooth non-linear functional, essentially composing the exponential with a sum over subsets, called zeta transform in combinatorics. Pairs at the intersection of the energy conservation and marginal consistency constraint surfaces are shown to be in correspondence with both the stationary points of belief propagation algorithms and the critical points of a local approximation of free energy, computed by the Bethe-Kikuchi combinatorial method, a truncation of the Möbius inversion of the zeta transform

Algorithmes à propagation de messages et homologie

Message-passing algorithms consist of a parallelised computing scheme to estimate the marginals of a high-dimensional probability distribution. They have been used in various areas where the statistics of a large number of interacting variables have to be studied, including statistical physics, artificial intelligence, decoding in information theory. This thesis desctibes the algebraic and topological structures in which message-passing algorithms naturally take place. In most applications, the probability distribution p is defined by a Markov field or graphical model, i.e. as a product of local factors depending only on small subsets of interacting variables. Equivalently, the total energy H = - ln p (or log-likelihood) is a sum of local interaction potentials. Embedding potentials as the 0-degree subspace of a chain complex of local observables, we show that this constraint is equivalent to assuming a one-to-one parametrisation of total energies by homology classes of interaction potentials. The 1-chains of this complex are statistical analogs of heat fluxes. The evolution of potentials up to the boundary of a heat flux, preserving total energy, produces new belief propagation algorithms as continuous-time diffusion equations. The consistency of pseudo-marginals one seeks to approximate is reciprocally translated by a cohomological constraint, demanding that a collection of local probability distributions has a vanishing differential. The local potentials and local distributions form a pair of dual variables put in correspondence by a smooth non-linear functional, essentially composing the exponential with a sum over subsets, called zeta transform in combinatorics. Pairs at the intersection of the energy conservation and marginal consistency constraint surfaces are shown to be in correspondence with both the stationary points of belief propagation algorithms and the critical points of a local approximation of free energy, computed by the Bethe-Kikuchi combinatorial method, a truncation of the Möbius inversion of the zeta transform.Les algorithmes à propagation de messages constituent un schéma de calcul parallèle pour estimer les marginales d’une loi de probabilité de haute dimension. Ils ont été employés dans des domaines variés où la statistique d’un grand nombre de variables en interaction doit être étudiée, comme la physique statistique, l’intelligence artificielle, le décodage en théorie de l’information. Cette thèse décrit les structures algébriques et topologiques naturelles où se déroulent la propagation de messages. Dans la plupart des applications, la loi de probabilité p est définie par un champ de Markov ou modèle graphique, i.e. par un produit de facteurs locaux qui ne dépendent que d’un petit sous-ensemble de variables en interaction. De manière équivalente, l’énergie totale H = ln p (ou log-vraisemblance) est une somme de potentiels d’interaction locaux. Nous montrons que cette contrainte est équivalente à l’existence d’une paramétrisation biunivoque de l’énergie totale par les classes d’homologie de potentiels locaux, en immergeant les potentiels comme sous-espace de degré 0 d’un complexe de chaînes d’observables locales. Les 1-chaînes de ce complexe sont un analogue statistique des flux de chaleur. L’évolution de potentiels à un bord de flux de chaleur près, préservant l’énergie totale, produit de nouveaux algorithmes à propagation de croyances comme des équations de diffusion à temps continu. La consistance des pseudo-marginales que l’on cherche à approximer est réciproquement traduite par une contrainte cohomologique, demandant que la collection de probabilités locales ait une différentielle nulle. Les potentiels locaux et les probabilités locales forment une paire de variables duales, reliées par une fonctionnelle lisse et non-linéaire, composant essentiellement l’exponentielle avec une somme sur les sous-parties appelée transformée zeta en combinatoire. Les paires à l’intersection des surfaces de contrainte associées à la conservation de l’énergie et à la consistance marginale respectivement sont mises en correspondance avec les points stationnaires des algorithmes à propagation de croyance d’une part, et avec les points critiques d’une approximation locale de l’énergie libre, obtenue par la méthode combinatoire de Bethe-Kikuchi (en tronquant la transformée de Möbius, inverse de la transformée zeta) d’autre part

Equivariant Message Passing Neural Network for Crystal Material Discovery

International audienc

Geomstats: A Python Package for Riemannian Geometry in Machine Learning

We introduce Geomstats, an open-source Python toolbox for computations and statistics on nonlinear manifolds, such as hyperbolic spaces, spaces of symmetric positive definite matrices, Lie groups of transformations, and many more. We provide object-oriented and extensively unit-tested implementations. Among others, manifolds come equipped with families of Riemannian metrics, with associated exponential and logarithmic maps, geodesics and parallel transport. Statistics and learning algorithms provide methods for estimation, clustering and dimension reduction on manifolds. All associated operations are vectorized for batch computation and provide support for different execution backends, namely NumPy, PyTorch and TensorFlow, enabling GPU acceleration. This paper presents the package, compares it with related libraries and provides relevant code examples. We show that Geomstats provides reliable building blocks to foster research in differential geometry and statistics, and to democratize the use of Riemannian geometry in machine learning applications. The source code is freely available under the MIT license at http://geomstats.ai.Idex UCA JEDI3IA Côte d'AzurG-Statistics - Foundations of Geometric Statistics and Their Application in the Life Science

Introduction to Geometric Learning in Python with Geomstats

International audienceThere is a growing interest in leveraging differential geometry in the machine learning community. Yet, the adoption of the associated geometric computations has been inhibited by the lack of a reference implementation. Such an implementation should typically allow its users: (i) to get intuition on concepts from differential geometry through a hands-on approach, often not provided by traditional textbooks; and (ii) to run geometric machine learning algorithms seamlessly, without delving into the mathematical details. To address this gap, we present the open-source Python package geomstats and introduce hands-on tutorials for differential geometry and geometric machine learning algorithms-Geometric Learning-that rely on it. Code and documentation: github.com/geomstats/geomstats and geomstats.ai