Bures-Wasserstein minimizing geodesics between covariance matrices of different ranks

The set of covariance matrices equipped with the Bures-Wasserstein distance is the orbit space of the smooth, proper and isometric action of the orthogonal group on the Euclidean space of square matrices. This construction induces a natural orbit stratification on covariance matrices, which is exactly the stratification by the rank. Thus, the strata are the manifolds of symmetric positive semi-definite (PSD) matrices of fixed rank endowed with the Bures-Wasserstein Riemannian metric. In this work, we study the geodesics of the Bures-Wasserstein distance. Firstly, we complete the literature on geodesics in each stratum by clarifying the set of preimages of the exponential map and by specifying the injection domain. We also give explicit formulae of the horizontal lift, the exponential map and the Riemannian logarithms that were kept implicit in previous works. Secondly, we give the expression of all the minimizing geodesic segments joining two covariance matrices of any rank. More precisely, we show that the set of all minimizing geodesics between two covariance matrices $\Sigma$ and $\Lambda$ is parametrized by the closed unit ball of $\mathbb{R}^{(k-r)\times(l-r)}$ for the spectral norm, where $k, l, r$ are the respective ranks of $\Sigma$, $\Lambda$, $\Sigma$$\Lambda$. In particular, the minimizing geodesic is unique if and only if $r = \min(k, l)$. Otherwise, there are infinitely many

Exploration of Balanced Metrics on Symmetric Positive Definite Matrices

International audienceSymmetric Positive Definite (SPD) matrices have been usedin many fields of medical data analysis. Many Riemannian metrics havebeen defined on this manifold but the choice of the Riemannianstructurelacks a set of principles that could lead one to choose properly the met-ric. This drives us to introduce the principle of balanced metrics that re-late the affine-invariant metric with the Euclidean and inverse-Euclideanmetric, or the Bogoliubov-Kubo-Mori metric with the Euclidean and log-Euclidean metrics. We introduce two new families of balanced metrics,the mixed-power-Euclidean and the mixed-power-affine metrics and wediscuss the relation between this new principle of balanced metrics and the concept of dual connection in information geometry

Exploration of Balanced Metrics on Symmetric Positive Definite Matrices

International audienceSymmetric Positive Definite (SPD) matrices have been usedin many fields of medical data analysis. Many Riemannian metrics havebeen defined on this manifold but the choice of the Riemannianstructurelacks a set of principles that could lead one to choose properly the met-ric. This drives us to introduce the principle of balanced metrics that re-late the affine-invariant metric with the Euclidean and inverse-Euclideanmetric, or the Bogoliubov-Kubo-Mori metric with the Euclidean and log-Euclidean metrics. We introduce two new families of balanced metrics,the mixed-power-Euclidean and the mixed-power-affine metrics and wediscuss the relation between this new principle of balanced metrics and the concept of dual connection in information geometry

Geodesics and Curvature of the Quotient-Affine Metrics on Full-Rank Correlation Matrices

International audienceCorrelation matrices are used in many domains of neurosciences such as fMRI, EEG, MEG. However, statistical analyses often rely on embeddings into a Euclidean space or into Symmetric Positive Definite matrices which do not provide intrinsic tools. The quotient-affine metric was recently introduced as the quotient of the affine-invariant metric on SPD matrices by the action of diagonal matrices. In this work, we provide most of the fundamental Riemannian operations of the quotient-affine metric: the expression of the metric itself, the geodesics with initial tangent vector, the Levi-Civita connection and the curvature

Géométries riemanniennes et stratifiées des matrices de covariance et de corrélation

In many applications, the data can be represented by covariance matrices or correlation matrices between several signals (EEG, MEG, fMRI), physical quantities (cells, genes), or within a time window (autocorrelation). The set of covariance matrices forms a convex cone that is not a Euclidean space but a stratified space: it has a boundary which is itself a stratified space of lower dimension. The strata are the manifolds of covariance matrices of fixed rank and the main stratum of Symmetric Positive Definite (SPD) matrices is dense in the total space. The set of correlation matrices can be described similarly.Geometric concepts such as geodesics, parallel transport, Fréchet mean were proposed for generalizing classical computations (interpolation, extrapolation, registration) and statistical analyses (mean, principal component analysis, classification, regression) to these non-linear spaces. However, these generalizations rely on the choice of a geometry, that is a basic operator such as a distance, an affine connection, a Riemannian metric, a divergence, which is assumed to be known beforehand. But in practice there is often not a unique natural geometry that satisfies the application constraints. Thus, one should explore more general families of geometries that exploit the data properties.First, the geometry must match the problem. For instance, degenerate matrices must be rejected to infinity whenever covariance matrices must be non-degenerate. Second, we should identify the invariance of the data under natural group transformations: if scaling each variable independently has no impact, then one needs a metric invariant under the positive diagonal group, for instance a product metric that decouples scales and correlations. Third, good numerical properties (closed-form formulae, efficient algorithms) are essential to use the geometry in practice.In my thesis, I study geometries on covariance and correlation matrices following these principles. In particular, I provide the associated geometric operations which are the building blocks for computing with such matrices.On SPD matrices, by analogy with the characterization of affine-invariant metrics, I characterize the continuous metrics invariant by O(n) by means of three multivariate continuous functions. Thus, I build a classification of metrics: the constraints imposed on these functions define nested classes satisfying stability properties. In particular, I reinterpret the class of kernel metrics, I introduce the family of mixed-Euclidean metrics for which I compute the curvature, and I survey and complete the knowledge on the classical metrics (log-Euclidean, Bures-Wasserstein, BKM, power-Euclidean).On full-rank correlation matrices, I compute the Riemannian operations of the quotient-affine metric. Despite its appealing construction and its invariance under permutations, I show that its curvature is of non-constant sign and unbounded from above, which makes this geometry practically very complex. I introduce computationally more convenient Hadamard or even log-Euclidean metrics, along with their geometric operations. To recover the lost invariance under permutations, I define two new permutation-invariant log-Euclidean metrics, one of them being invariant under a natural involution on full-rank correlation matrices. I also provide an efficient algorithm to compute the associated geometric operations based on the scaling of SPD matrices.Finally, I study the stratified Riemannian structure of the Bures-Wasserstein distance on covariance matrices. I compute the domain of definition of geodesics and the injection domain within each stratum and I characterize the length-minimizing curves between all the strata.Dans de nombreuses applications, les données sont des matrices de covariance ou de corrélation entre plusieurs signaux (EEG, MEG, fMRI), grandeurs physiques (cellules, gènes) ou instants (autocorrélation). L'ensemble des matrices de covariance est un cône convexe qui est un espace stratifié non euclidien : il a un bord qui est lui-même un espace stratifié de dimension inférieure. Ses strates sont les variétés de matrices de covariance de rang fixé et la strate principale des matrices Symétriques Définies Positives (SPD) est dense dans l'espace total. L'ensemble des matrices de corrélations admet une structure similaire.Les concepts géométriques comme les géodésiques, le transport parallèle ou la moyenne de Fréchet permettent de généraliser les opérations classiques (interpolation, extrapolation, recalage) et statistiques (moyenne, analyse en composantes principales, classification, régression) à ces espaces non linéaires. Cependant, ces généralisations reposent sur le choix d'une géométrie supposée connue à l'avance, c'est-à-dire d'un opérateur de base tel qu'une distance, une connexion affine, une métrique riemannienne, une divergence. En général il n'existe pas une unique géométrie adaptée aux contraintes d'une application mais plutôt une famille de géométries à explorer pour faire ce choix.D'abord, la géométrie doit correspondre au problème. Par exemple, si les matrices de covariance doivent être inversibles, les matrices dégénérées doivent être rejetées à l'infini. Ensuite, elle doit satisfaire les invariances naturelles du problème par des groupes de transformations : si multiplier chaque variable par un facteur indépendant n'a pas d'influence, alors il faut une métrique invariante par le groupe des matrices diagonales strictement positives, par exemple une métrique produit qui découple les échelles et les corrélations. Enfin, de bonnes propriétés numériques (closes formes, algorithmes efficaces) sont essentielles pour utiliser cette géométrie en pratique.Dans ma thèse, j'étudie des géométries sur les matrices de covariance et de corrélation suivant ces principes. En particulier, je fournis les opérations géométriques associées qui sont les briques élémentaires pour calculer avec ces matrices.Sur les matrices SPD, je m'inspire de la caractérisation des métriques affine-invariantes pour caractériser les métriques continues invariantes par O(n) au moyen de trois fonctions multivariées continues. Je construis ainsi une classification de métriques : les contraintes imposées sur ces fonctions définissent des classes emboîtées satisfaisant des propriétés de stabilité. En particulier, je réinterprète la classe des "kernel metrics", j'introduis la famille des métriques "mixed-Euclidean" dont je calcule la courbure, et je résume et complète les connaissances sur les métriques classiques (log-euclidien, Bures-Wasserstein, BKM, power-Euclidean). Sur les matrices de corrélation de rang plein, je calcule les opérations riemanniennes de la métrique quotient-affine et je montre que, malgré sa construction intéressante et son invariance par permutations, sa courbure est non majorée et de signe non constant, ce qui rend sa géométrie très complexe en pratique. Pour pallier ce défaut majeur, j'introduis des métriques Hadamard ou même log-euclidiennes ainsi que leurs opérations géométriques. Pour retrouver l'invariance par permutations perdue, je définis deux nouvelles métriques log-euclidiennes invariantes par permutations, l'une d'elle étant invariante par une involution naturelle de l'espace. Je fournis aussi un algorithme efficace pour calculer les opérations géométriques associées, qui s'appuie sur le "scaling" de matrices SPD. Enfin, j'étudie la structure riemannienne stratifiée de la distance de Bures-Wasserstein sur les matrices de covariance. Je calcule le domaine de définition des géodésiques et le domaine d'injection dans chaque strate, puis je caractérise les courbes minimisant la longueur entre toutes les strates

Géométries riemanniennes et stratifiées des matrices de covariance et de corrélation

In many applications, the data can be represented by covariance matrices or correlation matrices between several signals (EEG, MEG, fMRI), physical quantities (cells, genes), or within a time window (autocorrelation). The set of covariance matrices forms a convex cone that is not a Euclidean space but a stratified space: it has a boundary which is itself a stratified space of lower dimension. The strata are the manifolds of covariance matrices of fixed rank and the main stratum of Symmetric Positive Definite (SPD) matrices is dense in the total space. The set of correlation matrices can be described similarly.Geometric concepts such as geodesics, parallel transport, Fréchet mean were proposed for generalizing classical computations (interpolation, extrapolation, registration) and statistical analyses (mean, principal component analysis, classification, regression) to these non-linear spaces. However, these generalizations rely on the choice of a geometry, that is a basic operator such as a distance, an affine connection, a Riemannian metric, a divergence, which is assumed to be known beforehand. But in practice there is often not a unique natural geometry that satisfies the application constraints. Thus, one should explore more general families of geometries that exploit the data properties.First, the geometry must match the problem. For instance, degenerate matrices must be rejected to infinity whenever covariance matrices must be non-degenerate. Second, we should identify the invariance of the data under natural group transformations: if scaling each variable independently has no impact, then one needs a metric invariant under the positive diagonal group, for instance a product metric that decouples scales and correlations. Third, good numerical properties (closed-form formulae, efficient algorithms) are essential to use the geometry in practice.In my thesis, I study geometries on covariance and correlation matrices following these principles. In particular, I provide the associated geometric operations which are the building blocks for computing with such matrices.On SPD matrices, by analogy with the characterization of affine-invariant metrics, I characterize the continuous metrics invariant by O(n) by means of three multivariate continuous functions. Thus, I build a classification of metrics: the constraints imposed on these functions define nested classes satisfying stability properties. In particular, I reinterpret the class of kernel metrics, I introduce the family of mixed-Euclidean metrics for which I compute the curvature, and I survey and complete the knowledge on the classical metrics (log-Euclidean, Bures-Wasserstein, BKM, power-Euclidean).On full-rank correlation matrices, I compute the Riemannian operations of the quotient-affine metric. Despite its appealing construction and its invariance under permutations, I show that its curvature is of non-constant sign and unbounded from above, which makes this geometry practically very complex. I introduce computationally more convenient Hadamard or even log-Euclidean metrics, along with their geometric operations. To recover the lost invariance under permutations, I define two new permutation-invariant log-Euclidean metrics, one of them being invariant under a natural involution on full-rank correlation matrices. I also provide an efficient algorithm to compute the associated geometric operations based on the scaling of SPD matrices.Finally, I study the stratified Riemannian structure of the Bures-Wasserstein distance on covariance matrices. I compute the domain of definition of geodesics and the injection domain within each stratum and I characterize the length-minimizing curves between all the strata.Dans de nombreuses applications, les données sont des matrices de covariance ou de corrélation entre plusieurs signaux (EEG, MEG, fMRI), grandeurs physiques (cellules, gènes) ou instants (autocorrélation). L'ensemble des matrices de covariance est un cône convexe qui est un espace stratifié non euclidien : il a un bord qui est lui-même un espace stratifié de dimension inférieure. Ses strates sont les variétés de matrices de covariance de rang fixé et la strate principale des matrices Symétriques Définies Positives (SPD) est dense dans l'espace total. L'ensemble des matrices de corrélations admet une structure similaire.Les concepts géométriques comme les géodésiques, le transport parallèle ou la moyenne de Fréchet permettent de généraliser les opérations classiques (interpolation, extrapolation, recalage) et statistiques (moyenne, analyse en composantes principales, classification, régression) à ces espaces non linéaires. Cependant, ces généralisations reposent sur le choix d'une géométrie supposée connue à l'avance, c'est-à-dire d'un opérateur de base tel qu'une distance, une connexion affine, une métrique riemannienne, une divergence. En général il n'existe pas une unique géométrie adaptée aux contraintes d'une application mais plutôt une famille de géométries à explorer pour faire ce choix.D'abord, la géométrie doit correspondre au problème. Par exemple, si les matrices de covariance doivent être inversibles, les matrices dégénérées doivent être rejetées à l'infini. Ensuite, elle doit satisfaire les invariances naturelles du problème par des groupes de transformations : si multiplier chaque variable par un facteur indépendant n'a pas d'influence, alors il faut une métrique invariante par le groupe des matrices diagonales strictement positives, par exemple une métrique produit qui découple les échelles et les corrélations. Enfin, de bonnes propriétés numériques (closes formes, algorithmes efficaces) sont essentielles pour utiliser cette géométrie en pratique.Dans ma thèse, j'étudie des géométries sur les matrices de covariance et de corrélation suivant ces principes. En particulier, je fournis les opérations géométriques associées qui sont les briques élémentaires pour calculer avec ces matrices.Sur les matrices SPD, je m'inspire de la caractérisation des métriques affine-invariantes pour caractériser les métriques continues invariantes par O(n) au moyen de trois fonctions multivariées continues. Je construis ainsi une classification de métriques : les contraintes imposées sur ces fonctions définissent des classes emboîtées satisfaisant des propriétés de stabilité. En particulier, je réinterprète la classe des "kernel metrics", j'introduis la famille des métriques "mixed-Euclidean" dont je calcule la courbure, et je résume et complète les connaissances sur les métriques classiques (log-euclidien, Bures-Wasserstein, BKM, power-Euclidean). Sur les matrices de corrélation de rang plein, je calcule les opérations riemanniennes de la métrique quotient-affine et je montre que, malgré sa construction intéressante et son invariance par permutations, sa courbure est non majorée et de signe non constant, ce qui rend sa géométrie très complexe en pratique. Pour pallier ce défaut majeur, j'introduis des métriques Hadamard ou même log-euclidiennes ainsi que leurs opérations géométriques. Pour retrouver l'invariance par permutations perdue, je définis deux nouvelles métriques log-euclidiennes invariantes par permutations, l'une d'elle étant invariante par une involution naturelle de l'espace. Je fournis aussi un algorithme efficace pour calculer les opérations géométriques associées, qui s'appuie sur le "scaling" de matrices SPD. Enfin, j'étudie la structure riemannienne stratifiée de la distance de Bures-Wasserstein sur les matrices de covariance. Je calcule le domaine de définition des géodésiques et le domaine d'injection dans chaque strate, puis je caractérise les courbes minimisant la longueur entre toutes les strates

Permutation-invariant log-Euclidean geometries on full-rank correlation matrices

There is a growing interest in defining specific tools on correlation matrices which depart from those suited to SPD matrices. Several geometries have been defined on the open elliptope of full-rank correlation matrices: some are permutation-invariant, some others are log-Euclidean, i.e. diffeomorphic to a Euclidean space. In this work, we merge these two properties by defining the families of off-log metrics and log-scaled metrics. Firstly, we prove that the recently introduced off-log bijection is a diffeomorphism, allowing to pullback (permutation-invariant) inner products. We introduce the "cor-inverse" involution on the open elliptope which can be seen as analogous to the inversion of SPD matrices. We show that off-log metrics are not inverse-consistent. That is why secondly, we define the log-scaling diffeomorphism between the open elliptope and the vector space of symmetric matrices with null row sums. This map is based on the congruence action of positive diagonal matrices on SPD matrices, more precisely on the existence and uniqueness of a "scaling", i.e. an SPD matrix with unit row sums within an orbit. Thanks to this multiplicative approach, log-scaled metrics are inverse-consistent. We provide the main Riemannian operations in closed form for the two families modulo the computation of the respective bijections

Riemannian and stratified geometries on covariance and correlation matrices

Dans de nombreuses applications, les données sont des matrices de covariance ou de corrélation entre plusieurs signaux (EEG, MEG, fMRI), grandeurs physiques (cellules, gènes) ou instants (autocorrélation). L'ensemble des matrices de covariance est un cône convexe qui est un espace stratifié non euclidien : il a un bord qui est lui-même un espace stratifié de dimension inférieure. Ses strates sont les variétés de matrices de covariance de rang fixé et la strate principale des matrices Symétriques Définies Positives (SPD) est dense dans l'espace total. L'ensemble des matrices de corrélations admet une structure similaire.Les concepts géométriques comme les géodésiques, le transport parallèle ou la moyenne de Fréchet permettent de généraliser les opérations classiques (interpolation, extrapolation, recalage) et statistiques (moyenne, analyse en composantes principales, classification, régression) à ces espaces non linéaires. Cependant, ces généralisations reposent sur le choix d'une géométrie supposée connue à l'avance, c'est-à-dire d'un opérateur de base tel qu'une distance, une connexion affine, une métrique riemannienne, une divergence. En général il n'existe pas une unique géométrie adaptée aux contraintes d'une application mais plutôt une famille de géométries à explorer pour faire ce choix.D'abord, la géométrie doit correspondre au problème. Par exemple, si les matrices de covariance doivent être inversibles, les matrices dégénérées doivent être rejetées à l'infini. Ensuite, elle doit satisfaire les invariances naturelles du problème par des groupes de transformations : si multiplier chaque variable par un facteur indépendant n'a pas d'influence, alors il faut une métrique invariante par le groupe des matrices diagonales strictement positives, par exemple une métrique produit qui découple les échelles et les corrélations. Enfin, de bonnes propriétés numériques (closes formes, algorithmes efficaces) sont essentielles pour utiliser cette géométrie en pratique.Dans ma thèse, j'étudie des géométries sur les matrices de covariance et de corrélation suivant ces principes. En particulier, je fournis les opérations géométriques associées qui sont les briques élémentaires pour calculer avec ces matrices.Sur les matrices SPD, je m'inspire de la caractérisation des métriques affine-invariantes pour caractériser les métriques continues invariantes par O(n) au moyen de trois fonctions multivariées continues. Je construis ainsi une classification de métriques : les contraintes imposées sur ces fonctions définissent des classes emboîtées satisfaisant des propriétés de stabilité. En particulier, je réinterprète la classe des "kernel metrics", j'introduis la famille des métriques "mixed-Euclidean" dont je calcule la courbure, et je résume et complète les connaissances sur les métriques classiques (log-euclidien, Bures-Wasserstein, BKM, power-Euclidean). Sur les matrices de corrélation de rang plein, je calcule les opérations riemanniennes de la métrique quotient-affine et je montre que, malgré sa construction intéressante et son invariance par permutations, sa courbure est non majorée et de signe non constant, ce qui rend sa géométrie très complexe en pratique. Pour pallier ce défaut majeur, j'introduis des métriques Hadamard ou même log-euclidiennes ainsi que leurs opérations géométriques. Pour retrouver l'invariance par permutations perdue, je définis deux nouvelles métriques log-euclidiennes invariantes par permutations, l'une d'elle étant invariante par une involution naturelle de l'espace. Je fournis aussi un algorithme efficace pour calculer les opérations géométriques associées, qui s'appuie sur le "scaling" de matrices SPD. Enfin, j'étudie la structure riemannienne stratifiée de la distance de Bures-Wasserstein sur les matrices de covariance. Je calcule le domaine de définition des géodésiques et le domaine d'injection dans chaque strate, puis je caractérise les courbes minimisant la longueur entre toutes les strates.In many applications, the data can be represented by covariance matrices or correlation matrices between several signals (EEG, MEG, fMRI), physical quantities (cells, genes), or within a time window (autocorrelation). The set of covariance matrices forms a convex cone that is not a Euclidean space but a stratified space: it has a boundary which is itself a stratified space of lower dimension. The strata are the manifolds of covariance matrices of fixed rank and the main stratum of Symmetric Positive Definite (SPD) matrices is dense in the total space. The set of correlation matrices can be described similarly.Geometric concepts such as geodesics, parallel transport, Fréchet mean were proposed for generalizing classical computations (interpolation, extrapolation, registration) and statistical analyses (mean, principal component analysis, classification, regression) to these non-linear spaces. However, these generalizations rely on the choice of a geometry, that is a basic operator such as a distance, an affine connection, a Riemannian metric, a divergence, which is assumed to be known beforehand. But in practice there is often not a unique natural geometry that satisfies the application constraints. Thus, one should explore more general families of geometries that exploit the data properties.First, the geometry must match the problem. For instance, degenerate matrices must be rejected to infinity whenever covariance matrices must be non-degenerate. Second, we should identify the invariance of the data under natural group transformations: if scaling each variable independently has no impact, then one needs a metric invariant under the positive diagonal group, for instance a product metric that decouples scales and correlations. Third, good numerical properties (closed-form formulae, efficient algorithms) are essential to use the geometry in practice.In my thesis, I study geometries on covariance and correlation matrices following these principles. In particular, I provide the associated geometric operations which are the building blocks for computing with such matrices.On SPD matrices, by analogy with the characterization of affine-invariant metrics, I characterize the continuous metrics invariant by O(n) by means of three multivariate continuous functions. Thus, I build a classification of metrics: the constraints imposed on these functions define nested classes satisfying stability properties. In particular, I reinterpret the class of kernel metrics, I introduce the family of mixed-Euclidean metrics for which I compute the curvature, and I survey and complete the knowledge on the classical metrics (log-Euclidean, Bures-Wasserstein, BKM, power-Euclidean).On full-rank correlation matrices, I compute the Riemannian operations of the quotient-affine metric. Despite its appealing construction and its invariance under permutations, I show that its curvature is of non-constant sign and unbounded from above, which makes this geometry practically very complex. I introduce computationally more convenient Hadamard or even log-Euclidean metrics, along with their geometric operations. To recover the lost invariance under permutations, I define two new permutation-invariant log-Euclidean metrics, one of them being invariant under a natural involution on full-rank correlation matrices. I also provide an efficient algorithm to compute the associated geometric operations based on the scaling of SPD matrices.Finally, I study the stratified Riemannian structure of the Bures-Wasserstein distance on covariance matrices. I compute the domain of definition of geodesics and the injection domain within each stratum and I characterize the length-minimizing curves between all the strata