International audienceNous proposons dans ce travail une famille de processus gaussiens parcimonieux permettant de construire, à partir d'un échantillon de taille finie, un classifieur génératif dans un espace de dimension (potentiellement) infinie. Ces modèles parcimonieux permettent en particulier d'utiliser des transformations non-linéaires des données projetant les observations dans un espace de dimension infinie. Nous montrons qu'il est possible de construire directement le classifieur depuis l'espace des observations au travers d'une fonction noyau. La méthode de classification proposée permet ainsi de classer des données de types variés (données qualitatives, données fonctionnelles, réseaux, ...). En particulier, il est possible de classer des données hétérogènes en combinant plusieurs fonctions noyaux. La méthodologie est également étendue au cas de la classification non supervisée (clustering)

Bouveyron, Charles

Fauvel, Mathieu

Girard, Stéphane

Hal - Université Grenoble Alpes

Processus gaussiens parcimonieux pour la classification générative de données hétérogènes

Nous proposons dans ce travail une famille de processus gaussiens parcimonieux permettant de construire, à partir d'un échantillon de taille finie, un classifieur génératif dans un espace de dimension (potentiellement) infinie. Ces modèles parcimonieux permettent en particulier d'utiliser des transformations non-linéaires des données projetant les observations dans un espace de dimension infinie. Nous montrons qu'il est possible de construire directement le classifieur depuis l'espace des observations au travers d'une fonction noyau. La méthode de classification proposée permet ainsi de classer des données de types variés (données qualitatives, données fonctionnelles, réseaux, ...). En particulier, il est possible de classer des données hétérogènes en combinant plusieurs fonctions noyaux. La méthodologie est également étendue au cas de la classification non supervisée (clustering)

Open Archive Toulouse Archive Ouverte

 Open Archive TOULOUSE Archive Ouverte (OATAO) OATAO is an open access repository that collects the work of Toulouse researchers andmakes it freely available over the web where possible. This is an author-deposited version published in :  http://oatao.univ-toulouse.fr/Eprints ID : 16326To cite this version : Bouveyron, Charles and Fauvel, Mathieu  andGirard, Stéphane Processus gaussiens parcimonieux pour la classification générative de données hétérogènes. (2012) In: 44èmes Journées de Statistique de la Société Française de Statistique, 21 May2012 - 25 May 2012 (Bruxelles, Belgium). (Unpublished) Any correspondence concerning this service should be sent to the repositoryadministrator: staff-oatao@listes-diff.inp-toulouse.frProcessus gaussiens parcimonieux pour laclassification ge´ne´rative de donne´es he´te´roge`nesCharles Bouveyron 1 & Mathieu Fauvel 2 & Ste´phane Girard 31 Laboratoire SAMM (EA 4543), Universite´ Paris 1 Panthe´on-Sorbonnecharles.bouveyron@univ-paris1.fr2 UMR 1201 DYNAFOR INRA & Universite´ de Toulousemathieu.fauvel@ensat.fr3 Equipe MISTIS, INRIA Rhoˆne-Alpes & LJKstephane.girard@inria.frRe´sume´. Nous proposons dans ce travail une famille de processus gaussiens parci-monieux permettant de construire, a` partir d’un e´chantillon de taille finie, un classi-fieur ge´ne´ratif dans un espace de dimension (potentiellement) infinie. Ces mode`les parci-monieux permettent en particulier d’utiliser des transformations non-line´aires des donne´esprojetant les observations dans un espace de dimension infinie. Nous montrons qu’il estpossible de construire directement le classifieur depuis l’espace des observations au traversd’une fonction noyau. La me´thode de classification propose´e permet ainsi de classer desdonne´es de types varie´s (donne´es qualitatives, donne´es fonctionnelles, re´seaux, ...). Enparticulier, il est possible de classer des donne´es he´te´roge`nes en combinant plusieurs fonc-tions noyaux. La me´thodologie est e´galement e´tendue au cas de la classification nonsupervise´e (clustering).Mots-cle´s. Classification, processus gaussiens, mode`les parcimonieux, noyauAbstract. This work presents a family of parsimonious Gaussian process modelswhich allow to build, from a finite sample, a model-based classifier in a infinite dimensionalspace. These parsimonious models allow in particular to use non-linear mapping functionswhich project the observations in an infinite dimensional space. It is also demonstratedthat the building of the classifier can be directly done from the observation space througha kernel. The proposed classification method is thus able to classify data of various types(categorical data, functional data, networks, ...). In particular, it is possible to classifymixed data by combining different kernels. The methodology is as well extended to theunsupervised classification case (clustering).Keywords. Classification, Gaussian process, parsimonious models, kernel1 IntroductionDepuis les travaux pionniers de Fisher en analyse discriminante, un tre`s grand nombrede me´thodes ont e´te´ propose´s pour permettre la classification de donne´es de types varie´s.1En effet, il existe une grande varie´te´ de donne´es telles que les donne´es quantitatives,cate´gorielles et binaires mais aussi des textes, des fonctions, des se´quences, des images etplus re´cemment des re´seaux. Par exemple, les biologistes sont souvent inte´resse´s a` classerles se´quences biologiques (se´quences ADN, les se´quences de prote´ines), des re´seaux (inter-actions, co-expression entre ge`nes), des images (imagerie cellulaire, classification des tis-sus) ou des donne´es structure´es (structure de ge`nes, information sur les patients). L’espaced’observation des donne´es peut eˆtre donc Rp si des donne´es quantitatives sont conside´re´es,L2([0, 1]) si des donne´es fonctionnelles sont conside´re´es (se´ries temporelles par exemple)ou {A,C,G, T}p si les donne´es sont qualitatives avec quatre modalite´s possibles sur lesp variables (se´quences d’ADN par exemple). Par ailleurs, les donne´es a` classer peuventeˆtre un me´lange de diffe´rents types de donne´es : donne´es quantitatives et qualitatives oudonne´es qualitatives et re´seaux.Les me´thodes de classification peuvent eˆtre divise´es en deux familles principales :me´thodes ge´ne´ratives et me´thodes discriminatives. Les me´thodes ge´ne´ratives, qui mode´lisentchaque classe a` l’aide d’une distribution de probabilite´, sont ge´ne´ralement tre`s appre´cie´espour leurs bons re´sultats et leur facilite´ d’interpre´tation. En revanche, elles ne peuventpas traiter tous les types de donne´es. A l’inverse, les me´thodes discriminatives et enparticulier les me´thodes a` noyaux ont la capacite´ de classer des donne´es de types tre`svarie´s. Pour cela, les me´thodes a` noyaux projettent les observations dans un espace dedimension potentiellement infinie (le feature space) graˆce a` une fonction line´aire ou non (lefeature map). Ces me´thodes sont en ge´ne´ral tre`s performantes, cependant l’interpre´tationdes re´sultats est difficile. De plus, ces me´thodes souffrent d’une comple´xite´ calculatoireimportante.2 La famille de processus gaussiens parcimonieuxNous proposons donc de combiner l’approche de projection dans un feature space desme´thodes a` noyaux avec la mode´lisation et la re`gle de de´cision des me´thodes ge´ne´ratives.Nous supposons que les donne´es d’apprentissage {(x1, z1), ..., (xn, zn)} ∈ E × {1, ..., k}sont des re´alisations inde´pendantes d’un couple de vecteur ale´atoire (X,Z) ou` zj indiquela classe de l’observation xj. Ces donne´es sont projete´es dans un espace F a` l’aide d’unefonction ϕ et le vecteur ale´atoire Y = ϕ(X) est de plus suppose´ eˆtre, conditionnellement a`Z = i, un processus gaussien de moyenne µi et d’ope´rateur de covariance Σi, i = 1, ..., k.La re`gle du maximum a posteriori (MAP) peut eˆtre ensuite utilise´e pour classer unenouvelle observation ϕ(x) dont la classe est inconnue. Malheureusement, si la fonctionϕ projette les donne´es dans un espace de dimension infinie, il ne sera pas possible deconstruire avec une erreur raisonnable la re`gle de classification a` partir d’un e´chantillonde taille finie.Pour pallier ce proble`me, nous proposons de contraindre la de´composition spectrale del’ope´rateur de covariance de chaque classe Ci de sorte que celle-ci ait au plus di+1 valeurs2propres diffe´rentes, i = 1, ..., k. Les plus petites valeurs propres pour chaque classe sontdonc suppose´es e´gales et de plus communes entre les classes. Cette mode´lisation peute´galement eˆtre contrainte pour donner naissance a` 7 autre processus gaussiens parci-monieux. Si di < ni pour chaque classe ou` ni est le nombre d’observations de la ie`meclasse, la re`gle du MAP peut eˆtre construite efficacement a` partir d’un e´chantillon detaille finie. De plus, en exploitant le “kernel trick”, on montre qu’il est possible de cal-culer la re`gle de classification du MAP au travers d’une fonction noyau sans avoir uneconnaissance explicite de la fonction ϕ.Il est e´galement possible d’e´tendre cette mode´lisation au contexte de la classifica-tion non supervise´e (clustering). Dans ce cas, l’algorithme EM devra eˆtre utilise´ carl’appartenance des donne´es aux classes est inconnue (Z est donc conside´re´e comme unevariable manquante).3 Application a` des donne´es non-quantitativesLes me´thodes supervise´es et non supervise´es base´es sur la famille de processus gaussiensparcimonieux peuvent donc eˆtre applique´es a` tous les types de donne´es pour lesquels il estpossible de de´finir une fonction noyau. En particulier, nous avons applique´ nos me´thodesa` des donne´es fonctionnelles (pour lesquelles la fonction ϕ est connue), des donne´es qual-itatives (graˆce a` un noyau base´ sur la distance de Hamming), des donne´es de type re´seau(avec le noyau du laplacien du graphe) et des donne´es he´te´roge`nes (quantitatives et qual-itatives). La classification des donne´es he´te´roge`nes a e´te´ obtenue en combinant un noyauRBF calcule´ sur les donne´es quantitatives et un noyau base´ sur la distance de Hammingpour les donne´es qualitatives.3

HAL Descartes

HAL-Paris1

Hal-Diderot

Archive Ouverte en Sciences de l'Information et de la Communication

INRIA a CCSD electronic archive server

HAL Id: hal-01700690https://hal.archives-ouvertes.fr/hal-01700690Submitted on 12 Feb 2018HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestinée au dépôt et à la diffusion de documentsscientifiques de niveau recherche, publiés ou non,émanant des établissements d’enseignement et derecherche français ou étrangers, des laboratoirespublics ou privés.Processus gaussiens parcimonieux pour la classificationgénérative de données hétérogènesCharles Bouveyron, Mathieu Fauvel, Stéphane GirardTo cite this version:Charles Bouveyron, Mathieu Fauvel, Stéphane Girard. Processus gaussiens parcimonieux pour laclassification générative de données hétérogènes. 44èmes Journées de Statistique de la Société Françaisede Statistique, May 2012, Bruxelles, Belgique. pp. 1-3. ￿hal-01700690￿Open Archive TOULOUSE Archive Ouverte (OATAO) OATAO is an open access repository that collects the work of Toulouse researchers andmakes it freely available over the web where possible. This is an author-deposited version published in :  http://oatao.univ-toulouse.fr/Eprints ID : 16326To cite this version : Bouveyron, Charles and Fauvel, Mathieu  andGirard, Stéphane Processus gaussiens parcimonieux pour la classification générative de données hétérogènes. (2012) In: 44èmes Journées de Statistique de la Société Française de Statistique, 21 May2012 - 25 May 2012 (Bruxelles, Belgium). (Unpublished) Any correspondence concerning this service should be sent to the repositoryadministrator: staff-oatao@listes-diff.inp-toulouse.frProcessus gaussiens parcimonieux pour laclassification générative de données hétérogènesCharles Bouveyron 1 & Mathieu Fauvel 2 & Stéphane Girard 31 Laboratoire SAMM (EA 4543), Université Paris 1 Panthéon-Sorbonnecharles.bouveyron@univ-paris1.fr2 UMR 1201 DYNAFOR INRA & Université de Toulousemathieu.fauvel@ensat.fr3 Equipe MISTIS, INRIA Rhône-Alpes & LJKstephane.girard@inria.frRésumé. Nous proposons dans ce travail une famille de processus gaussiens parci-monieux permettant de construire, à partir d’un échantillon de taille finie, un classi-fieur génératif dans un espace de dimension (potentiellement) infinie. Ces modèles parci-monieux permettent en particulier d’utiliser des transformations non-linéaires des donnéesprojetant les observations dans un espace de dimension infinie. Nous montrons qu’il estpossible de construire directement le classifieur depuis l’espace des observations au traversd’une fonction noyau. La méthode de classification proposée permet ainsi de classer desdonnées de types variés (données qualitatives, données fonctionnelles, réseaux, ...). Enparticulier, il est possible de classer des données hétérogènes en combinant plusieurs fonc-tions noyaux. La méthodologie est également étendue au cas de la classification nonsupervisée (clustering).Mots-clés. Classification, processus gaussiens, modèles parcimonieux, noyauAbstract. This work presents a family of parsimonious Gaussian process modelswhich allow to build, from a finite sample, a model-based classifier in a infinite dimensionalspace. These parsimonious models allow in particular to use non-linear mapping functionswhich project the observations in an infinite dimensional space. It is also demonstratedthat the building of the classifier can be directly done from the observation space througha kernel. The proposed classification method is thus able to classify data of various types(categorical data, functional data, networks, ...). In particular, it is possible to classifymixed data by combining different kernels. The methodology is as well extended to theunsupervised classification case (clustering).Keywords. Classification, Gaussian process, parsimonious models, kernel1 IntroductionDepuis les travaux pionniers de Fisher en analyse discriminante, un très grand nombrede méthodes ont été proposés pour permettre la classification de données de types variés.En effet, il existe une grande variété de données telles que les données quantitatives,catégorielles et binaires mais aussi des textes, des fonctions, des séquences, des images etplus récemment des réseaux. Par exemple, les biologistes sont souvent intéressés à classerles séquences biologiques (séquences ADN, les séquences de protéines), des réseaux (inter-actions, co-expression entre gènes), des images (imagerie cellulaire, classification des tis-sus) ou des données structurées (structure de gènes, information sur les patients). L’espaced’observation des données peut être donc Rp si des données quantitatives sont considérées,L2([0, 1]) si des données fonctionnelles sont considérées (séries temporelles par exemple)ou {A,C,G, T}p si les données sont qualitatives avec quatre modalités possibles sur lesp variables (séquences d’ADN par exemple). Par ailleurs, les données à classer peuventêtre un mélange de différents types de données : données quantitatives et qualitatives oudonnées qualitatives et réseaux.Les méthodes de classification peuvent être divisées en deux familles principales :méthodes génératives et méthodes discriminatives. Les méthodes génératives, qui modélisentchaque classe à l’aide d’une distribution de probabilité, sont généralement très appréciéespour leurs bons résultats et leur facilité d’interprétation. En revanche, elles ne peuventpas traiter tous les types de données. A l’inverse, les méthodes discriminatives et enparticulier les méthodes à noyaux ont la capacité de classer des données de types trèsvariés. Pour cela, les méthodes à noyaux projettent les observations dans un espace dedimension potentiellement infinie (le feature space) grâce à une fonction linéaire ou non (lefeature map). Ces méthodes sont en général très performantes, cependant l’interprétationdes résultats est difficile. De plus, ces méthodes souffrent d’une compléxité calculatoireimportante.2 La famille de processus gaussiens parcimonieuxNous proposons donc de combiner l’approche de projection dans un feature space desméthodes à noyaux avec la modélisation et la règle de décision des méthodes génératives.Nous supposons que les données d’apprentissage {(x1, z1), ..., (xn, zn)} ∈ E × {1, ..., k}sont des réalisations indépendantes d’un couple de vecteur aléatoire (X,Z) où zj indiquela classe de l’observation xj. Ces données sont projetées dans un espace F à l’aide d’unefonction ϕ et le vecteur aléatoire Y = ϕ(X) est de plus supposé être, conditionnellement àZ = i, un processus gaussien de moyenne µi et d’opérateur de covariance Σi, i = 1, ..., k.La règle du maximum a posteriori (MAP) peut être ensuite utilisée pour classer unenouvelle observation ϕ(x) dont la classe est inconnue. Malheureusement, si la fonctionϕ projette les données dans un espace de dimension infinie, il ne sera pas possible deconstruire avec une erreur raisonnable la règle de classification à partir d’un échantillonde taille finie.Pour pallier ce problème, nous proposons de contraindre la décomposition spectrale del’opérateur de covariance de chaque classe Ci de sorte que celle-ci ait au plus di+1 valeurspropres différentes, i = 1, ..., k. Les plus petites valeurs propres pour chaque classe sontdonc supposées égales et de plus communes entre les classes. Cette modélisation peutégalement être contrainte pour donner naissance à 7 autre processus gaussiens parci-monieux. Si di < ni pour chaque classe où ni est le nombre d’observations de la ièmeclasse, la règle du MAP peut être construite efficacement à partir d’un échantillon detaille finie. De plus, en exploitant le “kernel trick”, on montre qu’il est possible de cal-culer la règle de classification du MAP au travers d’une fonction noyau sans avoir uneconnaissance explicite de la fonction ϕ.Il est également possible d’étendre cette modélisation au contexte de la classifica-tion non supervisée (clustering). Dans ce cas, l’algorithme EM devra être utilisé carl’appartenance des données aux classes est inconnue (Z est donc considérée comme unevariable manquante).3 Application à des données non-quantitativesLes méthodes supervisées et non supervisées basées sur la famille de processus gaussiensparcimonieux peuvent donc être appliquées à tous les types de données pour lesquels il estpossible de définir une fonction noyau. En particulier, nous avons appliqué nos méthodesà des données fonctionnelles (pour lesquelles la fonction ϕ est connue), des données qual-itatives (grâce à un noyau basé sur la distance de Hamming), des données de type réseau(avec le noyau du laplacien du graphe) et des données hétérogènes (quantitatives et qual-itatives). La classification des données hétérogènes a été obtenue en combinant un noyauRBF calculé sur les données quantitatives et un noyau basé sur la distance de Hammingpour les données qualitatives.

http://oatao.univ-toulouse.fr/16326/1/Bouveyron_16326.pdf

Processus gaussiens parcimonieux pour la classification générative de données hétérogènes

Abstract

Similar works

Full text

Available Versions