6 research outputs found
Machine à vecteurs de support hyperbolique et ingénierie du noyau
Statistical learning theory is a field of inferential statistics whose foundations were laid by Vapnik at the end of the 1960s. It is considered a subdomain of artificial intelligence. In machine learning, support vector machines (SVM) are supervised learning models with associated learning algorithms that analyze data used for classification and regression analysis. In this thesis, our aim is to propose two new statistical learning problems: one on the conception and evaluation of a multi-class SVM extension and another on the design of a new kernel for support vectors machines. First, we introduced a new kernel machine for multi-class pattern recognition : the hyperbolic support vector machine. Geometrically, it is characterized by the fact that its decision boundaries in the feature space are defined by hyperbolic functions. We then established its main statistical properties. Among these properties we showed that the classes of component functions are uniform Glivenko-Cantelli, this by establishing an upper bound of the Rademacher complexity. Finally, we establish a guaranteed risk for our classifier. Second, we constructed a new kernel based on the Fourier transform of a Gaussian mixture model. We proceed in the following way: first, each class is fragmented into a number of relevant subclasses, then we consider the directions given by the vectors obtained by taking all pairs of subclass centers of the same class. Among these are excluded those allowing to connect two subclasses of two different classes. We can also see this as the search for translation invariance in each class. It successfully on several datasets in the context of machine learning using multiclass support vector machines.La thĂ©orie statistique de lâapprentissage est un domaine de la statistique infĂ©rentielle dont les fondements ont Ă©tĂ© posĂ©s par Vapnik Ă la fin des annĂ©es 60. Il est considĂ©rĂ© comme un sous-domaine de lâintelligence artificielle. Dans lâapprentissage automatique, les machines Ă vecteurs de support (SVM) sont un ensemble de techniques dâapprentissage supervisĂ© destinĂ©es Ă rĂ©soudre des problĂšmes de discrimination et de rĂ©gression. Dans cette thĂšse, notre objectif est de proposer deux nouveaux problĂšmes dâapprentissage statistique: Un portant sur la conception et lâĂ©valuation dâune extension des SVM multiclasses et un autre sur la conception dâun nouveau noyau pour les machines Ă vecteurs de support. Dans un premier temps, nous avons introduit une nouvelle machine Ă noyau pour la reconnaissance de modĂšle multi-classe: la machine Ă vecteur de support hyperbolique. GĂ©omĂ©triquement, il est caractĂ©risĂ© par le fait que ses surfaces de dĂ©cision dans lâespace de redescription sont dĂ©finies par des fonctions hyperboliques. Nous avons ensuite Ă©tabli ses principales propriĂ©tĂ©s statistiques. Parmi ces propriĂ©tĂ©s nous avons montrĂ© que les classes de fonctions composantes sont des classes de Glivenko-Cantelli uniforme, ceci en Ă©tablissant un majorant de la complexitĂ© de Rademacher. Enfin, nous Ă©tablissons un risque garanti pour notre classifieur.Dans un second temps, nous avons crĂ©er un nouveau noyau sâappuyant sur la transformation de Fourier dâun modĂšle de mĂ©lange gaussien. Nous procĂ©dons de la maniĂšre suivante: dâabord, chaque classe est fragmentĂ©e en un nombre de sous-classes pertinentes, ensuite on considĂšre les directions donnĂ©es par les vecteurs obtenus en prenant toutes les paires de centres de sous-classes dâune mĂȘme classe. Parmi celles-ci, sont exclues celles permettant de connecter deux sous-classes de deux classes diffĂ©rentes. On peut aussi voir cela comme la recherche dâinvariance par translation dans chaque classe. Nous lâavons appliquĂ© avec succĂšs sur plusieurs jeux de donnĂ©es dans le contexte dâun apprentissage automatique utilisant des machines Ă vecteurs support multi-classes
Machine à vecteurs de support hyperbolique et ingénierie du noyau
Statistical learning theory is a field of inferential statistics whose foundations were laid by Vapnik at the end of the 1960s. It is considered a subdomain of artificial intelligence. In machine learning, support vector machines (SVM) are supervised learning models with associated learning algorithms that analyze data used for classification and regression analysis. In this thesis, our aim is to propose two new statistical learning problems: one on the conception and evaluation of a multi-class SVM extension and another on the design of a new kernel for support vectors machines. First, we introduced a new kernel machine for multi-class pattern recognition : the hyperbolic support vector machine. Geometrically, it is characterized by the fact that its decision boundaries in the feature space are defined by hyperbolic functions. We then established its main statistical properties. Among these properties we showed that the classes of component functions are uniform Glivenko-Cantelli, this by establishing an upper bound of the Rademacher complexity. Finally, we establish a guaranteed risk for our classifier. Second, we constructed a new kernel based on the Fourier transform of a Gaussian mixture model. We proceed in the following way: first, each class is fragmented into a number of relevant subclasses, then we consider the directions given by the vectors obtained by taking all pairs of subclass centers of the same class. Among these are excluded those allowing to connect two subclasses of two different classes. We can also see this as the search for translation invariance in each class. It successfully on several datasets in the context of machine learning using multiclass support vector machines.La thĂ©orie statistique de lâapprentissage est un domaine de la statistique infĂ©rentielle dont les fondements ont Ă©tĂ© posĂ©s par Vapnik Ă la fin des annĂ©es 60. Il est considĂ©rĂ© comme un sous-domaine de lâintelligence artificielle. Dans lâapprentissage automatique, les machines Ă vecteurs de support (SVM) sont un ensemble de techniques dâapprentissage supervisĂ© destinĂ©es Ă rĂ©soudre des problĂšmes de discrimination et de rĂ©gression. Dans cette thĂšse, notre objectif est de proposer deux nouveaux problĂšmes dâapprentissage statistique: Un portant sur la conception et lâĂ©valuation dâune extension des SVM multiclasses et un autre sur la conception dâun nouveau noyau pour les machines Ă vecteurs de support. Dans un premier temps, nous avons introduit une nouvelle machine Ă noyau pour la reconnaissance de modĂšle multi-classe: la machine Ă vecteur de support hyperbolique. GĂ©omĂ©triquement, il est caractĂ©risĂ© par le fait que ses surfaces de dĂ©cision dans lâespace de redescription sont dĂ©finies par des fonctions hyperboliques. Nous avons ensuite Ă©tabli ses principales propriĂ©tĂ©s statistiques. Parmi ces propriĂ©tĂ©s nous avons montrĂ© que les classes de fonctions composantes sont des classes de Glivenko-Cantelli uniforme, ceci en Ă©tablissant un majorant de la complexitĂ© de Rademacher. Enfin, nous Ă©tablissons un risque garanti pour notre classifieur.Dans un second temps, nous avons crĂ©er un nouveau noyau sâappuyant sur la transformation de Fourier dâun modĂšle de mĂ©lange gaussien. Nous procĂ©dons de la maniĂšre suivante: dâabord, chaque classe est fragmentĂ©e en un nombre de sous-classes pertinentes, ensuite on considĂšre les directions donnĂ©es par les vecteurs obtenus en prenant toutes les paires de centres de sous-classes dâune mĂȘme classe. Parmi celles-ci, sont exclues celles permettant de connecter deux sous-classes de deux classes diffĂ©rentes. On peut aussi voir cela comme la recherche dâinvariance par translation dans chaque classe. Nous lâavons appliquĂ© avec succĂšs sur plusieurs jeux de donnĂ©es dans le contexte dâun apprentissage automatique utilisant des machines Ă vecteurs support multi-classes
Hyperbolic Support Vector Machine and Kernel design
La thĂ©orie statistique de lâapprentissage est un domaine de la statistique infĂ©rentielle dont les fondements ont Ă©tĂ© posĂ©s par Vapnik Ă la fin des annĂ©es 60. Il est considĂ©rĂ© comme un sous-domaine de lâintelligence artificielle. Dans lâapprentissage automatique, les machines Ă vecteurs de support (SVM) sont un ensemble de techniques dâapprentissage supervisĂ© destinĂ©es Ă rĂ©soudre des problĂšmes de discrimination et de rĂ©gression. Dans cette thĂšse, notre objectif est de proposer deux nouveaux problĂšmes dâaprentissagestatistique: Un portant sur la conception et lâĂ©valuation dâune extension des SVM multiclasses et un autre sur la conception dâun nouveau noyau pour les machines Ă vecteurs de support. Dans un premier temps, nous avons introduit une nouvelle machine Ă noyau pour la reconnaissance de modĂšle multi-classe: la machine Ă vecteur de support hyperbolique. GĂ©ometriquement, il est caractĂ©risĂ© par le fait que ses surfaces de dĂ©cision dans lâespace de redescription sont dĂ©finies par des fonctions hyperboliques. Nous avons ensuite Ă©tabli ses principales propriĂ©tĂ©s statistiques. Parmi ces propriĂ©tĂ©s nous avons montrĂ© que les classes de fonctions composantes sont des classes de Glivenko-Cantelli uniforme, ceci en Ă©tablissant un majorant de la complexitĂ© de Rademacher. Enfin, nous Ă©tablissons un risque garanti pour notre classifieur.Dans un second temps, nous avons crĂ©er un nouveau noyau sâappuyant sur la transformation de Fourier dâun modĂšle de mĂ©lange gaussien. Nous procĂ©dons de la maniĂšre suivante: dâabord, chaque classe est fragmentĂ©e en un nombre de sous-classes pertinentes, ensuite on considĂšre les directions donnĂ©es par les vecteurs obtenus en prenant toutes les paires de centres de sous-classes dâune mĂȘme classe. Parmi celles-ci, sont exclues celles permettant de connecter deux sous-classes de deux classes diffĂ©rentes. On peut aussi voir cela comme la recherche dâinvariance par translation dans chaque classe. Nous lâavons appliquĂ© avec succĂšs sur plusieurs jeux de donnĂ©es dans le contexte dâun apprentissage automatique utilisant des machines Ă vecteurs support multi-classes.Statistical learning theory is a field of inferential statistics whose foundations were laid by Vapnik at the end of the 1960s. It is considered a subdomain of artificial intelligence. In machine learning, support vector machines (SVM) are supervised learning models with associated learning algorithms that analyze data used for classification and regression analysis. In this thesis, our aim is to propose two new statistical learning problems : one on the conception and evaluation of a multi-class SVM extension and another on the design of a new kernel for support vectors machines. First, we introduced a new kernel machine for multi-class pattern recognition : the hyperbolic support vector machine. Geometrically, it is characterized by the fact that its decision boundaries in the feature space are defined by hyperbolic functions. We then established its main statistical properties. Among these properties we showed that the classes of component functions are uniform Glivenko-Cantelli, this by establishing an upper bound of the Rademacher complexity. Finally, we establish a guaranteed risk for our classifier. Second, we constructed a new kernel based on the Fourier transform of a Gaussian mixture model. We proceed in the following way: first, each class is fragmented into a number of relevant subclasses, then we consider the directions given by the vectors obtained by taking all pairs of subclass centers of the same class. Among these are excluded those allowing to connect two subclasses of two different classes. We can also see this as the search for translation invariance in each class. It successfully on several datasets in the context of machine learning using multiclass support vector machines
Comparaison du niveau de réponse immunitaire moyen entre des groupes de traitements comprenant des répondeurs et des non répondeurs
Semaine d'Etude Maths-Entreprises, Lyon, 30 janvier - 3 fĂ©vrier 2017Ce rapport conclut une collaboration avec le groupe Sanofi-Pasteur dans le cadre de la SEME (Semaine dâĂtude Maths Entreprise). Pour le dĂ©veloppement de nouveaux vaccins, l'entreprise compare des donnĂ©es expĂ©rimentales obtenues aprĂšs injection de candidats vaccins afin de dĂ©terminer celui qui gĂ©nĂ©rerait la meilleure rĂ©ponse immunitaire. Cependant, les valeurs des rĂ©ponses immunitaires dĂ©terminĂ©es sont censurĂ©es Ă gauche en raison de la limite de quantification de l'appareil de mesure utilisĂ©. Notre objectif est de prendre en compte les non-rĂ©pondeurs (sujets dont la rĂ©ponse immunitaire est sous le seuil de l'appareil) dans notre comparaison de vaccins
Comparaison du niveau de réponse immunitaire moyen entre des groupes de traitements comprenant des répondeurs et des non répondeurs
Semaine d'Etude Maths-Entreprises, Lyon, 30 janvier - 3 fĂ©vrier 2017Ce rapport conclut une collaboration avec le groupe Sanofi-Pasteur dans le cadre de la SEME (Semaine dâĂtude Maths Entreprise). Pour le dĂ©veloppement de nouveaux vaccins, l'entreprise compare des donnĂ©es expĂ©rimentales obtenues aprĂšs injection de candidats vaccins afin de dĂ©terminer celui qui gĂ©nĂ©rerait la meilleure rĂ©ponse immunitaire. Cependant, les valeurs des rĂ©ponses immunitaires dĂ©terminĂ©es sont censurĂ©es Ă gauche en raison de la limite de quantification de l'appareil de mesure utilisĂ©. Notre objectif est de prendre en compte les non-rĂ©pondeurs (sujets dont la rĂ©ponse immunitaire est sous le seuil de l'appareil) dans notre comparaison de vaccins