A pragmatic approach to multi-class classification

We present a novel hierarchical approach to multi-class classification which is generic in that it can be applied to different classification models (e.g., support vector machines, perceptrons), and makes no explicit assumptions about the probabilistic structure of the problem as it is usually done in multi-class classification. By adding a cascade of additional classifiers, each of which receives the previous classifier's output in addition to regular input data, the approach harnesses unused information that manifests itself in the form of, e.g., correlations between predicted classes. Using multilayer perceptrons as a classification model, we demonstrate the validity of this approach by testing it on a complex ten-class 3D gesture recognition task.Comment: European Symposium on artificial neural networks (ESANN), Apr 2015, Bruges, Belgium. 201

Multi-Class SVM Classifier Based on Pairwise Coupling

In this paper, a novel structure is proposed to extend standard support vector classifier to multi-class cases. For a K-class classification task, an array of K optimal pairwise coupling classifier (O-PWC) is constructed, each of which is the most reliable and optimal for the corresponding class in the sense of cross entropy or square error. The final decision will be produced through combining the results of these K O-PWCs. The accuracy rate is improved while the computational cost will not increase too much. Our approach is applied to two applications: handwritten digital recognition on MNIST database and face recognition on Cambridge ORL face database, experimental results reveal that our method is effective and efficient.http://gateway.webofknowledge.com/gateway/Gateway.cgi?GWVersion=2&SrcApp=PARTNER_APP&SrcAuth=LinksAMR&KeyUT=WOS:000187252200025&DestLinkType=FullRecord&DestApp=ALL_WOS&UsrCustomerID=8e1609b174ce4e31116a60747a720701Computer Science, Artificial IntelligenceComputer Science, Theory & MethodsSCI(E)CPCI-S(ISTP)1

Development of chemometric tools for the classification of bacteria by means of micro-Raman spectroscopy

In der vorliegenden Dissertation wurde ein datenanalytisches Auswertungssystem für die Mikro-Raman-spektroskopische Identifizierung von Bakterien in industriellen Reinräumen entwickelt. Das Auswertungssystem setzt sich zusammen aus Spektrenvorbehandlung, Klassifikation und Erkennung von Vorhersageausreißern. Auf der Basis eines hochdiversen Datensatzes, der aus 3642 Spektren und 29 Bakterienstämmen besteht, wurde zunächst die Leistungsfähigkeit verschiedener Methoden zur Spektrenvorbehandlung bewertet. Da man Bakterien in ihrer natürlichen Umgebung in verschiedenen Wachstumsphasen und Stoffwechselzuständen vorfindet, sind die Bakterien eines Stammes häufig sehr heterogen. „Gaussian Mixture” Diskriminanzanalyse (MDA) stellt eine ideale Klassifikationsmethode für diese Aufgabe dar, da mittels MDA auch heterogene und streuende Klassenstrukturen modelliert werden können. Die Nützlichkeit der MDA für die Differenzierung der Bakterienstämme wurde im Vergleich zu verschiedenen linearen und nichtlinearen Klassifikationsmethoden demonstriert. Zu den verwendeten Algorithmen zählen neben MDA „Partial Least Squares“ –Distriminanzanalyse (PLS-DA), Lineare Diskriminanzanalyse (LDA), Quadratische Diskriminanzanalyse (QDA), k-nächste Nachbarn Klassifizierer (kNN) und „Support Vector Machines“ (SVMs). Die Vorhersagegenauigkeit der MDA konnte durch deutlich gesteigert werden, indem MDA mit einer paarweisen Klassifikation kombiniert wurde. Dabei wurde das Multiklassenproblem in mehrere Zweiklassenprobleme aufgeteilt. Die Ergebnisse wurden anschließend durch eine „Major Vote“-Entscheidung kombiniert. Mit diesem paarweisen Ansatz konnten 86.6% der Spektren richtig klassifiziert werden. Neben der hohen Vorhersagegenaugkeit wurden in der Arbeit weitere Vorteile der paarweisen MDA für die gegebene Aufgabenstellung aufgezeigt. Dazu zählen der leichte Zugang zu a posteriori Wahrscheinlichkeiten, die zuverlässige Erkennung von Vorhersageausreißern und die Interpretierbarkeit des Modells.In the present study a classification system was developed, which is suited to differentiate single bacterial cells using micro-Raman spectroscopic data. The classification system includes spectral preprocessing, classification and detection of prediction outliers. On the basis of a highly diverse dataset comprising 3642 spectra of 29 different strains of bacteria, various pre-processing techniques were evaluated. The differentiation of bacterial cells can be hampered by large intra-strain variability of the measured microorganisms due to fluctuating culture ages, nutrition conditions, and cultivation temperatures. Gaussian mixture discriminant analysis (MDA) is an effective classification approach for this task, as it is able to model inhomogeneous and scattering class structures. The utility of MDA for the differentiation of microorganisms by micro-Raman spectroscopy was demonstrated in comparison to various linear and nonlinear classification algorithms. The employed algorithms include partial least squares discriminant analysis (PLS-DA), linear discriminant analysis (LDA), quadratic discriminant analysis (QDA), k-nearest neighbor classifier (kNN) and support vector machines (SVMs). The prediction accuracy of MDA can be improved markedly by establishing multiple one-class-versus-one-class models and making predictions by a major vote decision over all pairwise classifications. Using this pairwise approach 86.6% of the bacterial cells could be identified correctly. In the case of MDA, the assessment of a posteriori probabilities allows a straightforward novelty detection procedure. Moreover, due to its cluster property, MDA can be employed to visualize the effect of varying cultivation parameters on the group-structure of the investigated dataset. The analysis demonstrates that MDA exhibits useful features for the differentiation of single bacteria by micro-Raman spectroscopy in terms of prediction accuracy, novelty detection, and interpretation of the model

Development of chemometric tools for the classification of bacteria by means of micro-Raman spectroscopy

In der vorliegenden Dissertation wurde ein datenanalytisches Auswertungssystem für die Mikro-Raman-spektroskopische Identifizierung von Bakterien in industriellen Reinräumen entwickelt. Das Auswertungssystem setzt sich zusammen aus Spektrenvorbehandlung, Klassifikation und Erkennung von Vorhersageausreißern. Auf der Basis eines hochdiversen Datensatzes, der aus 3642 Spektren und 29 Bakterienstämmen besteht, wurde zunächst die Leistungsfähigkeit verschiedener Methoden zur Spektrenvorbehandlung bewertet. Da man Bakterien in ihrer natürlichen Umgebung in verschiedenen Wachstumsphasen und Stoffwechselzuständen vorfindet, sind die Bakterien eines Stammes häufig sehr heterogen. „Gaussian Mixture” Diskriminanzanalyse (MDA) stellt eine ideale Klassifikationsmethode für diese Aufgabe dar, da mittels MDA auch heterogene und streuende Klassenstrukturen modelliert werden können. Die Nützlichkeit der MDA für die Differenzierung der Bakterienstämme wurde im Vergleich zu verschiedenen linearen und nichtlinearen Klassifikationsmethoden demonstriert. Zu den verwendeten Algorithmen zählen neben MDA „Partial Least Squares“ –Distriminanzanalyse (PLS-DA), Lineare Diskriminanzanalyse (LDA), Quadratische Diskriminanzanalyse (QDA), k-nächste Nachbarn Klassifizierer (kNN) und „Support Vector Machines“ (SVMs). Die Vorhersagegenauigkeit der MDA konnte durch deutlich gesteigert werden, indem MDA mit einer paarweisen Klassifikation kombiniert wurde. Dabei wurde das Multiklassenproblem in mehrere Zweiklassenprobleme aufgeteilt. Die Ergebnisse wurden anschließend durch eine „Major Vote“-Entscheidung kombiniert. Mit diesem paarweisen Ansatz konnten 86.6% der Spektren richtig klassifiziert werden. Neben der hohen Vorhersagegenaugkeit wurden in der Arbeit weitere Vorteile der paarweisen MDA für die gegebene Aufgabenstellung aufgezeigt. Dazu zählen der leichte Zugang zu a posteriori Wahrscheinlichkeiten, die zuverlässige Erkennung von Vorhersageausreißern und die Interpretierbarkeit des Modells.In the present study a classification system was developed, which is suited to differentiate single bacterial cells using micro-Raman spectroscopic data. The classification system includes spectral preprocessing, classification and detection of prediction outliers. On the basis of a highly diverse dataset comprising 3642 spectra of 29 different strains of bacteria, various pre-processing techniques were evaluated. The differentiation of bacterial cells can be hampered by large intra-strain variability of the measured microorganisms due to fluctuating culture ages, nutrition conditions, and cultivation temperatures. Gaussian mixture discriminant analysis (MDA) is an effective classification approach for this task, as it is able to model inhomogeneous and scattering class structures. The utility of MDA for the differentiation of microorganisms by micro-Raman spectroscopy was demonstrated in comparison to various linear and nonlinear classification algorithms. The employed algorithms include partial least squares discriminant analysis (PLS-DA), linear discriminant analysis (LDA), quadratic discriminant analysis (QDA), k-nearest neighbor classifier (kNN) and support vector machines (SVMs). The prediction accuracy of MDA can be improved markedly by establishing multiple one-class-versus-one-class models and making predictions by a major vote decision over all pairwise classifications. Using this pairwise approach 86.6% of the bacterial cells could be identified correctly. In the case of MDA, the assessment of a posteriori probabilities allows a straightforward novelty detection procedure. Moreover, due to its cluster property, MDA can be employed to visualize the effect of varying cultivation parameters on the group-structure of the investigated dataset. The analysis demonstrates that MDA exhibits useful features for the differentiation of single bacteria by micro-Raman spectroscopy in terms of prediction accuracy, novelty detection, and interpretation of the model

Sélection automatique de modèle dans les machines à vecteurs de support : application à la reconnaissance d'images de chiffres manuscrits

La problématique étudiée dans cette thèse est la sélection de modèle automatique des machines à vecteurs de support (SVM) pour la reconnaissance de chiffres manuscrits. Nous présentons une nouvelle méthodologie de sélection de modèle automatique du SVM sur des données binaires et multiclasse. L'approche permet d'optimiser les paramètres de noyaux et de réduire efficacement la complexité du classifieur en minimisant le nombre de vecteurs de support. Ceci s'accompagne d'une réduction drastique de l'erreur de généralisation. La méthodologie proposée est basée sur un nouveau critère de sélection de modèle estimant la probabilité d'erreur du SVM. Ce critère est ensuite minimisé en utilisant une procédure efficiente de descente de gradient. La probabilité d'erreur est une erreur empirique estimée sur des observations de validation représentant le même problème de classification. Son calcul utilise les estimations des probabilités à posteriori de ces observations. Pour des fins de comparaison, nous considérons deux autres critères de sélection de modèle que sont le GACV et le VC. Ce sont deux critères analytiques approximant des bornes supérieures de l'erreur. Pour le premier, nous proposons aussi un nouvel algorithme de minimisation. Les expériences effectuées sur un problème de classification binaire montrent la supériorité du critère de l'erreur empirique et sa capacité à sélectionner adéquatement les hyper-paramètres du SVM. Aussi, le critère garantit la solution de moindre complexité en produisant le plus faible nombre de vecteurs de support. Par ailleurs, sur des données multiclasses, nous proposons deux approches de sélection automatique de modèle dans la stratégie un-contre-un. La première, dite «approche locale» permet d'optimiser l'ensemble de SVM individuellement en adaptant leurs hyper-paramètres aux données du couple de classes considéré. La deuxième, dite «approche globale», permet d'optimiser simultanément l'ensemble de SVM en prenant en compte le comportement de chacun d'eux. Pour cette dernière, nous proposons de maximiser la vraisemblance des données de validation à travers l'ensemble de SVM en minimisant l'erreur quadratique entre les probabilités à postériori des classes et les probabilités désirées des données. Les deux approches sont validées expérimentalement sur des données réelles issues des bases d'images de chiffres manuscrits arabes USPS et indiens INDCENPARMI