Fuzzy Classifiers and their Relation to Cluster Analysis and Neural Network

In this work, we examine three softcomputing methodologies, i.e. rule based fuzzy classification systems, fuzzy clustering and neural networks. Rulebased fuzzy systems can be more easily interpreted than neural networks, while neural networks can learn from data although being a black box. Fuzzy clustering methods search for similarities to combine the data into clusters. We combine them to use the advantages of each system for classification problems. This work shows that the fuzzy max-min classifier decides locally on the basis of two attributes, i.e. only a separation between classes that is parallel to n-2 coordinates can be represented. Therefore we consider systems using the Lukasiewicz-t-norm, as they can solve arbitrary piecewise linear problems. We geometrically characterize and visualize the Lukasiewicz-classifier. We can visualize results from fuzzy clustering analysis by placing a separating hyperplane between two prototypes. Using these hyperplanes we construct a fuzzy classification system that exactly reproduces the assignment to the clusters. The common method of projection used to derive fuzzy rules form fuzzy clusters often looses information. The rules derived by our method give exactly the same classification as the clusters. We also construct a multilayer perceptron (MLP) with two hidden layers from the clusters. Information derived from fuzzy clusters or from a rulebased fuzzy classification system, that is representing e.g. expert knowledge, can be used for initialising an MLP, that can be trained afterwards. Our methodology can also be used for problems with continuous output. To use MLPs for prediction of delays of arrivals at airports, we cluster weather data, construct an MLP from the clusters and further train it.In dieser Arbeit werden drei Softcomputing-Modelle, regelbasierte Fuzzy Systeme, Neuronalen Netz und Fuzzy Clustering Methoden, miteinander verknüpft, um die jeweiligen Vorteile für Klassifikationsprobleme zu kombinieren. Regelbasierte Fuzzy Systeme sind dabei leichter interpretierbar als Neuronale Netze. Diese wiederum lernen gut aus Daten, verhalten sich aber als Blackbox. Fuzzy Clustering Methoden stellen Ähnlichkeitsstrukturen fest, nach denen die Daten in Cluster unterteilt werden. Es wird gezeigt, dass ein Fuzzy Max-Min-Klassifikator lokal immer auf der Basis von zwei Attributen entscheidet, d.h. dass nur Klassentrennungen, die lokal parallel zu n-2 Koordinaten verlaufen, abgebildet werden können. Hier werden daher Systeme mit Lukasiewicz-t-Norm betrachtet, die beliebige stückweise linear separable Probleme lösen können. Der Lukasiewicz-Klassifikator wird geometrisch charakterisiert und visualisiert. Ergebnisse der Fuzzy Clusteranalyse lassen sich visualisieren, indem zwischen je zwei Prototypen eine Hyperebene zur Trennung eingezogen wird. Mit deren Hilfe lässt sich ein Fuzzy Klassifikator bauen, der die Zuordnung zu den Clustern genau wiedergibt. Das bisher übliche Projektionsverfahren, das aus einem Fuzzy Clustering Ergebnis Fuzzy Regeln bildet, verliert Informationen, während die Regeln nach dem hier entwickelten Verfahren genau die gleiche Klassifizierung wie die Cluster wiedergeben. Aus den Clustern wird ebenfalls ein Multitlayer Perceptron (MLP) mit zwei inneren Schichten konstruiert. Information, die aus einem Fuzzy Clustering Ergebnis oder einem regelbasierten Fuzzy System gezogen wird und die z.B. Expertenwissen repräsentiert, kann zum Initialisieren eines MLPs benutzt werden, das anschließend weiter lernen kann. Die Methodik lässt sich ebenso für kontinuierliche Ausgaben benutzen. Um MLPs zur Vorhersage von Verspätungen beim Anflug auf Flughäfen zu nutzen, wurden Wetterdaten geclustert, daraus ein MLP konstruiert und dieses untersucht