Structurally correct image segmentation using local binary patterns and the combinatorial pyramid

Abstract

Zsfassung in dt. SpracheIn dieser Diplomarbeit präsentieren wir einen neuen Bildsegmentierungsalgorithmus, der auf den Local Binary Patterns und der Kombinatorischen Pyramide beruht. Existierende Algorithmen zur Bildsegmentierung, die auf den Local Binary Patterns basieren, nutzen statistische Methoden in Form von Histogrammen, um texturierte Regionen zu beschreiben und zu vergleichen, und ein Bild in homogene Regionen aufzuteilen. Die Neuheit unserer Methode liegt darin, dass wir die statistische Beschreibung mittels Histogrammen auslassen und eine Segmentierung direkt auf der lokalen Struktur des Bildes durchführen, und gleichzeitig die strukturelle Korrektheit sowie Topologie des Bildes beibehalten. In dieser Diplomarbeit definieren wir fünf topologische Klassen, die auf den Local Binary Patterns von Regionen basieren und invariant bezüglich der Anzahl und Verschiebung der Bits sind, nämlich locale Minima, Slopes, singuläre Slopes, Sattelpunkte, und lokale Maxima. Mithilfe dieser Klassen und des dualen Graphen ist es möglich redundante strukturelle Information zu identifizieren und zu entfernen. Diese Methode vereinfacht den Bildgraphen und erlaubt es verbundene Regionen zu verschmelzen ohne strukturelle Fehler zu erzeugen. Wir vergleichen unseren Algorithmus mit fünf anderen Algorithmen mittels den Global Consistency Error und Probabilistic Rand Index Fehlermetriken. Einer dieser fünf Algorithmen ist eine Vorversion unseres vorgeschlagenen Algorithmus, der aber keine strukturellen Beschränkungen beachtet. Die restlichen vier Algorithmen basieren auf internem- und externem Kontrast, minimalen Spannbäumen, Mean-Shift, und Superpixel Verfahren. Die Evaluation zeigt, dass der vorgeschlagene Algorithmus vergleichbar gute Ergebnisse in der Global Consistency Error Fehlermetrik zeigt, und alle anderen fünf Algorithmen in Bezug zum Probability Rand Index schlägt. Dieses Verhalten legt nahe, dass eine feinere Segmentierung in Regionen passiert, wo es Hinweise auf mehrere Ebenen der Granularität der menschlichen Segmentierung gibt, und der Algorithmus deshalb eine Anwendung in der Bildkompression finden kann.In this thesis we present a new image segmentation algorithm which is based on Local Binary Patterns and the Combinatorial Pyramid. Current Local Binary Pattern-based segmentation algorithms utilize statistical approaches in form of a histogram to describe and compare textured regions, and to subdivide an image into homogeneous regions. The novelty of our approach is that we omit the usage of histograms and perform a segmentation based directly on the local structure of the image, while at the same time preserving structural correctness and image topology. In our work we define five topological classes that are based on the Local Binary Patterns of regions and are invariant to the number and shifting of bits, namely local minima, slopes, singular slopes, saddles, and local maxima. Using these classes in combination with the dual graph we are able to identify and remove redundant structural information. This approach simplifies the image graph and enables a merging of connected regions without introducing structural errors. We compare our algorithm to five other algorithms using the Global Consistency Error and Probabilistic Rand Index error metrics. One of these algorithms is a pre-version of our proposed algorithm which does not take structural constraints into consideration, and the remaining four algorithms are existing algorithms based on internal- and external contrast, Minimum Spanning Trees, Mean-Shift, and superpixel approaches. The evaluation shows, that the proposed algorithm indicates comparably good results with the Global Consistency Error metric, and it beats all of the five algorithms in terms of a high Probability Rand Index score. This segmentation behavior suggests, that a refinement of segmentations takes place at regions where there is evidence of multiple levels of granularity of segmentations performed by human subjects, and thus an application in image compression can be found.10