Learning Object Recognition and Object Class Segmentation with Deep Neural Networks on GPU

As cameras are becoming ubiquitous and internet storage abundant, the need for computers to understand images is growing rapidly. This thesis is concerned with two computer vision tasks, recognizing objects and their location, and segmenting images according to object classes. We focus on deep learning approaches, which in recent years had a tremendous influence on machine learning in general and computer vision in particular. The thesis presents our research into deep learning models and algorithms. It is divided into three parts. The first part describes our GPU deep learning framework. Its hierarchical structure allows transparent use of GPU, facilitates specification of complex models, model inspection, and constitutes the implementation basis of the later chapters. Components of this framework were used in a real-time GPU library for random forests, which we present and evaluate. In the second part, we investigate greedy learning techniques for semi-supervised object recognition. We improve the feature learning capabilities of restricted Boltzmann machines (RBM) with lateral interactions and auto-encoders with additional hidden layers, and offer empirical insight into the evaluation of RBM learning algorithms. The third part of this thesis focuses on object class segmentation. Here, we incrementally introduce novel neural network models and training algorithms, successively improving the state of the art on multiple datasets. Our novel methods include supervised pre-training, histogram of oriented gradient DNN inputs, depth normalization and recurrence. All contribute towards improving segmentation performance beyond what is possible with competitive baseline methods. We further demonstrate that pixelwise labeling combined with a structured loss function can be utilized to localize objects. Finally, we show how transfer learning in combination with object-centered depth colorization can be used to identify objects. We evaluate our proposed methods on the publicly available MNIST, MSRC, INRIA Graz-02, NYU-Depth, Pascal VOC, and Washington RGB-D Objects datasets.Allgegenwärtige Kameras und preiswerter Internetspeicher erzeugen einen großen Bedarf an Algorithmen für maschinelles Sehen. Die vorliegende Dissertation adressiert zwei Teilbereiche dieses Forschungsfeldes: Erkennung von Objekten und Objektklassensegmentierung. Der methodische Schwerpunkt liegt auf dem Lernen von tiefen Modellen (”Deep Learning“). Diese haben in den vergangenen Jahren einen enormen Einfluss auf maschinelles Lernen allgemein und speziell maschinelles Sehen gewonnen. Dabei behandeln wir behandeln wir drei Themenfelder. Der erste Teil der Arbeit beschreibt ein GPU-basiertes Softwaresystem für Deep Learning. Dessen hierarchische Struktur erlaubt schnelle GPU-Berechnungen, einfache Spezifikation komplexer Modelle und interaktive Modellanalyse. Damit liefert es das Fundament für die folgenden Kapitel. Teile des Systems finden Verwendung in einer Echtzeit-GPU-Bibliothek für Random Forests, die wir ebenfalls vorstellen und evaluieren. Der zweite Teil der Arbeit beleuchtet Greedy-Lernalgorithmen für halb überwachtes Lernen. Hier werden hierarchische Modelle schrittweise aus Modulen wie Autokodierern oder restricted Boltzmann Machines (RBM ) aufgebaut. Wir verbessern die Repräsentationsfähigkeiten von RBM auf Bildern durch Einführung lokaler und lateraler Verknüpfungen und liefern empirische Erkenntnisse zur Bewertung von RBM-Lernalgorithmen. Wir zeigen zudem, dass die in Autokodierern verwendeten einschichtigen Kodierer komplexe Zusammenhänge ihrer Eingaben nicht erkennen können und schlagen stattdessen einen hybriden Kodierer vor, der sowohl komplexe Zusammenhänge erkennen, als auch weiterhin einfache Zusammenhänge einfach repräsentieren kann. Im dritten Teil der Arbeit stellen wir neue neuronale Netzarchitekturen und Trainingsmethoden für die Objektklassensegmentierung vor. Wir zeigen, dass neuronale Netze mit überwachtem Vortrainieren, wiederverwendeten Ausgaben und Histogrammen Orientierter Gradienten (HOG) als Eingabe den aktuellen Stand der Technik auf mehreren RGB-Datenmengen erreichen können. Anschließend erweitern wir unsere Methoden in zwei Dimensionen, sodass sie mit Tiefendaten (RGB-D) und Videos verarbeiten können. Dazu führen wir zunächst Tiefennormalisierung für Objektklassensegmentierung ein um die Skala zu fixieren, und erlauben expliziten Zugriff auf die Höhe in einem Bildausschnitt. Schließlich stellen wir ein rekurrentes konvolutionales neuronales Netz vor, das einen großen räumlichen Kontext einbezieht, hochaufgelöste Ausgaben produziert und Videosequenzen verarbeiten kann. Dadurch verbessert sich die Bildsegmentierung relativ zu vergleichbaren Methoden, etwa auf der Basis von Random Forests oder CRF . Wir zeigen dann, dass pixelbasierte Ausgaben in neuronalen Netzen auch benutzt werden können um die Position von Objekten zu detektieren. Dazu kombinieren wir Techniken des strukturierten Lernens mit Konvolutionsnetzen. Schließlich schlagen wir eine objektzentrierte Einfärbungsmethode vor, die es ermöglicht auf RGB-Bildern trainierte neuronale Netze auf RGB-D-Bildern einzusetzen. Dieser Transferlernansatz erlaubt es uns auch mit stark reduzierten Trainingsmengen noch bessere Ergebnisse beim Schätzen von Objektklassen, -instanzen und -orientierungen zu erzielen. Wir werten die von uns vorgeschlagenen Methoden auf den öffentlich zugänglichen MNIST, MSRC, INRIA Graz-02, NYU-Depth, Pascal VOC, und Washington RGB-D Objects Datenmengen aus

Learning depth-aware deep representations for robotic perception

© 20xx IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.Exploiting RGB-D data by means of Convolutional Neural Networks (CNNs) is at the core of a number of robotics applications, including object detection, scene semantic segmentation and grasping. Most existing approaches, however, exploit RGB-D data by simply considering depth as an additional input channel for the network. In this paper we show that the performance of deep architectures can be boosted by introducing DaConv, a novel, general-purpose CNN block which exploits depth to learn scale-aware feature representations. We demonstrate the benefits of DaConv on a variety of robotics oriented tasks, involving affordance detection, object coordinate regression and contour detection in RGB-D images. In each of these experiments we show the potential of the proposed block and how it can be readily integrated into existing CNN architectures.Peer ReviewedPostprint (author's final draft

Depth estimation and semantic segmentation from a single RGB image using a hybrid convolutional neural network

Semantic segmentation and depth estimation are two important tasks in computer vision, and many methods have been developed to tackle them. Commonly these two tasks are addressed independently, but recently the idea of merging these two problems into a sole framework has been studied under the assumption that integrating two highly correlated tasks may benefit each other to improve the estimation accuracy. In this paper, depth estimation and semantic segmentation are jointly addressed using a single RGB input image under a unified convolutional neural network. We analyze two different architectures to evaluate which features are more relevant when shared by the two tasks and which features should be kept separated to achieve a mutual improvement. Likewise, our approaches are evaluated under two different scenarios designed to review our results versus single-task and multi-task methods. Qualitative and quantitative experiments demonstrate that the performance of our methodology outperforms the state of the art on single-task approaches, while obtaining competitive results compared with other multi-task methods.Peer ReviewedPostprint (author's final draft

Semantic and generic object segmentation for scene analysis using RGB-D Data

In this thesis, we study RGB-D based segmentation problems from different perspectives in terms of the input data. Apart from the basic photometric and geometric information contained in the RGB-D data, also semantic and temporal information are usually considered in an RGB-D based segmentation system. The first part of this thesis focuses on an RGB-D based semantic segmentation problem, where the predefined semantics and annotated training data are available. First, we review how RGB-D data has been exploited in the state of the art to help training classifiers in a semantic segmentation tasks. Inspired by these works, we follow a multi-task learning schema, where semantic segmentation and depth estimation are jointly tackled in a Convolutional Neural Network (CNN). Since semantic segmentation and depth estimation are two highly correlated tasks, approaching them jointly can be mutually beneficial. In this case, depth information along with the segmentation annotation in the training data helps better defining the target of the training process of the classifier, instead of feeding the system blindly with an extra input channel. We design a novel hybrid CNN architecture by investigating the common attributes as well as the distinction for depth estimation and semantic segmentation. The proposed architecture is tested and compared with state of the art approaches in different datasets. Although outstanding results are achieved in semantic segmentation, the limitations in these approaches are also obvious. Semantic segmentation strongly relies on predefined semantics and a large amount of annotated data, which may not be available in more general applications. On the other hand, classical image segmentation tackles the segmentation task in a more general way. But classical approaches hardly obtain object level segmentation due to the lack of higher level knowledge. Thus, in the second part of this thesis, we focus on an RGB-D based generic instance segmentation problem where temporal information is available from the RGB-D video while no semantic information is provided. We present a novel generic segmentation approach for 3D point cloud video (stream data) thoroughly exploiting the explicit geometry and temporal correspondences in RGB-D. The proposed approach is validated and compared with state of the art generic segmentation approaches in different datasets. Finally, in the third part of this thesis, we present a method which combines the advantages in both semantic segmentation and generic segmentation, where we discover object instances using the generic approach and model them by learning from the few discovered examples by applying the approach of semantic segmentation. To do so, we employ the one shot learning technique, which performs knowledge transfer from a generally trained model to a specific instance model. The learned instance models generate robust features in distinguishing different instances, which is fed to the generic segmentation approach to perform improved segmentation. The approach is validated with experiments conducted on a carefully selected dataset.En aquesta tesi, estudiem problemes de segmentació basats en RGB-D des de diferents perspectives pel que fa a les dades d'entrada. A part de la informació fotomètrica i geomètrica bàsica que conté les dades RGB-D, també es considera normalment informació semàntica i temporal en un sistema de segmentació basat en RGB-D. La primera part d'aquesta tesi se centra en un problema de segmentació semàntica basat en RGB-D, on hi ha disponibles les dades semàntiques predefinides i la informació d'entrenament anotada. En primer lloc, revisem com les dades RGB-D s'han explotat en l'estat de l'art per ajudar a entrenar classificadors en tasques de segmentació semàntica. Inspirats en aquests treballs, seguim un esquema d'aprenentatge multidisciplinar, on la segmentació semàntica i l'estimació de profunditat es tracten conjuntament en una Xarxa Neural Convolucional (CNN). Atès que la segmentació semàntica i l'estimació de profunditat són dues tasques altament correlacionades, l'aproximació a les mateixes pot ser mútuament beneficiosa. En aquest cas, la informació de profunditat juntament amb l'anotació de segmentació en les dades d'entrenament ajuda a definir millor l'objectiu del procés d'entrenament del classificador, en comptes d'alimentar el sistema cegament amb un canal d'entrada addicional. Dissenyem una nova arquitectura híbrida CNN investigant els atributs comuns, així com la distinció per a l'estimació de profunditat i la segmentació semàntica. L'arquitectura proposada es prova i es compara amb l'estat de l'art en diferents conjunts de dades. Encara que s'obtenen resultats excel·lents en la segmentació semàntica, les limitacions d'aquests enfocaments també són evidents. La segmentació semàntica es recolza fortament en la semàntica predefinida i una gran quantitat de dades anotades, que potser no estaran disponibles en aplicacions més generals. D'altra banda, la segmentació d'imatge clàssica aborda la tasca de segmentació d'una manera més general. Però els enfocaments clàssics gairebé no aconsegueixen la segmentació a nivell d'objectes a causa de la manca de coneixements de nivell superior. Així, en la segona part d'aquesta tesi, ens centrem en un problema de segmentació d'instàncies genèric basat en RGB-D, on la informació temporal està disponible a partir del vídeo RGB-D, mentre que no es proporciona informació semàntica. Presentem un nou enfocament genèric de segmentació per a vídeos de núvols de punts 3D explotant a fons la geometria explícita i les correspondències temporals en RGB-D. L'enfocament proposat es valida i es compara amb enfocaments de segmentació genèrica de l'estat de l'art en diferents conjunts de dades. Finalment, en la tercera part d'aquesta tesi, presentem un mètode que combina els avantatges tant en la segmentació semàntica com en la segmentació genèrica, on descobrim instàncies de l'objecte utilitzant l'enfocament genèric i les modelem mitjançant l'aprenentatge dels pocs exemples descoberts aplicant l'enfocament de segmentació semàntica. Per fer-ho, utilitzem la tècnica d'aprenentatge d'un tir, que realitza la transferència de coneixement d'un model entrenat de forma genèrica a un model d'instància específic. Els models apresos d'instància generen funcions robustes per distingir diferents instàncies, que alimenten la segmentació genèrica de segmentació per a la seva millora. L'enfocament es valida amb experiments realitzats en un conjunt de dades acuradament seleccionat.Postprint (published version

Semantic and generic object segmentation for scene analysis using RGB-D Data

In this thesis, we study RGB-D based segmentation problems from different perspectives in terms of the input data. Apart from the basic photometric and geometric information contained in the RGB-D data, also semantic and temporal information are usually considered in an RGB-D based segmentation system. The first part of this thesis focuses on an RGB-D based semantic segmentation problem, where the predefined semantics and annotated training data are available. First, we review how RGB-D data has been exploited in the state of the art to help training classifiers in a semantic segmentation tasks. Inspired by these works, we follow a multi-task learning schema, where semantic segmentation and depth estimation are jointly tackled in a Convolutional Neural Network (CNN). Since semantic segmentation and depth estimation are two highly correlated tasks, approaching them jointly can be mutually beneficial. In this case, depth information along with the segmentation annotation in the training data helps better defining the target of the training process of the classifier, instead of feeding the system blindly with an extra input channel. We design a novel hybrid CNN architecture by investigating the common attributes as well as the distinction for depth estimation and semantic segmentation. The proposed architecture is tested and compared with state of the art approaches in different datasets. Although outstanding results are achieved in semantic segmentation, the limitations in these approaches are also obvious. Semantic segmentation strongly relies on predefined semantics and a large amount of annotated data, which may not be available in more general applications. On the other hand, classical image segmentation tackles the segmentation task in a more general way. But classical approaches hardly obtain object level segmentation due to the lack of higher level knowledge. Thus, in the second part of this thesis, we focus on an RGB-D based generic instance segmentation problem where temporal information is available from the RGB-D video while no semantic information is provided. We present a novel generic segmentation approach for 3D point cloud video (stream data) thoroughly exploiting the explicit geometry and temporal correspondences in RGB-D. The proposed approach is validated and compared with state of the art generic segmentation approaches in different datasets. Finally, in the third part of this thesis, we present a method which combines the advantages in both semantic segmentation and generic segmentation, where we discover object instances using the generic approach and model them by learning from the few discovered examples by applying the approach of semantic segmentation. To do so, we employ the one shot learning technique, which performs knowledge transfer from a generally trained model to a specific instance model. The learned instance models generate robust features in distinguishing different instances, which is fed to the generic segmentation approach to perform improved segmentation. The approach is validated with experiments conducted on a carefully selected dataset.En aquesta tesi, estudiem problemes de segmentació basats en RGB-D des de diferents perspectives pel que fa a les dades d'entrada. A part de la informació fotomètrica i geomètrica bàsica que conté les dades RGB-D, també es considera normalment informació semàntica i temporal en un sistema de segmentació basat en RGB-D. La primera part d'aquesta tesi se centra en un problema de segmentació semàntica basat en RGB-D, on hi ha disponibles les dades semàntiques predefinides i la informació d'entrenament anotada. En primer lloc, revisem com les dades RGB-D s'han explotat en l'estat de l'art per ajudar a entrenar classificadors en tasques de segmentació semàntica. Inspirats en aquests treballs, seguim un esquema d'aprenentatge multidisciplinar, on la segmentació semàntica i l'estimació de profunditat es tracten conjuntament en una Xarxa Neural Convolucional (CNN). Atès que la segmentació semàntica i l'estimació de profunditat són dues tasques altament correlacionades, l'aproximació a les mateixes pot ser mútuament beneficiosa. En aquest cas, la informació de profunditat juntament amb l'anotació de segmentació en les dades d'entrenament ajuda a definir millor l'objectiu del procés d'entrenament del classificador, en comptes d'alimentar el sistema cegament amb un canal d'entrada addicional. Dissenyem una nova arquitectura híbrida CNN investigant els atributs comuns, així com la distinció per a l'estimació de profunditat i la segmentació semàntica. L'arquitectura proposada es prova i es compara amb l'estat de l'art en diferents conjunts de dades. Encara que s'obtenen resultats excel·lents en la segmentació semàntica, les limitacions d'aquests enfocaments també són evidents. La segmentació semàntica es recolza fortament en la semàntica predefinida i una gran quantitat de dades anotades, que potser no estaran disponibles en aplicacions més generals. D'altra banda, la segmentació d'imatge clàssica aborda la tasca de segmentació d'una manera més general. Però els enfocaments clàssics gairebé no aconsegueixen la segmentació a nivell d'objectes a causa de la manca de coneixements de nivell superior. Així, en la segona part d'aquesta tesi, ens centrem en un problema de segmentació d'instàncies genèric basat en RGB-D, on la informació temporal està disponible a partir del vídeo RGB-D, mentre que no es proporciona informació semàntica. Presentem un nou enfocament genèric de segmentació per a vídeos de núvols de punts 3D explotant a fons la geometria explícita i les correspondències temporals en RGB-D. L'enfocament proposat es valida i es compara amb enfocaments de segmentació genèrica de l'estat de l'art en diferents conjunts de dades. Finalment, en la tercera part d'aquesta tesi, presentem un mètode que combina els avantatges tant en la segmentació semàntica com en la segmentació genèrica, on descobrim instàncies de l'objecte utilitzant l'enfocament genèric i les modelem mitjançant l'aprenentatge dels pocs exemples descoberts aplicant l'enfocament de segmentació semàntica. Per fer-ho, utilitzem la tècnica d'aprenentatge d'un tir, que realitza la transferència de coneixement d'un model entrenat de forma genèrica a un model d'instància específic. Els models apresos d'instància generen funcions robustes per distingir diferents instàncies, que alimenten la segmentació genèrica de segmentació per a la seva millora. L'enfocament es valida amb experiments realitzats en un conjunt de dades acuradament seleccionat