Ventral-stream-like shape representation : from pixel intensity values to trainable object-selective COSFIRE models

Keywords: hierarchical representation, object recognition, shape, ventral stream, vision and scene understanding, robotics, handwriting analysisThe remarkable abilities of the primate visual system have inspired the construction of computational models of some visual neurons. We propose a trainable hierarchical object recognition model, which we call S-COSFIRE (S stands for Shape and COSFIRE stands for Combination Of Shifted FIlter REsponses) and use it to localize and recognize objects of interests embedded in complex scenes. It is inspired by the visual processing in the ventral stream (V1/V2 → V4 → TEO). Recognition and localization of objects embedded in complex scenes is important for many computer vision applications. Most existing methods require prior segmentation of the objects from the background which on its turn requires recognition. An S-COSFIRE filter is automatically configured to be selective for an arrangement of contour-based features that belong to a prototype shape specified by an example. The configuration comprises selecting relevant vertex detectors and determining certain blur and shift parameters. The response is computed as the weighted geometric mean of the blurred and shifted responses of the selected vertex detectors. S-COSFIRE filters share similar properties with some neurons in inferotemporal cortex, which provided inspiration for this work. We demonstrate the effectiveness of S-COSFIRE filters in two applications: letter and keyword spotting in handwritten manuscripts and object spotting in complex scenes for the computer vision system of a domestic robot. S-COSFIRE filters are effective to recognize and localize (deformable) objects in images of complex scenes without requiring prior segmentation. They are versatile trainable shape detectors, conceptually simple and easy to implement. The presented hierarchical shape representation contributes to a better understanding of the brain and to more robust computer vision algorithms.peer-reviewe

Probabilistic procrustean models for shape recognition with an application to robotic grasping

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2008.Includes bibliographical references (p. 92-98).Robot manipulators largely rely on complete knowledge of object geometry in order to plan their motion and compute successful grasps. If an object is fully in view, the object geometry can be inferred from sensor data and a grasp computed directly. If the object is occluded by other entities in the scene, manipulations based on the visible part of the object may fail; to compensate, object recognition is often used to identify the location of the object and compute the grasp from a prior model. However, new instances of a known class of objects may vary from the prior model, and known objects may appear in novel configurations if they are not perfectly rigid. As a result, manipulation can pose a substantial modeling challenge when objects are not fully in view. In this thesis, we will attempt to model the shapes of objects in a way that is robust to both deformations and occlusions. In addition, we will develop a model that allows us to recover the hidden parts of occluded objects (shape completion), and which maintains information about the object boundary for use in robotic grasp planning. Our approach will be data-driven and generative, and we will base our probabilistic models on Kendall's Procrustean theory of shape.by Jared Marshall Glover.S.M

Restauration adaptative des contours par une approche inspirée de la prédiction des performances

En télédétection, les cartes de contours peuvent servir, entre autres choses, à la restitution géométrique, à la recherche d'éléments linéaires, ainsi qu'à la segmentation. La création de ces cartes est faite relativement tôt dans la chaîne de traitements d'une image. Pour assurer la qualité des opérations subséquentes, il faut veiller à obtenir une carte de contours précise. Notre problématique est de savoir s'il est possible de diminuer la perte de temps liée au choix d'algorithme et de paramètre en corrigeant automatiquement la carte de contours. Nous concentrerons donc nos efforts sur le développement d'une méthode de détection/restauration de contours adaptative. Notre méthode s'inspire d'une technique de prédiction des performances d'algorithmes de bas niveau. Elle consiste à intégrer un traitement par réseau de neurones à une méthode"classique" de détection de contours. Plus précisément, nous proposons de combiner la carte de performances avec la carte de gradient pour permettre des décisions plus exactes. La présente étude a permis de développer un logiciel comprenant un réseau de neurones entraîné pour prédire la présence de contours. Ce réseau de neurones permet d'améliorer les décisions de détecteurs de contours, en réduisant le nombre de pixels de fausses alarmes et de contours manqués. La première étape de ce travail consiste en une méthode d'évaluation de performance pour les cartes de contours. Une fois ce choix effectué, il devient possible de comparer les cartes entre elles. Il est donc plus aisé de déterminer, pour chaque image, la meilleure détection de contours. La revue de la littérature réalisée simultanément a permis de faire un choix d'un groupe d'indicateurs prometteurs pour la restauration de contours. Ces derniers ont servi à la calibration et à l'entrainement d'un réseau de neurones pour modéliser les contours. Par la suite, l'information fournie par ce réseau a été combinée par multiplication arithmétique avec les cartes d'amplitudes de détecteurs"classiques" afin de fournir de nouvelles cartes d'amplitude du gradient. Le seuillage de ces contours donne des cartes de contours"optimisées". Sur les images aéroportées du jeu de données South Florida, la médiane des mesures-F de la pour l'algorithme de Sobel passe de 51,3 % avant la fusion à 56,4 % après. La médiane des mesures-F pour l'algorithme de Kirsch amélioré est de 56,3 % et celle de Frei-Chen amélioré est de 56,3 %. Pour l'algorithme de Sobel avec seuillage adaptatif, la mesure-F médiane est de 52,3 % avant fusion et de 57,2 % après fusion.En guise de comparaison, la mesure-F médiane pour le détecteur de Moon, mathématiquement optimal pour contours de type"rampe", est de 53,3 % et celle de l'algorithme de Canny, est de 61,1 %. L'applicabilité de notre algorithme se limite aux images qui, après filtrage, ont un rapport signal sur bruit supérieur ou égal à 20. Sur les photos au sol du jeu de données de South Florida, les résultats sont comparables à ceux obtenus sur les images aéroportées. Par contre, sur le jeu de données de Berkeley, les résultats n'ont pas été concluants. Sur une imagette IKONOS du campus de l'Université de Sherbrooke, pour l'algorithme de Sobel, la mesure-F est de 45,7 % «0,9 % avant la fusion et de 50,8 % après. Sur une imagette IKONOS de l'Agence Spatiale Canadienne, pour l'algorithme de Sobel avec seuillage adaptatif, la mesure-F est de 35,4 % «0,9 % avant la fusion et de 42,2 % après. Sur cette même image, l'algorithme de Argyle (Canny sans post-traitement) a une mesure-F de 35,1 % «0,9 % avant fusion et de 39,5 % après. Nos travaux ont permis d'améliorer la banque d'indicateurs de Chalmond, rendant possible le prétraitement avant le seuillage de la carte de gradient. À chaque étape, nous proposons un choix de paramètres permettant d'utiliser efficacement la méthode proposée. Les contours corrigés sont plus fins, plus complets et mieux localisés que les contours originaux. Une étude de sensibilité a été effectuée et permet de mieux comprendre la contribution de chaque indicateur. L'efficacité de l'outil développé est comparable à celle d'autres méthodes de détection de contours et en fait un choix intéressant pour la détection de contours. Les différences de qualité observées entre notre méthode et celle de Canny semble être dues à l'utilisation, ou non, de post-traitements. Grâce au logiciel développé, il est possible de réutiliser la méthodologie; cette dernière a permis d'opérationnaliser la méthode proposée. La possibilité de réutiliser le filtre, sans réentrainement est intéressante. La simplicité du paramétrage lors de l'utilisation est aussi un avantage. Ces deux facteurs répondent à un besoin de réduire le temps d'utilisation du logiciel