The Role of Early Recurrence in Improving Visual Representations

This dissertation proposes a computational model of early vision with recurrence, termed as early recurrence. The idea is motivated from the research of the primate vision. Specifically, the proposed model relies on the following four observations. 1) The primate visual system includes two main visual pathways: the dorsal pathway and the ventral pathway; 2) The two pathways respond to different visual features; 3) The neurons of the dorsal pathway conduct visual information faster than that of the neurons of the ventral pathway; 4) There are lower-level feedback connections from the dorsal pathway to the ventral pathway. As such, the primate visual system may implement a recurrent mechanism to improve visual representations of the ventral pathway. Our work starts from a comprehensive review of the literature, based on which a conceptualization of early recurrence is proposed. Early recurrence manifests itself as a form of surround suppression. We propose that early recurrence is capable of refining the ventral processing using results of the dorsal processing. Our work further defines a set of computational components to formalize early recurrence. Although we do not intend to model the true nature of biology, to verify that the proposed computation is biologically consistent, we have applied the model to simulate a neurophysiological experiment of a bar-and-checkerboard and a psychological experiment involving a moving contour illusion. Simulation results indicated that the proposed computation behaviourally reproduces the original observations. The ultimate goal of this work is to investigate whether the proposal is capable of improving computer vision applications. To do this, we have applied the model to a variety of applications, including visual saliency and contour detection. Based on comparisons against the state-of-the-art, we conclude that the proposed model of early recurrence sheds light on a generally applicable yet lightweight approach to boost real-life application performance

Restauration adaptative des contours par une approche inspirée de la prédiction des performances

En télédétection, les cartes de contours peuvent servir, entre autres choses, à la restitution géométrique, à la recherche d'éléments linéaires, ainsi qu'à la segmentation. La création de ces cartes est faite relativement tôt dans la chaîne de traitements d'une image. Pour assurer la qualité des opérations subséquentes, il faut veiller à obtenir une carte de contours précise. Notre problématique est de savoir s'il est possible de diminuer la perte de temps liée au choix d'algorithme et de paramètre en corrigeant automatiquement la carte de contours. Nous concentrerons donc nos efforts sur le développement d'une méthode de détection/restauration de contours adaptative. Notre méthode s'inspire d'une technique de prédiction des performances d'algorithmes de bas niveau. Elle consiste à intégrer un traitement par réseau de neurones à une méthode"classique" de détection de contours. Plus précisément, nous proposons de combiner la carte de performances avec la carte de gradient pour permettre des décisions plus exactes. La présente étude a permis de développer un logiciel comprenant un réseau de neurones entraîné pour prédire la présence de contours. Ce réseau de neurones permet d'améliorer les décisions de détecteurs de contours, en réduisant le nombre de pixels de fausses alarmes et de contours manqués. La première étape de ce travail consiste en une méthode d'évaluation de performance pour les cartes de contours. Une fois ce choix effectué, il devient possible de comparer les cartes entre elles. Il est donc plus aisé de déterminer, pour chaque image, la meilleure détection de contours. La revue de la littérature réalisée simultanément a permis de faire un choix d'un groupe d'indicateurs prometteurs pour la restauration de contours. Ces derniers ont servi à la calibration et à l'entrainement d'un réseau de neurones pour modéliser les contours. Par la suite, l'information fournie par ce réseau a été combinée par multiplication arithmétique avec les cartes d'amplitudes de détecteurs"classiques" afin de fournir de nouvelles cartes d'amplitude du gradient. Le seuillage de ces contours donne des cartes de contours"optimisées". Sur les images aéroportées du jeu de données South Florida, la médiane des mesures-F de la pour l'algorithme de Sobel passe de 51,3 % avant la fusion à 56,4 % après. La médiane des mesures-F pour l'algorithme de Kirsch amélioré est de 56,3 % et celle de Frei-Chen amélioré est de 56,3 %. Pour l'algorithme de Sobel avec seuillage adaptatif, la mesure-F médiane est de 52,3 % avant fusion et de 57,2 % après fusion.En guise de comparaison, la mesure-F médiane pour le détecteur de Moon, mathématiquement optimal pour contours de type"rampe", est de 53,3 % et celle de l'algorithme de Canny, est de 61,1 %. L'applicabilité de notre algorithme se limite aux images qui, après filtrage, ont un rapport signal sur bruit supérieur ou égal à 20. Sur les photos au sol du jeu de données de South Florida, les résultats sont comparables à ceux obtenus sur les images aéroportées. Par contre, sur le jeu de données de Berkeley, les résultats n'ont pas été concluants. Sur une imagette IKONOS du campus de l'Université de Sherbrooke, pour l'algorithme de Sobel, la mesure-F est de 45,7 % «0,9 % avant la fusion et de 50,8 % après. Sur une imagette IKONOS de l'Agence Spatiale Canadienne, pour l'algorithme de Sobel avec seuillage adaptatif, la mesure-F est de 35,4 % «0,9 % avant la fusion et de 42,2 % après. Sur cette même image, l'algorithme de Argyle (Canny sans post-traitement) a une mesure-F de 35,1 % «0,9 % avant fusion et de 39,5 % après. Nos travaux ont permis d'améliorer la banque d'indicateurs de Chalmond, rendant possible le prétraitement avant le seuillage de la carte de gradient. À chaque étape, nous proposons un choix de paramètres permettant d'utiliser efficacement la méthode proposée. Les contours corrigés sont plus fins, plus complets et mieux localisés que les contours originaux. Une étude de sensibilité a été effectuée et permet de mieux comprendre la contribution de chaque indicateur. L'efficacité de l'outil développé est comparable à celle d'autres méthodes de détection de contours et en fait un choix intéressant pour la détection de contours. Les différences de qualité observées entre notre méthode et celle de Canny semble être dues à l'utilisation, ou non, de post-traitements. Grâce au logiciel développé, il est possible de réutiliser la méthodologie; cette dernière a permis d'opérationnaliser la méthode proposée. La possibilité de réutiliser le filtre, sans réentrainement est intéressante. La simplicité du paramétrage lors de l'utilisation est aussi un avantage. Ces deux facteurs répondent à un besoin de réduire le temps d'utilisation du logiciel