Bio-Inspired Computer Vision: Towards a Synergistic Approach of Artificial and Biological Vision

To appear in CVIUStudies in biological vision have always been a great source of inspiration for design of computer vision algorithms. In the past, several successful methods were designed with varying degrees of correspondence with biological vision studies, ranging from purely functional inspiration to methods that utilise models that were primarily developed for explaining biological observations. Even though it seems well recognised that computational models of biological vision can help in design of computer vision algorithms, it is a non-trivial exercise for a computer vision researcher to mine relevant information from biological vision literature as very few studies in biology are organised at a task level. In this paper we aim to bridge this gap by providing a computer vision task centric presentation of models primarily originating in biological vision studies. Not only do we revisit some of the main features of biological vision and discuss the foundations of existing computational studies modelling biological vision, but also we consider three classical computer vision tasks from a biological perspective: image sensing, segmentation and optical flow. Using this task-centric approach, we discuss well-known biological functional principles and compare them with approaches taken by computer vision. Based on this comparative analysis of computer and biological vision, we present some recent models in biological vision and highlight a few models that we think are promising for future investigations in computer vision. To this extent, this paper provides new insights and a starting point for investigators interested in the design of biology-based computer vision algorithms and pave a way for much needed interaction between the two communities leading to the development of synergistic models of artificial and biological vision

Understanding the impact of recurrent interactions on population tuning: Application to MT cells characterization

International audienceA ring network model under neural fields formalism with a structured input is studied. Bifurcation analysis is applied to understand the behaviour of the network model under different connectivity regimes and input conditions. The parameter regimes over which the localised input bumps could be preserved, combined or selected are used to identify the potential network regimes under which direction selective cells in MT area exhibiting analogous behaviour could be operating. The parameter regimes are further explored to identify possible transitions in the tuning behaviour with respect to change of driving stimuli as observed in experimental recordings

Improving FREAK Descriptor for Image Classification

International audienceIn this paper we propose a new set of bio-inspired descrip- tors for image classification based on low-level processing performed by the retina. Taking as a starting point a descriptor called FREAK (Fast Retina Keypoint), we further extend it mimicking the center-surround organization of ganglion receptive fields.To test our approach we com- pared the performance of the original FREAK and our proposal on the 15 scene categories database. The results show that our approach out- performs the original FREAK for the scene classification task

Improving FREAK Descriptor for Image Classification

International audienceIn this paper we propose a new set of bio-inspired descrip- tors for image classification based on low-level processing performed by the retina. Taking as a starting point a descriptor called FREAK (Fast Retina Keypoint), we further extend it mimicking the center-surround organization of ganglion receptive fields.To test our approach we com- pared the performance of the original FREAK and our proposal on the 15 scene categories database. The results show that our approach out- performs the original FREAK for the scene classification task

Towards synergistic models of motion information processing in biological and artificial vision

Dans cette thèse, nous avons étudié le problème de l'estimation de mouvement chez les mammifères et nous proposons que passer à l’échelle des modèles ancrés dans la biologie pour les applications du monde réel peut nous donner de nouvelles perspectives en vision biologique. En utilisant un modèle classique qui décrit l'activité des neurones dans les aires corticales V1 et MT du cerveau des primates, nous avons proposé une architecture montante pour l'estimation de mouvement et l’avons évaluée sur des exemples de référence de vision par ordinateur (une première pour ce type de modèles), révélant des lacunes telles que le manque de sélectivité au niveau des frontières de mouvement et l'absence d'association spatiale du champ de vitesses. Pour y remédier, nous avons proposé deux extensions, une stratégie d’intégration modulée par la forme pour minimiser les erreurs aux discontinuités de texture et un schéma de régression pour le décodage. Ces extensions ont amélioré la précision de l'estimation, mais aussi souligné à nouveau le débat sur le rôle des différents types de cellules dans le codage mouvement, par exemple le rôle relatif des cellules “pattern” par rapport aux cellules “component”. Pour comprendre cela, nous avons utilisé un modèle de champs neuronaux représentant une population de cellules MT pour comprendre le rôle des récurrences. Nos résultats montrent qu'une variété de comportements peuvent être reproduits, ils expliquent les changements dynamiques en fonction des stimuli, et nous conduisent à remettre en cause les régimes élevés d'inhibition généralement choisis dans la littérature.In this thesis, we studied the problem of motion estimation in mammals and propose that scaling up models rooted in biology for real world applications can give us fresh insights into the biological vision. Using a classic model that describes the activity of directionally-selective neurons in V1 and MT areas of macaque brain, we proposed a feedforward V1-MT architecture for motion estimation and benchmarked it on computer vision datasets (first publicly available evaluation for this kind of models), revealing interesting shortcomings such as lack of selectivity at motion boundaries and lack of spatial association of the flow field. To address these, we proposed two extensions, a form modulated pooling strategy to minimize errors at texture boundaries and a regression based decoding scheme. These extensions improved estimation accuracy but also reemphasized the debate about the role of different cell types (characterized by their tuning curves) in encoding motion, for example relative role of pattern cells versus component cells. To understand this, we used a phenomenological neural fields model representative of a population of directionally tuned MT cells to check whether different tuning behaviors could be reproduced by a recurrently interacting population or if we need different types of cells explicitly. Our results indicated that a variety of tuning behavior can be reproduced by a minimal network, explaining dynamical changes in the tuning with change of stimuli leading us to question the high inhibition regimes typically considered by models in the literature

Vers des modèles synergiques de l’estimation du mouvement en vision biologique et artificielle

In this thesis, we studied the problem of motion estimation in mammals and propose that scaling up models rooted in biology for real world applications can give us fresh insights into the biological vision. Using a classic model that describes the activity of directionally-selective neurons in V1 and MT areas of macaque brain, we proposed a feedforward V1-MT architecture for motion estimation and benchmarked it on computer vision datasets (first publicly available evaluation for this kind of models), revealing interesting shortcomings such as lack of selectivity at motion boundaries and lack of spatial association of the flow field. To address these, we proposed two extensions, a form modulated pooling strategy to minimize errors at texture boundaries and a regression based decoding scheme. These extensions improved estimation accuracy but also reemphasized the debate about the role of different cell types (characterized by their tuning curves) in encoding motion, for example relative role of pattern cells versus component cells. To understand this, we used a phenomenological neural fields model representative of a population of directionally tuned MT cells to check whether different tuning behaviors could be reproduced by a recurrently interacting population or if we need different types of cells explicitly. Our results indicated that a variety of tuning behavior can be reproduced by a minimal network, explaining dynamical changes in the tuning with change of stimuli leading us to question the high inhibition regimes typically considered by models in the literature.Dans cette thèse, nous avons étudié le problème de l'estimation de mouvement chez les mammifères et nous proposons que passer à l’échelle des modèles ancrés dans la biologie pour les applications du monde réel peut nous donner de nouvelles perspectives en vision biologique. En utilisant un modèle classique qui décrit l'activité des neurones dans les aires corticales V1 et MT du cerveau des primates, nous avons proposé une architecture montante pour l'estimation de mouvement et l’avons évaluée sur des exemples de référence de vision par ordinateur (une première pour ce type de modèles), révélant des lacunes telles que le manque de sélectivité au niveau des frontières de mouvement et l'absence d'association spatiale du champ de vitesses. Pour y remédier, nous avons proposé deux extensions, une stratégie d’intégration modulée par la forme pour minimiser les erreurs aux discontinuités de texture et un schéma de régression pour le décodage. Ces extensions ont amélioré la précision de l'estimation, mais aussi souligné à nouveau le débat sur le rôle des différents types de cellules dans le codage mouvement, par exemple le rôle relatif des cellules “pattern” par rapport aux cellules “component”. Pour comprendre cela, nous avons utilisé un modèle de champs neuronaux représentant une population de cellules MT pour comprendre le rôle des récurrences. Nos résultats montrent qu'une variété de comportements peuvent être reproduits, ils expliquent les changements dynamiques en fonction des stimuli, et nous conduisent à remettre en cause les régimes élevés d'inhibition généralement choisis dans la littérature

Vers des modèles synergiques de l’estimation du mouvement en vision biologique et artificielle

In this thesis, we studied the problem of motion estimation in mammals and propose that scaling up models rooted in biology for real world applications can give us fresh insights into the biological vision. Using a classic model that describes the activity of directionally-selective neurons in V1 and MT areas of macaque brain, we proposed a feedforward V1-MT architecture for motion estimation and benchmarked it on computer vision datasets (first publicly available evaluation for this kind of models), revealing interesting shortcomings such as lack of selectivity at motion boundaries and lack of spatial association of the flow field. To address these, we proposed two extensions, a form modulated pooling strategy to minimize errors at texture boundaries and a regression based decoding scheme. These extensions improved estimation accuracy but also reemphasized the debate about the role of different cell types (characterized by their tuning curves) in encoding motion, for example relative role of pattern cells versus component cells. To understand this, we used a phenomenological neural fields model representative of a population of directionally tuned MT cells to check whether different tuning behaviors could be reproduced by a recurrently interacting population or if we need different types of cells explicitly. Our results indicated that a variety of tuning behavior can be reproduced by a minimal network, explaining dynamical changes in the tuning with change of stimuli leading us to question the high inhibition regimes typically considered by models in the literature.Dans cette thèse, nous avons étudié le problème de l'estimation de mouvement chez les mammifères et nous proposons que passer à l’échelle des modèles ancrés dans la biologie pour les applications du monde réel peut nous donner de nouvelles perspectives en vision biologique. En utilisant un modèle classique qui décrit l'activité des neurones dans les aires corticales V1 et MT du cerveau des primates, nous avons proposé une architecture montante pour l'estimation de mouvement et l’avons évaluée sur des exemples de référence de vision par ordinateur (une première pour ce type de modèles), révélant des lacunes telles que le manque de sélectivité au niveau des frontières de mouvement et l'absence d'association spatiale du champ de vitesses. Pour y remédier, nous avons proposé deux extensions, une stratégie d’intégration modulée par la forme pour minimiser les erreurs aux discontinuités de texture et un schéma de régression pour le décodage. Ces extensions ont amélioré la précision de l'estimation, mais aussi souligné à nouveau le débat sur le rôle des différents types de cellules dans le codage mouvement, par exemple le rôle relatif des cellules “pattern” par rapport aux cellules “component”. Pour comprendre cela, nous avons utilisé un modèle de champs neuronaux représentant une population de cellules MT pour comprendre le rôle des récurrences. Nos résultats montrent qu'une variété de comportements peuvent être reproduits, ils expliquent les changements dynamiques en fonction des stimuli, et nous conduisent à remettre en cause les régimes élevés d'inhibition généralement choisis dans la littérature

Vers des modèles synergiques de l'estimation du mouvement en vision biologique et artificielle

This thesis addresses the study of the motion perception in primates. We propose that scaling up the models rooted in biological vision by taking a task centric approach would gives us further insights to probe biological vision and better constraints to design models. The first part of this thesis relates to a feedforward view of how the motion information is processed in the mammalian brains with specific focus on areas V1 and MT. Based on a standard physiological model describing the activity of motion sensitive neurons in areas V1 and MT, we propose a feedforward model for dense optical flow estimation. This feedforward V1-MT model is benchmarked with modern computer vision datasets and results form a basis to study multiple aspects of dense motion estimation. Benchmarking results demonstrated that a sharp optical flow map cannot be obtained by considering isotropic pooling and motion estimation is disrupted in regions close to object or motion boundaries. It also shows a blindspot in the modelling literature that spatial association of the extracted motion information has not been attempted or has beenlimited to recovering coarser attributes. In order to improve the motion estimation, we investigated the pooling by MT neurons in terms of spatial-extent and selectivity for integration as well as the decoding strategy in order to obtain a spatially dense optical flow map. We show that by incorporating a pooling strategy that is regulated by form-based cues and considering lateral propagation of the activity, the motion estimation quality is improved. Interestingly, incorporating the form based cues amounts to addition of neurons with different kinds of selectivity to thenetwork. This raises a question, whether or not a minimal network with recurrent interactions in feature domain can exhibit different kinds of feature selectivities or we need to consider explicitly cells with different kinds of selectivity? This question relates to the second part of the thesis. We investigated this question using a ring network model under neural fields formalism with motion direction as feature space, closely mimicing MT physiological experiments. Our model produced a rich variety of results. Our results indicate that a variety of tuning behaviors foundin MT area can be reproduced by a minimal network of directionally tuned cells, explicit 2D cues need not be required for motion integration, dynamical changes inthe MT neuronal tuning reported in the literature can be explained through feature domain recurrent interactions and also open the door for accounting transparency by challenging the high inhibition regimes considered by many models in the literature for motion integration. To conclude, we re-emphasize on task-centric modelling approaches and several directions for interfacing studies in biological andcomputer vision.Cette thèse porte sur l'étude de la perception du mouvement chez les primates. Nous proposons que la mise à l'échelle des modèles enracinés dans la vision biologique en adoptant une approche centrée sur les tâches nous permettrait de mieux comprendre la vision biologique et de meilleures contraintes pour concevoir des modèles. La première partie de cette thèse concerne une vue d'avance sur la façon dont les informations sur les mouvements sont traitées dans les cerveaux des mammifères avec un accent particulier sur les zones V1 et MT. Sur la base d'un modèle physiologique standard décrivant l'activité des neurones sensibles aux mouvements dans les zones V1 et MT, nous proposons un modèle feedforward pour l'estimation du débit optique dense. Ce modèle feed-forward V1-MT est comparé aux ensembles de données modernes sur la vision par ordinateur et les résultats constituent une base pour étudier plusieurs aspects de l'estimation du mouvement dense. Les résultats de l'analyse comparative ont démontré qu'une carte de flux optique nette ne peut être obtenue en considérant le regroupement isotrope et l'estimation de mouvement est perturbée dans des régions proches des limites d'objet ou de mouvement. Il montre également un point mort dans la littérature de modélisation selon laquelle l'association spatiale de l'information de mouvement extraite n'a pas été tentée ou s'est limitée à récupérer des attributs plus grossiers. Afin d'améliorer l'estimation du mouvement, nous avons étudié la mise en commun par les neurones MT en termes d'étendue spatiale et de sélectivité pour l'intégration ainsi que la stratégie de décodage afin d'obtenir une carte de flux optique spatialement dense. Nous montrons qu'en incorporant une stratégie de mise en commun qui est réglementée par des indices formés et en considérant la propagation latérale de l'activité, la qualité de l'estimation du mouvement est améliorée. Fait intéressant, l'incorporation des indices basés sur la forme équivaut à l'ajout de neurones avec différents types de sélectivité au réseau. Cela soulève une question, qu'un réseau minimal ou non possédant des interactions récurrentes dans un domaine de fonctionnalité puisse-t-il présenter différents types de sélectivité d'entités ou il faut considérer explicitement des cellules avec différents types de sélectivité? Cette question concerne la deuxième partie de la thèse. Nous avons étudié cette question à l'aide d'un modèle de réseau en anneau dans le formalisme des champs neural avec la direction du mouvement comme espace caractéristique, imitant de près les expériences physiologiques du MT. Notre modèle a produit une grande variété de résultats. Nos résultats indiquent qu'une variété de comportements d'accord trouvés dans la zone MT peut être reproduit par un réseau minimal de cellules délocalisées de manière directe, des indices 2D explicites ne doivent pas être nécessaires pour l'intégration du mouvement, les changements dynamiques dans l'accord neuronal MT rapporté dans la littérature peuvent s'expliquer par Les interactions récurrentes de domaine caractéristique et ouvrent la porte à la transparence comptable en mettant au défi les régimes d'inhibition élevés considérés par de nombreux modèles dans la littérature pour l'intégration de mouvement. Pour conclure, nous insistons sur les approches de modélisation axées sur les tâches et sur plusieurs directions pour l'interfaçage des études en vision biologique et informatique