A Structured Model of Video Reproduces Primary Visual Cortical Organisation

The visual system must learn to infer the presence of objects and features in the world from the images it encounters, and as such it must, either implicitly or explicitly, model the way these elements interact to create the image. Do the response properties of cells in the mammalian visual system reflect this constraint? To address this question, we constructed a probabilistic model in which the identity and attributes of simple visual elements were represented explicitly and learnt the parameters of this model from unparsed, natural video sequences. After learning, the behaviour and grouping of variables in the probabilistic model corresponded closely to functional and anatomical properties of simple and complex cells in the primary visual cortex (V1). In particular, feature identity variables were activated in a way that resembled the activity of complex cells, while feature attribute variables responded much like simple cells. Furthermore, the grouping of the attributes within the model closely parallelled the reported anatomical grouping of simple cells in cat V1. Thus, this generative model makes explicit an interpretation of complex and simple cells as elements in the segmentation of a visual scene into basic independent features, along with a parametrisation of their moment-by-moment appearances. We speculate that such a segmentation may form the initial stage of a hierarchical system that progressively separates the identity and appearance of more articulated visual elements, culminating in view-invariant object recognition

Modeling non-standard retinal in/out function using computer vision variational methods

We propose a computational approach using a variational specification of the visual front-end, where ganglion cells with properties of retinal Konio cells (K-cells), are considered as a network, yielding a mesoscopic view of the retinal process. The variational framework is implemented as a simple mechanism of diffusion in a two-layered non-linear filtering mechanism with feedback, as observed in synaptic layers of the retina, while its biological plausibility, and capture functionalities as (i) stimulus adapted response; (ii) non-local noise reduction (i.e. segmentation); (iii) visual event detection, taking several visual cues into account: contrast and local texture, color or edge channels, and motion base in natural images. Those functionalities could be implemented in the biological tissues We use computer vision methods to propose an effective link between the observed functions and their possible implementation in the retinal network base on a two-layers network with non-separable local spatio-temporal convolution as input, and recurrent connections performing non-linear diffusion before prototype based visual event detection. The numerical robustness of the proposed model has been experimentally checked on real natural images. Finally, we discuss in base of experimental biological and computational results the generality of our description.Nous proposons ici une approche fonctionnelle de la description des propriétés des cellules rétiniennes dites Konio, ceci au niveau du réseau, en utilisant une spécification variationnelle, ce qui donne une vue mésoscopique du processus de calcul de la rétine. Le cadre variationnel est implémenté comme un simple mécanisme de diffusion non-linéaire, mécanisme de filtrage avec rétroaction, suivi d'une couche d'unités ajustées à un élément statistique de la scène, comme on l'observe dans les couches synaptiques de la rétine pour ces cellules. On se propose de capturer les fonctionnalités suivantes: (i) adaptation de la réponse aux statistiques des stimuli naturels, (ii) réduction non-locale du bruit (en lien avec la segmentation de l'image), et (iii) détection d'événements visuels, en tenant compte de plusieurs indices visuels: contraste local, texture ou couleur, ces amers étant généralisables à des canaux de calcul de mouvement. Ces fonctionnalités peuvent être mises en œuvre dans les tissus biologiques, comme on le discute ici. Nous utilisons des méthodes de vision par ordinateur pour proposer une description fonctionnelle du calcul effectué au niveau de la rétine. La robustesse numérique du modèle proposé a été vérifié expérimentalement au niveau numérique sur de véritables images naturelles. Nous discutons, sur la base de résultats expérimentaux biologiques et informatiques, la généralité de notre description