Decoding face categories in diagnostic subregions of primary visual cortex

Higher visual areas in the occipitotemporal cortex contain discrete regions for face processing, but it remains unclear if V1 is modulated by top-down influences during face discrimination, and if this is widespread throughout V1 or localized to retinotopic regions processing task-relevant facial features. Employing functional magnetic resonance imaging (fMRI), we mapped the cortical representation of two feature locations that modulate higher visual areas during categorical judgements – the eyes and mouth. Subjects were presented with happy and fearful faces, and we measured the fMRI signal of V1 regions processing the eyes and mouth whilst subjects engaged in gender and expression categorization tasks. In a univariate analysis, we used a region-of-interest-based general linear model approach to reveal changes in activation within these regions as a function of task. We then trained a linear pattern classifier to classify facial expression or gender on the basis of V1 data from ‘eye’ and ‘mouth’ regions, and from the remaining non-diagnostic V1 region. Using multivariate techniques, we show that V1 activity discriminates face categories both in local ‘diagnostic’ and widespread ‘non-diagnostic’ cortical subregions. This indicates that V1 might receive the processed outcome of complex facial feature analysis from other cortical (i.e. fusiform face area, occipital face area) or subcortical areas (amygdala)

Pattern motion representation in primary visual cortex is mediated by transcortical feedback.

A highly important question in visual neuroscience is to identify where in the visual system information from different processing channels is integrated to form the complex scenery we perceive. A common view to this question is that information is processed hierarchically because small and selective receptive fields in lower visual areas melt into larger receptive fields in specialized higher visual areas. However, a higher order area in which all incoming signals ultimately converge has not yet been identified. Rather, modulation of subthreshold influences from outside the classical receptive field related to contextual integration occurs already in early visual areas. So far it is unclear how these influences are mediated (Gilbert, 1998; Angelucci and Bullier, 2003; Gilbert and Sigman, 2007). In the present study, we show that feedback connections from a higher motion processing area critically influence the integration of subthreshold global motion cues in early visual areas. Global motion cues are theoretically not discernible for a local motion detector in V1, however, imprints of pattern motion have been observed in this area (Guo et al., 2004; Schmidt et al., 2006). By combining reversible thermal deactivation and optical imaging of intrinsic signals we demonstrate that feedback signals from the posteromedial suprasylvian sulcus are critical for the discrimination between global and local motions already in early visual areas. These results suggest that global features of the visual scenery are fed back to lower visual processing units in order to facilitate the integration of local cues into a global construct

Topographie kortikaler Rückprojektionen im visuellen System der Katze

Für das Verständnis der Struktur und der Organisation des visuellen Systems wurde in der Vergangenheit oft das visuelle System der Katze als Modellsystem untersucht. Anhand von physiologischen und anatomischen Studien konnten Verbindungsmuster zwischen den einzelnen visuellen Arealen charakterisiert werden. Auf Basis dieser Daten ließ sich eine hierarchische Klassifizierung von interarealen Verbindungen in aufsteigende (feed-forward), absteigende (feed-back) und laterale Verbindungen vornehmen. Weiterführende Untersuchungen des Einflusses der Feedback-Verbindungen zeigten verschiedene Effekte auf die Informationsverarbeitung in den primären visuellen Arealen. Um die Rolle des kortikalen Feedbacks besser verstehen zu können, wurde in der vorliegenden Studie die Struktur der Feedback-Verbindungen zwischen dem posteromedialen suprasylvischen (pMS) Kortex und Area 18 der Katze näher untersucht. Für die Untersuchung der Struktur der Feedback-Projektionen wurde der intrazelluläre Tracer Dextranamin mittels Druckinjektion in das Areal PMLS, das innerhalb des pMS liegt, und in Area 18 appliziert und die funktionelle Organisation von Area 18 ergänzend mit optischen Ableitungen visualisiert. Über anterogrades Tracing konnte die Struktur von einzelnen Feedback-Axonen von PMLS zu Area 18 analysiert werden und über retrogrades Tracing von Area 18 ausgehend, konnte die Organisation der Ursprungsneurone von Feedback-Projektionen in PMLS charakterisiert werden. Die Rekonstruktionen der Axonterminalien zeigten sehr unterschiedliche Morphologien der Axone. Es wurden einerseits Terminationsfelder gefunden, die langgestreckt parallel zur Kortexoberfläche verliefen und andererseits kamen Terminationsfelder vor, die sich über mehrere kortikale Schichten in der Zielregion auffächerten. Ergänzend wurden Unterschiede in der Morphometrie der Axone analysiert. Hierbei wurden die Axone nach ihrer Gesamtlänge, der Anzahl der Verzweigungen, der Dichte der synaptischen Verknüpfungen, sowie die räumliche Anordnung der Terminationen in der Zielregion in Relation zur funktionellen Architektur hin analysiert. Die Überlagerung der funktionellen Karten und der räumlichen Anordnung der Terminationsgebiete zeigte eine Kongruenz zwischen der Lage funktioneller Domänen und der Terminationsgebiete. Die Axone zeigten ein orientierungsselektives Terminationsmuster, denn die Terminationsfelder lagen zwar in mehreren Orientierungskolumnen, die allerdings eine ähnliche funktionelle Spezifität hatten. Die Analyse der retrograd markierten Neurone in PMLS nach Injektionen von zwei verschieden fluoreszierenden Dextranaminen in zwei funktionell und räumlich getrennte Bereiche in Area 18 zeigte eine topographisch spezifische Organisation auch auf der Seite der Ursprungsneurone. Die Ursprungsneurone der Projektionen nach Area 18 fanden sich sowohl in supra- als auch in infragranulären Schichten. Die Verteilung der Neurone war jedoch in den infragranulären Schichten breiter als in den supragranulären. Auch fanden sich insgesamt mehr Neurone in den infragranulären als in den supragranulären Schichten (70% infra-, 30% supragranulär). Hinsichtlich ihrer Projektionen konnten die Neurone in zwei Gruppen unterteilt werden: Neurone, die selektiv nur zu einer der beiden Injektionsstellen projizierten, und Neurone, die zu beiden Injektionsstellen projizierten. Die unspezifisch projizierenden Neurone wiesen einen größeren Zellkörper als die spezifisch projizierenden Neurone auf und fanden sich überwiegend in den infragranulären Schichten. Diese Daten lassen vermuten, dass es zwei unterschiedliche Arten von Feedback-Verbindungen von PMLS zu Area 18 gibt. In den supragranulären Schichten von PMLS entspringen Projektionen mit einer geringen Divergenz und hohen funktionellen Spezifität in Area 18 und aus den infragranulären Schichten entstammen Projektionen mit einer höheren Divergenz und geringen Selektivität. Diese Hypothese eines dualen Feedback-Systems wird durch physiologische Befunde unterstützt, die zeigen, dass diese Feedback-Verbindungen sowohl eine globale Rolle als Verstärkungsmechanismus besitzen als auch spezifisch richtungsselektive Neurone in ihren Feuerverhalten beeinflussen

Predictive feedback to the primary visual cortex during saccades

Perception of our sensory environment is actively constructed from sensory input and prior expectations. These expectations are created from knowledge of the world through semantic memories, spatial and temporal contexts, and learning. Multiple frameworks have been created to conceptualise this active perception, these frameworks will be further referred to as inference models. There are three elements of inference models which have prevailed in these frameworks. Firstly, the presence of internal generative models for the visual environment, secondly feedback connections which project prediction signals of the model to lower cortical processing areas to interact with sensory input, and thirdly prediction errors which are produced when the sensory input is not predicted by feedback signals. The prediction errors are thought to be fed-forward to update the generative models. These elements enable hypothesis driven testing of active perception. In vision, error signals have been found in the primary visual cortex (V1). V1 is organised retinotopically; the structure of sensory stimulus that enters through the retina is retained within V1. A semblance of that structure exists in feedback predictive signals and error signal production. The feedback predictions interact with the retinotopically specific sensory input which can result in error signal production within that region. Due to the nature of vision, we rapidly sample our visual environment using ballistic eye-movements called saccades. Therefore, input to V1 is updated about three times per second. One assumption of active perception frameworks is that predictive signals can update to new retinotopic locations of V1 with sensory input. This thesis investigates the ability of active perception to redirect predictive signals to new retinotopic locations with saccades. The aim of the thesis is to provide evidence of the relevance of generative models in a more naturalistic viewing paradigm (i.e. across saccades). An introduction into active visual perception is provided in Chapter 1. Structural connections and functional feedback to V1 are described at a global level and at the level of cortical layers. The role of feedback connections to V1 is then discussed in the light of current models, which hones in on inference models of perception. The elements of inferential models are introduced including internal generative models, predictive feedback, and error signal production. The assumption of predictive feedback relocation in V1 with saccades is highlighted alongside the effects of saccades within the early visual system, which leads to the motivation and introduction of the research chapters. A psychophysical study is presented in Chapter 2 which provides evidence for the transference of predictive signals across saccades. An internal model of spatiotemporal motion was created using an illusion of motion. The perception of illusory motion signifies the engagement of an internal model as a moving token is internally constructed from the sensory input. The model was tested by presenting in-time (predictable) and out-of-time (unpredictable) targets on the trace of perceived motion. Saccades were initiated across the illusion every three seconds to cause a relocation of predictive feedback. Predictable in-time targets were better detected than the unpredictable out-of-time targets. Importantly, the detection advantage for in-time targets was found 50 – 100 ms after saccade indicating transference of predictive signals across saccade. Evidence for the transfer of spatiotemporally predictive feedback across saccade was supported by the fMRI study presented in Chapter 3. Previous studies have demonstrated an increased activity when processing unpredicted visual stimulation in V1. This activity increase has been related to error signal production as the input was not predicted via feedback signals. In Chapter 3, the motion illusion paradigm used in Chapter 2 was redesigned to be compatible with brain activation analysis. The internal model of motion was created prior to saccade and tested at a post-saccadic retinotopic region of V1. An increased activation was found for spatiotemporally unpredictable stimuli directly after eye-movement, indicating the predictive feedback was projected to the new retinotopic region with saccade. An fMRI experiment was conducted in Chapter 4 to demonstrate that predictive feedback relocation was not limited to motion processing in the dorsal stream. This was achieved by using natural scene images which are known to incorporate ventral stream processing. Multivariate analysis was performed to determine if feedback signals pertaining to natural scenes could relocate to new retinotopic eye-movements with saccade. The predictive characteristic of feedback was also tested by changing the image content across eye-movements to determine if an error signal was produced due to the unexpected post-saccadic sensory input. Predictive feedback was found to interact with the images presented post-saccade, indicating that feedback relocated with saccade. The predictive feedback was thought to contain contextual information related to the image processed prior to saccade. These three chapters provide evidence for inference models contributing to visual perception during more naturalistic viewing conditions (i.e. across saccades). These findings are summarised in Chapter 5 in relation to inference model frameworks, transsacadic perception, and attention. The discussion focuses on the interaction of internal generative models and trans-saccadic perception in the aim of highlighting several consistencies between the two cognitive processes

Influence of scene surround on cortical feedback to non-stimulated primary visual cortex

Most of the time we are not passively viewing scenes but want to extract behaviourally relevant information. In addition, objects do not often occur in isolation outside the visual scientist’s laboratory but are embedded in complex visual scenes. If the brain is to be adaptive, it needs to process visual information with regards to its context. Thus perception is not purely determined by the specific input to the retina but depends on the surrounding scene, objects, attention, memory, prior knowledge, expectations and predictions. Traditionally, the visual system in the human brain has been viewed as having a hierarchical organisation with signals travelling in one direction: input from the eyes arrives at "lower" order areas, which then transmit their computations to "higher" order areas. As one moves up the hierarchy, visual areas code more complex and more abstract information, and after the final processing stage, the system gives an output. However, in reality things are not so simple. In fact, in the primary visual cortex (V1), which is one of the first visual processing stages in the brain, external stimuli constitute less than 10% of the total input. The rest of the input originates from internal connections, either within V1 itself or via signals arriving from "higher" areas, back down to V1. In this way, "higher" areas can tell "lower" ones about the bigger picture and the neighbouring elements. This internal processing in the brain is the mechanism which provides context and enriches the information reaching us from the external world. The signals arriving to V1 from the retina are referred to as feedforward, while the signals going in the opposite direction, from higher areas back to V1, are called feedback. Each neuron responds to its preferred stimulus in a specific region of the visual field, called the receptive field. Feedforward signals act on the central region of a neuron’s receptive field, while feedback signals act on a larger surround region and thus are able to inform the centre about the surrounding context. However, it is not well established which aspects of the surrounding scene define these contextual interactions. This thesis investigated the influence of the scene surround on feedback to V1. We aimed to establish how the scene surround contributes to informative feedback signals. An introduction about what is already known regarding the function of feedback and the information it transmits is provided in Chapter 1. I give an overview of the previous studies which highlight the various contextual roles of feedback, such as perceptual grouping, contour and object completion, expectation, attention and prediction, as well as being the mechanism allowing visual imagery. Chapter 2 aimed to address whether feedback provides coarse or fine-grained information about the surrounding scene. Since during normal viewing both feedback and feedforward signals are present, we investigated feedback signals in isolation by using a partial occlusion paradigm to remove meaningful feedforward input in a specific region of the scene. We filtered the scene surrounding the occluded region into a fine-grained and a coarse version. We also varied how much information was shared between the fine-grained and coarse version of the same scene. This was done to investigate whether the information feedback carried was tightly tuned to the spatial scale of the surrounding scene, or whether the information it contained was similar across the two types of the scene surround. We found that the feedback contained signals about both coarse and fine-grained surrounds, but there was also some overlap between these feedback signals. In addition, we found that the feedback information did not correspond to a direct "filling-in" of the missing feedforward input, suggesting that feedback and feedforward signals represent the scene in different ways. In Chapter 3 we took a closer look at the amount of meaningful scene surround that is necessary to elicit informative feedback signals. The results showed that increasing the amount of scene information in the surround resulted in more meaningful feedback signals. We confirmed our earlier finding that the feedback information in the occluded region is dissimilar to the corresponding feedforward input when the feedforward region is isolated from the scene surround. Adding the scene surround to the feedforward stimulus increased this feedback/feedforward similarity. Overall, these findings point to the notion that feedback signals combine with feedforward input under normal visual processing. Isolated feedforward input in the absence of the surround provides V1 neurons with impoverished information. Neighbouring elements of the scene or its overall global structure can be sources of context. In Chapter 4 we explored which regions of the scene surround contribute the most to the contextual feedback signals arriving at V1 – is this limited to only local neighbouring regions or does the feedback directly contain information about the overall global image structure, taking into account distant retinotopic regions as well? In the first experiment, we used simple global structures made up of four Gabor elements and showed that such simplistic shapes failed to induce contextual feedback into the occluded region. However, in the presence of feedforward information, we saw that feedback from the local surround combined with identical feedforward input to give rise to different activity patterns in that feedforward region. This suggests that feedback may be recruited differentially depending on whether feedforward stimulation is present or absent. In the second experiment, we used natural scenes and tested whether contextual feedback can originate from a distant retinotopic region in the situation when the local scene surround was not informative. We manipulated scene information in a distant retinotopic region (in the opposite hemisphere) while keeping the local neighbouring surround information the same. The results showed a lack of meaningful feedback in the occluded region, and that feedback from the distant surround had a negligible effect on the identical feedforward information, in contrast to the finding obtained previously with the local surround. These findings suggest that feedback preferentially originates from nearby regions and provides context to disambiguate local feedforward elements. Therefore context about the global scene structure may arise from a series of local surround interactions. Chapter 5 summarises these findings and discusses the overarching themes regarding the content of feedback and its role in full visual processing. At the end, I propose some future research directions

Repräsentation und Analyse von Bewegungsinformationen in den kortikalen Komponenten des visuellen Systems der Katze

Die Wahrnehmung und Repräsentation der täglichen Umgebung stellt eine der wichtigsten Aufgaben des visuellen Systems dar. Die Fähigkeit, vor einer gewohnten Szenerie spezifische Änderungen zu detektieren, wie beispielsweise anpirschende Prädatoren oder ahnungslose Beutetiere, stellt das Überleben in einer sich schnell verändernden Welt sicher. Die Menge an Informationen, die für eine adäquate Wahrnehmung der Szenerie notwendig ist, muss präzise und zeitlich effizient verarbeitet werden. Dabei handelt es sich vor allem um teilweise ineinander greifende Formen, die Bewegungen in spezifische Richtungen mit bestimmten Geschwindigkeiten vollführen. Diese müssen in ihre zugrundeliegenden Elemente Geschwindigkeiten, Richtungen und Orientierungen abstrahiert werden. Diese Abstraktion findet in der Großhirnrinde der Säugetiere durch die spezifische Aktivität von Neuronenpopulationen statt, die auf diese Elemente selektiv reagieren. Die gezielte Interaktion der Neuronenpopulationen untereinander über die Grenzen einzelner Bereiche des Großhirns hinweg stellt eine adäquate Kodierung und Integration der Informationen sicher. Doch die Extraktion, Kodierung und Integration der Bestandteile einer visuellen Szenerie kann mit verschiedenen Problemen verbunden sein, wie einer Fragmentierung der Daten oder abrupten Wechseln von Bewegungsrichtungen. Dies führte zu einer Theorie, nach der die Repräsentation von Bewegungsrichtungen, Geschwindigkeiten und Orientierungen die natürliche Statistik der Umgebung widerspiegeln und sich als Funktion der Position im Gesichtsfeld verändert. Daher findet die Prozessierung unter Zuhilfenahme des erfahrungsgestützten Vorwissens, sogenannten “Prior“, statt, um die Effizienz der neuronalen Kodierung zu erhöhen und auch fragmentarische Objekte zu identifizieren [Rao und Ballard 1999, Lee und Mumford 2003, Knill und Pouget 2004]. In dieser Studie wurde die Organisation von richtungs- und geschwindigkeitsselektiven Neuronenpopulationen in Area 18 des primären visuellen Kortex der Katze durch optische Ableitungen mit spannungssensitiven Farbstoffen untersucht. Insbesondere die kortikale Repräsentation unterschiedlicher Bewegungsrichtungen und Geschwindigkeiten in den peripheren Anteilen des Gesichtsfeldes und ihre Antwortdynamiken waren zentrale Fragestellungen dieser Arbeit. Die gezielte Stimulation geschwindigkeitsselektiver Neuronenpopulationen zeigte eine räumliche Verteilung über die untersuchten Bereiche des Gesichtsfeldes, die eine Präferenz für schnellere Bewegungen in der Peripherie aufwies. Diese waren in unterschiedlichen Abschnitten spezifisch verteilt und zeigten Grenzbereiche, an denen eine deutliche Änderung der Geschwindigkeitspräferenz beobachtet werden konnte. Diese Änderungen stehen in direktem Zusammenhang mit der Retinotopie und der korrespondierenden Exzentrizität. Die Untersuchung von richtungsselektiven Antworten unter dem Einfluss der Geschwindigkeit erbrachte eine ungleichmäßige Verteilung im peripheren Gesichtsfeld, die spezifisch für die jeweilige Hemisphäre war. Es konnten deutliche Präferenzen für Bewegungsrichtungen dokumentiert werden, die zentrifugal von der Repräsentation der Area centralis wegführen. Neuronenpopulationen, die selektiv auf diese Richtung reagierten, wiesen eine quantitative Überrepräsentation auf, die sich von anderen Bewegungsrichtungen deutlich abhob. Eine Untersuchung der Aktivitätswahrscheinlichkeiten selektiver Neuronenpopulationen auf einer raumzeitlichen Ebene sollte die Konsistenz der jeweiligen spezifischen Antwortmuster über alle Singletrials gegeneinander vergleichen. Die präferierten Bewegungsrichtungen wiesen eine erhöhte Wahrscheinlichkeit des Auftretens ihrer kodierenden Einheiten auf, die sich aber über die zuvor ermittelten Bereiche der Geschwindigkeitspräferenz erstreckte. Somit konnten diese Präferenzen über die gesamte untersuchte kortikale Oberfläche nachgewiesen werden. Diese zeigen eine klare Anisotropie in der Repräsentation von Bewegungen, die zugunsten zentrifugaler Richtungen organisiert sind. Eine Untersuchung des Populationssignals konnte außerdem nachweisen, dass die evozierten Antwortmuster unabhängig von der jeweiligen präsentierten Geschwindigkeit des verwendeten Stimulus oder deren Reihenfolge für diese Bewegungsrichtungen deutlich selektiver waren. Diese geringere Unsicherheit in der Kodierung dieser Stimulusparameter durch selektive Neuronenpopulationen lässt Rückschlüsse auf eine lokale Wahrscheinlichkeitsverteilung zu, die durch die tägliche Erfahrung häufig detektierter Bewegungen im Gesichtsfeld bestimmt ist und der Modulation durch Vorwissen aus hierarchisch höheren visuellen Arealen unterliegt. Eine erweiternde Untersuchung mittels Bewegungsrichtungswechseln diente dazu, die zeitliche Antwortdynamik von richtungs- und geschwindigkeitsselektiven Neuronenpopulationen zu untersuchen. Die zugrundeliegende Hypothese bestand darin, dass die Präsentation einer präferierten Richtung durch die quantitative und funktionelle Anisotropie in einer schnelleren Formation eines stimulusspezifischen Aktivitätsmusters resultiert. Daher sollten die Antwortlatenzen aktiver Neuronenpopulationen, die diese Richtung präferieren, im Vergleich zu nicht-präferierten Bewegungen geringer sein. Das Ergebnis zeigte deutlich, dass die Latenzen neuronaler Antworten zu präferierten Bewegungsrichtungen, unabhängig von deren Reihenfolge der innerhalb des Stimulationsprotokolls, signifikant geringer waren. Dieses Ergebnis bestätigt, dass die Kodierung zentrifugaler Richtungen in den untersuchten kortikalen Repräsentationen des Gesichtsfeldes durch die Wahrscheinlichkeit des Auftretens im Gesichtsfeld bestimmt ist. Weiterführend wurde die Repräsentation von Orientierungen in Area 18 unter dem Gesichtspunkt untersucht, dass Repräsentationen von Liniensegmenten, die parallel zu den Bewegungsachsen der festgestellten Richtungspräferenzen liegen, ebenfalls anisotrop verteilt vorliegen. Die Ergebnisse zeigten eine quantitative Überrepräsentation von Orientierungen, die radial im Gesichtsfeld liegen. Diese wiesen die höchsten Aktivitätswahrscheinlichkeiten und die geringsten Antwortlatenzen in beiden Hemisphären auf. Auch hier spiegeln sich die festgestellten quantitativen und funktionellen Anisotropien in einer natürlichen Statistik der wahrgenommenen Umgebung wider