Neuronal and behavioral mechanisms of Gestalt perception

Principles of Gestalt perception have fundamentally influenced our understanding of visual cognition. In the past century, Gestalt psychologists postulated that the human brain determines single elements with common features as a single entity rather than a sum of separate parts. The importance of Gestalt perception is emphasized by the neuropsychological syndrome simultanagnosia. Patients suffering from this condition have lost the ability to integrate single elements into a superior entity. Simultanagnosia is usually associated with bilateral posterior temporo-parietal brain lesions but the exact neuroanatomy of global Gestalt perception and functions of areas already associated with this perceptual quality are still a matter of lively debates. Further, not much is known about behavioral characteristics of wellexplored perceptual processes, like visual constancy, in the context of Gestalt perception. The present work aimed at investigating neuronal and behavioral properties of Gestalt perception applying psychophysical methods and functional magnetic resonance imaging (fMRI). In previous neuroimaging studies the temporoparietal junction (TPJ) was identified as a crucial brain structure involved in Gestalt perception. However, its specific role in Gestalt perception is still unclear. The functions attributed to this brain region range from attentional selection between the local and the global level of hierarchically organized stimuli to mere perceptual mechanisms of global processing. The neuroimaging studies included into this work explore mainly TPJ related perceptual functions. In the first study, neuronal properties of TPJ in Gestalt perception were investigated. Based on observations in simultanagnosia patients that are able to perceive familiar complex stimulus arrangements but fail in recognition of novel stimulus configurations, it was hypothesized that TPJ areas mainly contribute to processing of novel object arrangements. A training study was conducted where subjects had to learn the perception of complex stimulus arrangements in order to examine this hypothesis. Neuronal processes of Gestalt perception in bilateral TPJ regions were assessed pre- and posttraining. It was demonstrated that an anterior right hemispheric TPJ region responded to perceptual training with global stimuli. The results indicated fundamentally changed TPJ contributions with increasing familiarity suggesting a different strategy of the brain for processing of highly familiar object arrangements. In the second study, involvements of bilateral TPJ areas in global processing were investigated with an approach taking advantage of visual expertise. During presentation of specific chess arrangements TPJ signals of chess experts and novices were examined. As a consequence, it was possible to compare neuronal TPJ correlates for holistic perception in experts and serial perceptual strategies in novices. The result showed higher signals in bilateral TPJ areas for chess experts compared to novices while inspecting specific chess configurations. With this method a lot of the typical stimulus confounds in research about Gestalt perception, like size differences or differences in spatial frequencies between global/local stimulus levels, were avoided. Moreover, the nature of the stimuli and experimental tasks argues for a TPJ involvement during perception rather than for functions of attentional selection. In the third study perceptual properties of visual size constancy were investigated in the context of Gestalt perception. While size constancy is a well-known phenomenon for regular objects this visual mechanism has not been investigated for stimuli forming a global Gestalt. Therefore, the perceptual performance for a global stimulus arrangement placed on different locations of a visual scene containing a 3D perspective was tested. For the first time, influences of size constancy were demonstrated also for global stimuli. Effects of size constancy on Gestalt perception suggest a perceptual hierarchy of global scenes even on stimuli that have to be integrated themselves. Taken together the results show that the TPJ is involved in mere perceptual processes of Gestalt perception and that an anterior section of this structure has a specific role in processing of novel object arrangements. It was also demonstrated that Gestalt perception itself underlies visual top-down processes of visual constancy suggesting a superior role of global scene processing influencing even local grouping processes.Zu Beginn des letzten Jahrhunderts formulierte die Gestaltpsychologie bestimmte Gesetzmäßigkeiten, die der menschlichen Wahrnehmung zu Grunde liegen. Die sog. Gestaltgesetzte besagen, dass einzelne Elemente mit systematischen Gemeinsamkeiten eher als ganzheitliche Entität aufgefasst werden denn als Summe einzelner Teile. Die besondere Bedeutung der Gestaltwahrnehmung wird durch das neuropsychologische Störungsbild Simultanagnosie deutlich. Patienten, die an dieser Störung leiden, haben die Fähigkeit einzelne Elemente zu einer übergeordneten Einheit zu verbinden verloren. Normalerweise treten Symptome der Simultanagnosie nach bilateralen temporo-parietalen Gehirnläsionen auf. Die genaue Neuroanatomie der Gestaltwahrnehmung und klar definierte Funktionen von Gehirnarealen, die bereits mit globaler Wahrnehmung in Verbindung gebracht werden konnten, sind jedoch noch nicht eindeutig definiert. Darüber hinaus ist auf Verhaltensebene wenig über Funktionen der visuellen Wahrnehmung, z.B. hinsichtlich des Phänomens der Größenkonstanz, im Zusammenhang mit Gestaltwahrnehmung bekannt. Das Ziel der vorliegenden Arbeit ist die Erforschung neuronaler und behavioraler Mechanismen der Gestaltwahrnehmung mit Hilfe psychophysischer und bildgebender Methoden. In bisherigen Bildgebungsstudien konnte die temporo-parietale Übergangsregion (temporo-parietal junction, TPJ) als neuronales Korrelat der Gestaltwahrnehmung identifiziert werden. Die genaue Bedeutung dieser Hirnregion für die Gestaltwahrnehmung ist jedoch noch unklar, wobei bisher vor allem Aufmerksamkeits- und reine Wahrnehmungsfunktionen damit in Verbindung gebracht werden konnten. Die Bildgebungsstudien dieser Arbeit konzentrieren sich daher vornehmlich auf perzeptuelle Funktionen bilateraler TPJ-Areale. In der ersten Studie dieser Arbeit wurden spezifische Eigenschaften der temporo-parietalen Übergangsregion für die Gestaltwahrnehmung untersucht. Die Motivation für diese Studie wurde von Beobachtungen bei Simultanagnosie-Patienten abgeleitet, die vor allem Schwierigkeiten bei der Verarbeitung neuartiger komplexer Reizanordnungen haben, aber geläufige komplexe visuelle Inhalte erkennen können. Daher wurde die Hypothese untersucht, dass bilaterale TPJ-Regionen hauptsächlich in die Verarbeitung neuartiger komplexer Strukturen involviert sind. Zur Untersuchung dieser Hypothese wurde eine Lernstudie durchgeführt. Im Rahmen dieser Studie wurde die Wahrnehmung für komplexe Gestalt-Stimuli trainiert und die neuronalen Mechanismen der Gestaltwahrnehmung vor und nach dem Training mittels funktionaler Magnet Resonanztomographie (fMRT) gemessen. Es zeigte sich, dass hauptsächlich das anteriore rechtshemisphärische TPJ-Areal signifikant auf Wahrnehmungstraining reagierte. Dieses Ergebnis bestätigte die Hypothese, dass TPJ hauptsächlich für die Verarbeitung neuartiger Objekt-Arrangements zuständig ist bzw. komplexe Stimuli mit hohem Bekanntheitsgrad über andere neuronale Kanäle verarbeitet werden. In der zweiten Studie wurde der Beitrag bilateraler TPJ-Areale auf die Gestaltwahrnehmung durch die Untersuchung von Schach-Experten realisiert. Dabei wurden TPJ-Signale von Schach-Experten und Novizen bei der Betrachtung komplexer Schach-Arrangements mittels fMRT gemessen. Auf diese Weise war es möglich neuronale TPJ-Aktivierungen während einer ganzheitlichen Wahrnehmung in Experten und einer seriellen Strategie in Novizen zu vergleichen. Die Ergebnisse zeigten stärkere Signale in bilateralen TPJ-Regionen für Experten im Vergleich zu Novizen während der Betrachtung komplexer Schach-Arrangements. Mit Hilfe dieses Ansatzes konnten einige Störvariablen, die bei der Erforschung der Gestaltwahrnehmung auftreten, wie z.B. Unterschiede zwischen lokalen und globalen Stimuli hinsichtlich Größe oder räumlicher Frequenz, umgangen werden. Darüber hinaus weisen der Aufbau der Stimuli und die verwendeten Testparadigmen auf TPJ-Einflüsse während der perzeptuellen Verarbeitung komplexer Stimuli hin und sprechen gegen TPJ-gesteuerte Aufmerksamkeitsmechanismen der perzeptuellen Auswahl von globalen oder lokalen Ebenen. Die dritte Studie untersuchte perzeptuelle Eigenschaften der Größenkonstanz im Kontext der Gestaltwahrnehmung. Während die Größenkonstanz ein gut erforschtes Phänomen im Rahmen der Objektwahrnehmung darstellt, ist bisher nicht bekannt, ob dieser visuelle Mechanismus auch globale Gestalt-Stimuli betrifft. Diese Fragestellung wurde durch ein Experiment, in dem globale Gestalt-Stimuli in einer visuellen Szene mit 3D-Perspektive platziert wurden, untersucht. Es zeigte sich, dass auch die Verarbeitung globaler Stimuli Mechanismen der Größenkonstanz unterliegt. Effekte der Größenkonstanz auf die Wahrnehmung globaler Gestalt-Stimuli weisen auf eine Hierarchie der visuellen Verarbeitung hin, der zufolge eine übergeordnete globale Szene auch visuelle Inhalte beeinflusst, die selbst der Gestaltwahrnehmung unterliegen. Zusammenfassend zeigen die dargestellten Arbeiten, dass das TPJ-Areal hauptsächlich an der perzeptuellen Verarbeitung komplexer visueller Reizanordnungen beteiligt ist und dabei speziell für neuartige Reizkonfigurationen zuständig ist. Darüber hinaus konnte gezeigt werden, dass Gestaltwahrnehmung selbst Top-down-Prozessen der visuellen Größenkonstanz unterliegt und die globale Wahrnehmung einer visuellen Szene lokale Prozesse der Gestaltwahrnehmung beeinflussen kann

Perception, action and the cortical visual streams

Over a decade ago Milner and Goodale suggested that perception and action are subserved by two distinct cortical visual streams. The ventral stream projecting from striate cortex to inferotemporal cortex is involved in the perceptual identification of objects. The dorsal stream projecting from striate cortex to posterior parietal cortex is involved in visually guided actions. A series of experiments have been carried out and are presented within this thesis to investigate how various aspects of visuomotor behaviour fit into such a model. A range of techniques were employed, including: (1) behavioural studies with patients with optic ataxia (dorsal stream damage) and visual form agnosia (ventral stream damage); (2) transcranial magnetic stimulation (TMS) in healthy subjects; (3) functional magnetic resonance imaging (fMRI) in healthy subjects. The following conclusions were made: (1) obstacle avoidance behaviour is impaired in patients with optic ataxia due to damage to the dorsal stream; (2) obstacle avoidance is intact in patients with visual form agnosia as damage is restricted to the ventral stream; (3) obstacle avoidance is mediated by the dorsal stream when an immediate response is required, whereas under delayed conditions the ventral stream comes into play; (4) visual form agnosic patients can use looming information to catch moving objects and they are capable of responding to online perturbations due to an intact dorsal stream; (5) V5 / MT+ is involved in motion processing for perception and action and does not belong exclusively to the dorsal or ventral stream; (6) the dorsal stream is only sensitive to orientation changes if the stimuli are graspable. While some modifications of the original distinction are necessary, the experiments presented within this thesis suggest that this model has, for the most part, withstood the test of time and provides a useful framework for understanding various aspects of perception and action

Investigating the function of the ventral visual reading pathway and its involvement in acquired reading disorders

This thesis investigated the role of the left ventral occipitotemporal (vOT) cortex and how damage to this area causes peripheral reading disorders. Functional magnetic resonance imaging (fMRI) studies in volunteers demonstrated that the left vOT is activated by written words over numbers or perceptually-matched baselines, irrespective of the word’s location on the visual field. Mixed results were observed for the comparison of words versus false font stimuli. This response profile suggests that the left vOT is preferentially activated by words or word-like stimuli, due to either: (1) bottom-up specialisation for processing familiar word-forms; (2) top-down task-dependent modulation, or (3) a combination of the two. Further studies are proposed to discriminate between these possibilities. Thirteen patients with left occipitotemporal damage participated in the rehabilitation and fMRI studies. The patients were impaired on word, text and letter reading. A structural analysis showed that damage to the left occipitotemporal white matter, in the vicinity of the inferior longitudinal fasciculus, was associated with slow word reading speed. The fMRI study showed that the patients had reduced activation of the bilateral posterior superior temporal sulci relative to controls. Activity in this area correlated with reading speed. The efficacy of intensive whole-word recognition training was tested. Immediately after the training, trained words were read faster than untrained words, but the effects did not persist until the follow-up assessment. Hence, damage to the left vOT white matter impairs rapid whole-word recognition and is resistant to rehabilitation. The final study investigated the role of spatial frequency (SF) in the lateralisation of vOT function. Lateralisation of high and low SF processing was demonstrated, concordant with the lateralisation for words and faces to the left and right vOT respectively. A perceptual basis for the organisation of vOT cortex might explain why left vOT damage is resistant to treatment

The Recognition of Words in Pure Alexia and Hemianopic Alexia: a Neuropsychological Study of 6 Patients

During my PhD I investigated how shape and motion information are processed by the rat visual system, so as to establish how advanced is the representation of higher-order visual information in this species and, ultimately, to understand to what extent rats can present a valuable alternative to monkeys, as experimental models, in vision studies. Specifically, in my thesis work, I have investigated: 1) The possible visual strategies underlying shape recognition. 2) The ability of rat visual cortical areas to represent motion and shape information. My work contemplated two different, but complementary experimental approaches: psychophysical measurements of the rat\u2019s recognition ability and strategy, and in vivo extracellular recordings in anaesthetized animals passively exposed to various (static and moving) visual stimulation. The first approach implied training the rats to an invariant object recognition task, i.e. to tolerate different ranges of transformations in the object\u2019s appearance, and the application of an mage classification technique known as The Bubbles to reveal the visual strategy the animals were able, under different conditions of stimulus discriminability, to adopt in order to perform the task. The second approach involved electrophysiological exploration of different visual areas in the rat\u2019s cortex, in order to investigate putative functional hierarchies (or streams of processing) in the computation of motion and shape information. Results show, on one hand, that rats are able, under conditions of highly stimulus discriminability, to adopt a shape-based, view-invariant, multi-featural recognition strategy; on the other hand, the functional properties of neurons recorded from different visual areas suggest the presence of a putative shape-based, ventral-like stream of processing in the rat\u2019s visual cortex. The general purpose of my work is and has been the unveiling the neural mechanisms that make object recognition happen, with the goal of eventually 1) be able to relate my findings on rats to those on more visually-advanced species, such as human and non-human primates; and 2) collect enough biological data to support the artificial simulation of visual recognition processes, which still presents an important scientific challeng