Neuronal and behavioral mechanisms of Gestalt perception

Principles of Gestalt perception have fundamentally influenced our understanding of visual cognition. In the past century, Gestalt psychologists postulated that the human brain determines single elements with common features as a single entity rather than a sum of separate parts. The importance of Gestalt perception is emphasized by the neuropsychological syndrome simultanagnosia. Patients suffering from this condition have lost the ability to integrate single elements into a superior entity. Simultanagnosia is usually associated with bilateral posterior temporo-parietal brain lesions but the exact neuroanatomy of global Gestalt perception and functions of areas already associated with this perceptual quality are still a matter of lively debates. Further, not much is known about behavioral characteristics of wellexplored perceptual processes, like visual constancy, in the context of Gestalt perception. The present work aimed at investigating neuronal and behavioral properties of Gestalt perception applying psychophysical methods and functional magnetic resonance imaging (fMRI). In previous neuroimaging studies the temporoparietal junction (TPJ) was identified as a crucial brain structure involved in Gestalt perception. However, its specific role in Gestalt perception is still unclear. The functions attributed to this brain region range from attentional selection between the local and the global level of hierarchically organized stimuli to mere perceptual mechanisms of global processing. The neuroimaging studies included into this work explore mainly TPJ related perceptual functions. In the first study, neuronal properties of TPJ in Gestalt perception were investigated. Based on observations in simultanagnosia patients that are able to perceive familiar complex stimulus arrangements but fail in recognition of novel stimulus configurations, it was hypothesized that TPJ areas mainly contribute to processing of novel object arrangements. A training study was conducted where subjects had to learn the perception of complex stimulus arrangements in order to examine this hypothesis. Neuronal processes of Gestalt perception in bilateral TPJ regions were assessed pre- and posttraining. It was demonstrated that an anterior right hemispheric TPJ region responded to perceptual training with global stimuli. The results indicated fundamentally changed TPJ contributions with increasing familiarity suggesting a different strategy of the brain for processing of highly familiar object arrangements. In the second study, involvements of bilateral TPJ areas in global processing were investigated with an approach taking advantage of visual expertise. During presentation of specific chess arrangements TPJ signals of chess experts and novices were examined. As a consequence, it was possible to compare neuronal TPJ correlates for holistic perception in experts and serial perceptual strategies in novices. The result showed higher signals in bilateral TPJ areas for chess experts compared to novices while inspecting specific chess configurations. With this method a lot of the typical stimulus confounds in research about Gestalt perception, like size differences or differences in spatial frequencies between global/local stimulus levels, were avoided. Moreover, the nature of the stimuli and experimental tasks argues for a TPJ involvement during perception rather than for functions of attentional selection. In the third study perceptual properties of visual size constancy were investigated in the context of Gestalt perception. While size constancy is a well-known phenomenon for regular objects this visual mechanism has not been investigated for stimuli forming a global Gestalt. Therefore, the perceptual performance for a global stimulus arrangement placed on different locations of a visual scene containing a 3D perspective was tested. For the first time, influences of size constancy were demonstrated also for global stimuli. Effects of size constancy on Gestalt perception suggest a perceptual hierarchy of global scenes even on stimuli that have to be integrated themselves. Taken together the results show that the TPJ is involved in mere perceptual processes of Gestalt perception and that an anterior section of this structure has a specific role in processing of novel object arrangements. It was also demonstrated that Gestalt perception itself underlies visual top-down processes of visual constancy suggesting a superior role of global scene processing influencing even local grouping processes.Zu Beginn des letzten Jahrhunderts formulierte die Gestaltpsychologie bestimmte Gesetzmäßigkeiten, die der menschlichen Wahrnehmung zu Grunde liegen. Die sog. Gestaltgesetzte besagen, dass einzelne Elemente mit systematischen Gemeinsamkeiten eher als ganzheitliche Entität aufgefasst werden denn als Summe einzelner Teile. Die besondere Bedeutung der Gestaltwahrnehmung wird durch das neuropsychologische Störungsbild Simultanagnosie deutlich. Patienten, die an dieser Störung leiden, haben die Fähigkeit einzelne Elemente zu einer übergeordneten Einheit zu verbinden verloren. Normalerweise treten Symptome der Simultanagnosie nach bilateralen temporo-parietalen Gehirnläsionen auf. Die genaue Neuroanatomie der Gestaltwahrnehmung und klar definierte Funktionen von Gehirnarealen, die bereits mit globaler Wahrnehmung in Verbindung gebracht werden konnten, sind jedoch noch nicht eindeutig definiert. Darüber hinaus ist auf Verhaltensebene wenig über Funktionen der visuellen Wahrnehmung, z.B. hinsichtlich des Phänomens der Größenkonstanz, im Zusammenhang mit Gestaltwahrnehmung bekannt. Das Ziel der vorliegenden Arbeit ist die Erforschung neuronaler und behavioraler Mechanismen der Gestaltwahrnehmung mit Hilfe psychophysischer und bildgebender Methoden. In bisherigen Bildgebungsstudien konnte die temporo-parietale Übergangsregion (temporo-parietal junction, TPJ) als neuronales Korrelat der Gestaltwahrnehmung identifiziert werden. Die genaue Bedeutung dieser Hirnregion für die Gestaltwahrnehmung ist jedoch noch unklar, wobei bisher vor allem Aufmerksamkeits- und reine Wahrnehmungsfunktionen damit in Verbindung gebracht werden konnten. Die Bildgebungsstudien dieser Arbeit konzentrieren sich daher vornehmlich auf perzeptuelle Funktionen bilateraler TPJ-Areale. In der ersten Studie dieser Arbeit wurden spezifische Eigenschaften der temporo-parietalen Übergangsregion für die Gestaltwahrnehmung untersucht. Die Motivation für diese Studie wurde von Beobachtungen bei Simultanagnosie-Patienten abgeleitet, die vor allem Schwierigkeiten bei der Verarbeitung neuartiger komplexer Reizanordnungen haben, aber geläufige komplexe visuelle Inhalte erkennen können. Daher wurde die Hypothese untersucht, dass bilaterale TPJ-Regionen hauptsächlich in die Verarbeitung neuartiger komplexer Strukturen involviert sind. Zur Untersuchung dieser Hypothese wurde eine Lernstudie durchgeführt. Im Rahmen dieser Studie wurde die Wahrnehmung für komplexe Gestalt-Stimuli trainiert und die neuronalen Mechanismen der Gestaltwahrnehmung vor und nach dem Training mittels funktionaler Magnet Resonanztomographie (fMRT) gemessen. Es zeigte sich, dass hauptsächlich das anteriore rechtshemisphärische TPJ-Areal signifikant auf Wahrnehmungstraining reagierte. Dieses Ergebnis bestätigte die Hypothese, dass TPJ hauptsächlich für die Verarbeitung neuartiger Objekt-Arrangements zuständig ist bzw. komplexe Stimuli mit hohem Bekanntheitsgrad über andere neuronale Kanäle verarbeitet werden. In der zweiten Studie wurde der Beitrag bilateraler TPJ-Areale auf die Gestaltwahrnehmung durch die Untersuchung von Schach-Experten realisiert. Dabei wurden TPJ-Signale von Schach-Experten und Novizen bei der Betrachtung komplexer Schach-Arrangements mittels fMRT gemessen. Auf diese Weise war es möglich neuronale TPJ-Aktivierungen während einer ganzheitlichen Wahrnehmung in Experten und einer seriellen Strategie in Novizen zu vergleichen. Die Ergebnisse zeigten stärkere Signale in bilateralen TPJ-Regionen für Experten im Vergleich zu Novizen während der Betrachtung komplexer Schach-Arrangements. Mit Hilfe dieses Ansatzes konnten einige Störvariablen, die bei der Erforschung der Gestaltwahrnehmung auftreten, wie z.B. Unterschiede zwischen lokalen und globalen Stimuli hinsichtlich Größe oder räumlicher Frequenz, umgangen werden. Darüber hinaus weisen der Aufbau der Stimuli und die verwendeten Testparadigmen auf TPJ-Einflüsse während der perzeptuellen Verarbeitung komplexer Stimuli hin und sprechen gegen TPJ-gesteuerte Aufmerksamkeitsmechanismen der perzeptuellen Auswahl von globalen oder lokalen Ebenen. Die dritte Studie untersuchte perzeptuelle Eigenschaften der Größenkonstanz im Kontext der Gestaltwahrnehmung. Während die Größenkonstanz ein gut erforschtes Phänomen im Rahmen der Objektwahrnehmung darstellt, ist bisher nicht bekannt, ob dieser visuelle Mechanismus auch globale Gestalt-Stimuli betrifft. Diese Fragestellung wurde durch ein Experiment, in dem globale Gestalt-Stimuli in einer visuellen Szene mit 3D-Perspektive platziert wurden, untersucht. Es zeigte sich, dass auch die Verarbeitung globaler Stimuli Mechanismen der Größenkonstanz unterliegt. Effekte der Größenkonstanz auf die Wahrnehmung globaler Gestalt-Stimuli weisen auf eine Hierarchie der visuellen Verarbeitung hin, der zufolge eine übergeordnete globale Szene auch visuelle Inhalte beeinflusst, die selbst der Gestaltwahrnehmung unterliegen. Zusammenfassend zeigen die dargestellten Arbeiten, dass das TPJ-Areal hauptsächlich an der perzeptuellen Verarbeitung komplexer visueller Reizanordnungen beteiligt ist und dabei speziell für neuartige Reizkonfigurationen zuständig ist. Darüber hinaus konnte gezeigt werden, dass Gestaltwahrnehmung selbst Top-down-Prozessen der visuellen Größenkonstanz unterliegt und die globale Wahrnehmung einer visuellen Szene lokale Prozesse der Gestaltwahrnehmung beeinflussen kann

Human brain mechanisms of auditory and audiovisual selective attention

Selective attention refers to the process in which certain information is actively selected for conscious processing, while other information is ignored. The aim of the present studies was to investigate the human brain mechanisms of auditory and audiovisual selective attention with functional magnetic resonance imaging (fMRI), electroencephalography (EEG) and magnetoencephalography (MEG). The main focus was on attention-related processing in the auditory cortex. It was found that selective attention to sounds strongly enhances auditory cortex activity associated with processing the sounds. In addition, the amplitude of this attention-related modulation was shown to increase with the presentation rate of attended sounds. Attention to the pitch of sounds and to their location appeared to enhance activity in overlapping auditory-cortex regions. However, attention to location produced stronger activity than attention to pitch in the temporo-parietal junction and frontal cortical regions. In addition, a study on bimodal attentional selection found stronger audiovisual than auditory or visual attention-related modulations in the auditory cortex. These results were discussed in light of Näätänen s attentional-trace theory and other research concerning the brain mechanisms of selective attention.Valikoivalla tarkkaavaisuudella tarkoitetaan prosessia, jossa tietoiseen käsittelyyn valitaan aktiivisesti jotain tietoa ja muu tieto jätetään huomioimatta. Tämän väitöskirjatutkimuksen tavoite oli selvittää kuulotietoon kohdistuvan sekä kuulo- ja näkötietoa yhdistävän valikoivan tarkkaavaisuuden aivomekanismeja ihmisellä. Tutkimusmenetelminä käytettiin toiminnallista magneettikuvausta (fMRI), elektroenkefalografiaa (EEG) ja magnetoenkefalografiaa (MEG). Tutkimus keskittyi erityisesti tarkkaavaisuuden alaiseen tiedonkäsittelyyn kuuloaivokuorella. Tutkimus osoitti, että äänten valikoiva tarkkailu kasvattaa voimakkaasti äänten käsittelyyn liittyvää aktivaatiota kuuloaivokuorella ja että tämä aktivaatio kasvaa äänten esitysnopeuden kasvaessa. Tutkimus antoi myös viitteitä siitä, että äänen korkeuden tarkkailu ja äänen paikan tarkkailu aktivoivat samoja kuuloaivokuoren alueita. Kuitenkin tietyt ohimo- ja päälakilohkojen sekä otsalohkojen alueet näyttäisivät osallistuvan erityisen voimakkaasti äänen paikan tarkkaavaisuuden alaiseen käsittelyyn. Lisäksi havaittiin, että kuulo- ja näkötietoa yhdistävä valikoiva tarkkaavaisuus aktivoi voimakkaammin kuuloaivokuorta kuin pelkän kuulotiedon tai näkötiedon valikoiva tarkkailu. Näitä tutkimustuloksia käsiteltiin Näätäsen tarkkaavaisuusjälki-teorian ja muiden valikoivaa tarkkaavaisuutta koskevien tutkimustulosten valossa

The role of the default mode network in contextual control

While extensive theories outline the importance of meaningful context in guiding goal directed behaviour, little evidence has emerged about the underlying cognitive mechanisms involved. This thesis aims to addresses this gap in the literature by integrating two commonly disparate topics in neuroscience: cognitive control and the default mode network. Chapter 2 considers why current studies of contextual control do not implicate DMN regions by comparing context-dependent decision making using rich, meaningful scenes, in comparison to arbitrary letter stimuli. DMN regions of the posterior cingulate cortex, parahippocampus and posterior inferior parietal cortex are found to show increased activity during decision making in the lifelike context only. Chapter 3 asks whether regions beyond the ‘task-positive’ multiple demand network are necessary for adequate performance in more lifelike naturalistic tasks. This neuropsychology experiment used behavioural data accumulated from brain lesioned patients across a series of naturalistic tasks and a standard IQ task. Naturalistic tasks were found to capture control processes beyond IQ and multiple demand network function, most likely depending on many processes and brain regions. Chapter 4 aims to understand to what extent the DMN contributes to non-spatial executive tasks. Replicating (Crittenden et al. 2015), DMN regions were found to represent the broader task domain and respond with greater activation to larger task switches and task restarts. A role for the DMN in transitions between distinct cognitive tasks is suggested. Chapter 5 assesses an alternative explanation for the switch effects of the previous chapter. The fMRI experiment presented in this chapter asks whether the activation of the DMN at cognitive transitions reflects changes in task rule retrieval difficulty instead of degree of task switch. To this end, this study directly manipulated the rule retrieval demands. Contrary to the retrieval account, increased retrieval demand led to reduced DMN activity, accompanied by increased activation in MD regions.This PhD was funded by the Medical Research Counci

Cognitive conflicts in the Stroop paradigm

Kognitive Kontrolle wird besonders in solchen Momenten deutlich, wenn eine geplante Handlung gestört wird. Weil zwei widerstreitende Verhaltenstendenzen gleichzeitig bestehen oder anlaufen, entsteht ein Konflikt. Experimentell können kognitive Konflikte beispielsweise mit dem Stroop-Paradigma hergestellt und untersucht werden (Stroop, 1935). Es ist dabei eine aktuelle Frage, wie Konflikte zeitlich verarbeitet werden und wo im Gehirn diese Verarbeitung geschieht. Zeitlich können Konflikte beispielsweise dann entstehen, wenn die Informationen des Stimulus abgerufen werden oder auch erst dann, wenn die intendierte Antwort tatsächlich für die Artikulation ausgewählt werden muss. Eine weiterführende Frage ist, ob sich die entsprechenden Ergebnisse für verschiedene Stroop-Varianten unterscheiden. In der vorliegenden Arbeit wurden diese Fragen systematisch für die Verarbeitung von Objekten und Zahlen mit zwei Varianten des Stroop-Paradigmas untersucht. In der vorliegenden Dissertation präsentiere ich Ergebnisse von Reaktionszeitstudien und fMRT-Experimenten zum zeitlichen Ablauf und zu neuronalen Substraten kognitiver Konflikte während der Verarbeitung von Objekten und Zahlen. Um die Konflikte zeitlich und räumlich lokalisieren zu können, wird die Abrufphase und die Antwortphase separat modelliert. Die Ergebnisse deuten darauf hin, dass die Konflikte eher während des Abrufs als bei der Antwortauswahl stattfinden. Außerdem wird geschlussfolgert, dass die Konflikte für Zahl- und Objektrepräsentationen nicht auf gemeinsamen neuronalen Substraten basieren. Die Ergebnisse meiner Reaktionszeitstudien und der MRT-Studien deuten also darauf hin, dass Konflikte bei der Verarbeitung von Objekten und Zahlen zwar einem ähnlichen zeitlichen Verlauf folgen, aber offenbar in unterschiedlichen neuronalen Netzwerken verarbeitet werden.In daily life, we constantly have to adjust our goals and plans to changing task demands and internal needs. Our ability to balance the initiation and inhibition of our actions, and to solve resulting conflicts between them, is referred to as cognitive control. To study the processes of cognitive control, the Stroop Paradigm has become a popular tool (Stroop,1935). The Stroop Paradigm is frequently used to address central questions of cognitive control. It is, for instance, an open issue, where and when in the processing stream cognitive conflicts arise. Do they arise early, for example, during the retrieval of target and distractor? Or do they occur late, when the response is prepared for execution? Another debate is concerned with the question whether the findings agree for different Stroop variants (Van Maanen et al., 2009). In this dissertation I present research on the temporal characteristics and the neural substrates of cognitive conflicts during the processing of objects and numbers. To better understand the locus of the conflict, the retrieval phase and the response phase are modelled separately. The results from several reaction time studies and from two fMRI experiments speak to the issue that processing costs occur during retrieval, i.e., early in the processing stream, for both, object and number representations. The results further indicate that the processing of the conflict between target and distractor for number and object representations do not rely on common neural substrates. I will thus present the results from behavioural and functional imaging experiments, showing similar temporal patterns for the conflicts in both systems, but distinct underlying neural networks

Cognitive and bodily selves: how do they interact following brain lesion?

Dualism has long distinguished between the mental and the body experiences. Probing the structure and organisation of the self traditionally calls for a distinction between these two sides of the self coin. It is far beyond the scope of this chapter to address these philosophical issues, and our starting point will be the simple distinction between reflective processes involved in the elaboration of body image, self awareness and self-recognition (i.e. ‘the self’) and the sensori-motor dialogues involved in action control, reactions and automatisms (i.e. ‘the body’ schema). This oversimplification does not take into account the complex interactions taking place between these two levels of description, but our initial aim will be to distinguish between them, before addressing the question of their interactions. Cognitive and sensori-motor processes have frequently been distinguished (review: Rossetti and Revonsuo 2000), and it may be proposed that a similar dissociation can be put forward, a priori, between a central representation of self and a bodily representation corresponding to body schema (Figure 1)

Knowing what from where : Hippocampal connectivity with temporoparietal cortex at rest is linked to individual differences in semantic and topographic memory

The hippocampus contributes to episodic, spatial and semantic aspects of memory, yet individual differences within and between these functions are not well-understood. In 136 healthy individuals, we investigated whether these differences reflect variation in the strength of connections between functionally-specialised segments of the hippocampus and diverse cortical regions that participate in different aspects of memory. Better topographical memory was associated with stronger connectivity between lingual gyrus and left anterior, rather than posterior, hippocampus. Better semantic memory was associated with increased connectivity between the cuneus/precuneus and left, rather than right, posterior hippocampus. Notably, we observed a double dissociation between semantic and topographical memory: better semantic memory was associated with stronger connectivity between left temporoparietal cortex and left anterior hippocampus, while better topographic memory was linked to stronger connectivity with right anterior hippocampus. Together these data support a division-of-labour account of hippocampal functioning: at the population level, differences in connectivity across the hippocampus reflect functional specialisation for different facets of memory, while variation in these connectivity patterns across individuals is associated with differences in the capacity to retrieve different types of information. In particular, within-hemisphere connectivity between hippocampus and left temporoparietal cortex supports conceptual processing at the expense of spatial ability

Functional characterization of correct and incorrect feature integration

Advance access publication date 30 April 2022Our sensory system constantly receives information from the environment and our own body. Despite our impression to the contrary, we remain largely unaware of this information and often cannot report it correctly. Although perceptual processing does not require conscious effort on the part of the observer, it is often complex, giving rise to errors such as incorrect integration of features (illusory conjunctions). In the present study, we use functional magnetic resonance imaging to study the neural bases of feature integration in a dual task that produced ~30% illusions. A distributed set of regions demonstrated increased activity for correct compared to incorrect (illusory) feature integration, with increased functional coupling between occipital and parietal regions. In contrast, incorrect feature integration (illusions) was associated with increased occipital (V1–V2) responses at early stages, reduced functional connectivity between right occipital regions and the frontal eye field at later stages, and an overall decrease in coactivation between occipital and parietal regions. These results underscore the role of parietal regions in feature integration and highlight the relevance of functional occipito-frontal interactions in perceptual processing.This work was supported by the Spanish Ministry of Science and Innovation research projects PSI2017-88136 and PID2020-119033GB-I00 and the local government of Andalusia (Proyectos de I+D+i en el marco del Programa Operativo FEDER, B-SEJ-570-UGR20) to Ana B. Chica. Pedro M. Paz- Alonso was supported by grants from the Spanish Ministry of Science and Innovation [RYC-2014- 15440 and PGC2018-093408-B-I00], Neuroscience projects from the Fundación Tatiana Pérez de Guzmán el Bueno, Basque Government [PIBA-2021-1-0003], and a grant from “la Caixa” Banking Foundation under the project code LCF/PR/HR19/52160002. BCBL acknowledges support by the Basque Government through the BERC 2022-2025 program and by the Spanish State Research Agency through BCBL Severo Ochoa excellence accreditation CEX2020-001010-S