Informationsrouting, Korrespondenzfindung und Objekterkennung im Gehirn

The dissertation deals with the general problem of how the brain can establish correspondences between neural patterns stored in different cortical areas. Although an important capability in many cognitive areas like language understanding, abstract reasoning, or motor control, this thesis concentrates on invariant object recognition as application of correspondence finding. One part of the work presents a correspondence-based, neurally plausible system for face recognition. Other parts address the question of visual information routing over several stages by proposing optimal architectures for such routing ('switchyards') and deriving ontogenetic mechanisms for the growth of switchyards. Finally, the idea of multi-stage routing is united with the object recognition system introduced before, making suggestions of how the so far distinct feature-based and correspondence-based approaches to object recognition could be reconciled.Allgemein gesprochen beschäftigt sich die vorliegende Arbeit mit der Frage, wie das Gehirn Korrespondenzen zwischen Aktivitätsmustern finden kann. Dies ist ein zentrales Thema in der visuellen Objekterkennung, hat aber Bedeutung für alle Bereiche der neuronalen Datenverarbeitung vom Hören bis zum abstrakten Denken. Das Korrespondenzfinden sollte invariant gegenüber Veränderungen sein, die das Erscheinungsbild, aber nicht die Bedeutung der Muster ändern. Außerdem sollte es auch funktionieren, wenn die beiden Muster nicht direkt, sondern nur über Zwischenstationen miteinander verbunden sind. Voraussetzungen für das invariante Korrespondenzfinden zwischen Mustern sind einerseits die Existenz sinnvoller Verbindungsstrukturen, und andererseits ein prinzipieller neuronaler Mechanismus zum Finden von Korrespondenzen. Mit einem prinzipiellen Korrespondenzfindungsmechanismus befasst sich Kapitel 2 der Arbeit. Dieser beruht auf dynamischen Links zwischen den Punkten beider Muster, die durch punktuelle ähnlichkeit der Muster und globale Konsistenz mit benachbarten Links aktiviert werden. In mehrschichtigen Systemen können dynamische Links außer zur Korrespondenzfindung auch zum kontrollierten Routing von Information verwendet werden. Unter Verwendung dieser Eigenschaft wird in Kapitel 2 ein Gesichtserkennungssystem entwickelt, das invariant gegenüber Verschiebung und robust gegenüber Verformungen ist und gute Performanz auf Benchmarkdatenbanken In Kapitel 3 wird untersucht, was die sparsamste Methode ist, neuronale Muster so zu verbinden, dass es von jedem Punkt des einen Musters einen Pfad zu jedem Punkt des anderen gibt und visuelle Information von einem Muster zum anderen geroutet werden kann. Dabei wird die Gesamtmenge an benötigten neuronalen Ressourcen, also sowohl Verbindungen als auch merkmalrepräsentierende Einheiten der Zwischenschichten, minimiert. Dies führt zu mehrstufigen Strukturen mit weit gespreizten, aber dünn besetzten Verästelungen, die wir Switchyards nennen. Bei der Interpretation der Ergebnisse zeigt sich, dass Switchyards mit den qualitativen und quantitativen Gegebenheiten im Primatenhirn vereinbar sind, soweit diese bekannt sind. Kapitel 4 beschäftigt sich mit der Frage, wie solche doch recht komplizierten neuronalen Verbindungsstrukturen ontogenetisch entstehen können. Es wird ein möglicher Mechanismus vorgestellt, der auf chemischen Markern basiert. Die Marker werden von den Einheiten der untersten Schicht gebildet und diffundieren durch die entstehenden Verbindungen nach oben. Verbindungen wachsen bevorzugt zwischen Einheiten, die sehr unähnliche chemische Marker enthalten. Die resultierenden Verbindungsstrukturen sind beinahe identisch mit den in Kapitel 3 analytisch hergeleiteten Architekturen und biologisch sogar noch plausibler. Kapitel 5 führt die Ideen der vorangegangenen Kapitel zusammen, um das Korrespondenzfinden zwischen Mustern über mehrstufige Routingstrukturen hinweg zu realisieren. Es wird gezeigt, wie mit Hilfe von Switchyards Korrespondenzen zwischen normalen'' visuellen Mustern gefunden werden können, obwohl anfangs keine der einzelnen Stufen des Switchyards auf beiden Seiten Muster anliegen hat, die miteinander abgeglichen werden könnten. Im Anschluss wird das Prinzip zu einem vollständigen Erkennungssystem ausgebaut, das über mehrere Routingstufen hinweg ein gegebenes Eingangsmuster positionsinvariant einem mehrerer gespeicherter Muster zuordnen kann

Music and language comprehension in the brain

Contains fulltext : 166652.pdf (publisher's version ) (Open Access)Radboud University, 10 februari 2017Promotor : Hagoort, P. Co-promotor : Willems, R.M.236 p

Prolegomena to a neurocomputational architecture for human grammatical encoding and decoding

The study develops a neurocomputational architecture for grammatical processing in language production and language comprehension (grammatical encoding and decoding, respectively). It seeks to answer two questions. First, how is online syntactic structure formation of the complexity required by natural-language grammars possible in a fixed, preexisting neural network without the need for online creation of new connections or associations? Second, is it realistic to assume that the seemingly disparate instantiations of syntactic structure formation in grammatical encoding and grammatical decoding can run on the same neural infrastructure? This issue is prompted by accumulating experimental evidence for the hypothesis that the mechanisms for grammatical decoding overlap with those for grammatical encoding to a considerable extent, thus inviting the hypothesis of a single “grammatical coder.” The paper answers both questions by providing the blueprint for a syntactic structure formation mechanism that is entirely based on prewired circuitry (except for referential processing, which relies on the rapid learning capacity of the hippocampal complex), and can subserve decoding as well as encoding tasks. The model builds on the “Unification Space” model of syntactic parsing developed by Vosse & Kempen (2000, 2008, 2009). The design includes a neurocomputational mechanism for the treatment of an important class of grammatical movement phenomena

A Computational Model of the Lexical-Semantic System Based on a Grounded Cognition Approach

This work presents a connectionist model of the semantic-lexical system based on grounded cognition. The model assumes that the lexical and semantic aspects of language are memorized in two distinct stores. The semantic properties of objects are represented as a collection of features, whose number may vary among objects. Features are described as activation of neural oscillators in different sensory-motor areas (one area for each feature) topographically organized to implement a similarity principle. Lexical items are represented as activation of neural groups in a different layer. Lexical and semantic aspects are then linked together on the basis of previous experience, using physiological learning mechanisms. After training, features which frequently occurred together, and the corresponding word-forms, become linked via reciprocal excitatory synapses. The model also includes some inhibitory synapses: features in the semantic network tend to inhibit words not associated with them during the previous learning phase. Simulations show that after learning, presentation of a cue can evoke the overall object and the corresponding word in the lexical area. Moreover, different objects and the corresponding words can be simultaneously retrieved and segmented via a time division in the gamma-band. Word presentation, in turn, activates the corresponding features in the sensory-motor areas, recreating the same conditions occurring during learning. The model simulates the formation of categories, assuming that objects belong to the same category if they share some features. Simple exempla are shown to illustrate how words representing a category can be distinguished from words representing individual members. Finally, the model can be used to simulate patients with focalized lesions, assuming an impairment of synaptic strength in specific feature areas

Brain Signatures of Embodied Semantics and Language: A Consensus Paper

According to embodied theories (including embodied, embedded, extended, enacted, situated, and grounded approaches to cognition), language representation is intrinsically linked to our interactions with the world around us, which is reflected in specific brain signatures during language processing and learning. Moving on from the original rivalry of embodied vs. amodal theories, this consensus paper addresses a series of carefully selected questions that aim at determining when and how rather than whether motor and perceptual processes are involved in language processes. We cover a wide range of research areas, from the neurophysiological signatures of embodied semantics, e.g., event-related potentials and fields as well as neural oscillations, to semantic processing and semantic priming effects on concrete and abstract words, to first and second language learning and, finally, the use of virtual reality for examining embodied semantics. Our common aim is to better understand the role of motor and perceptual processes in language representation as indexed by language comprehension and learning. We come to the consensus that, based on seminal research conducted in the field, future directions now call for enhancing the external validity of findings by acknowledging the multimodality, multidimensionality, flexibility and idiosyncrasy of embodied and situated language and semantic processes

How models of canonical microcircuits implement cognitive functions

Major cognitive functions such as language, memory, and decision-making are thought to rely on distributed networks of a large number of fundamental neural elements, called canonical microcircuits. A mechanistic understanding of the interaction of these canonical microcircuits promises a better comprehension of cognitive functions as well as their potential disorders and corresponding treatment techniques. This thesis establishes a generative modeling framework that rests on canonical microcircuits and employs it to investigate composite mechanisms of cognitive functions. A generic, biologically plausible neural mass model was derived to parsimoniously represent conceivable architectures of canonical microcircuits. Time domain simulations and bifurcation and stability analyses were used to evaluate the model’s capability for basic information processing operations in response to transient stimulations, namely signal flow gating and working memory. Analysis shows that these basic operations rest upon the bistable activity of a neural population and the selectivity for the stimulus’ intensity and temporal consistency and transiency. In the model’s state space, this selectivity is marked by the distance of the system’s working point to a saddle-node bifurcation and the existence of a Hopf separatrix. The local network balance, in regard of synaptic gains, is shown to modify the model’s state space and thus its operational repertoire. Among the investigated architectures, only a three-population model that separates input-receiving and output-emitting excitatory populations exhibits the necessary state space characteristics. It is thus specified as minimal canonical microcircuit. In this three-population model, facilitative feedback information modifies the retention of sensory feedforward information. Consequently, meta-circuits of two hierarchically interacting minimal canonical microcircuits feature a temporal processing history that enables state-dependent processing operations. The relevance of these composite operations is demonstrated for the neural operations of priming and structure-building. Structure-building, that is the sequential and selective activation of neural circuits, is identified as an essential mechanism in a neural network for syntax parsing. This insight into cognitive processing proves the modeling framework’s potential in neurocognitive research. This thesis substantiates the connectionist notion that higher processing operations emerge from the combination of minimal processing elements and advances the understanding how cognitive functions are implemented in the neocortical matter of the brain.Kognitive Fähigkeiten wie Sprache, Gedächtnis und Entscheidungsfindung resultieren vermutlich aus der Interaktion vieler fundamentaler neuronaler Elemente, sogenannter kanonischer Schaltkreise. Eine vertiefte Einsicht in das Zusammenwirken dieser kanonischen Schaltkreise verspricht ein besseres Verständnis kognitiver Fähigkeiten, möglicher Funktionsstörungen und Therapieansätze. Die vorliegende Dissertation untersucht ein generatives Modell kanonischer Schaltkreise und erforscht mit dessen Hilfe die Zusammensetzung kognitiver Fähigkeiten aus konstitutiven Mechanismen neuronaler Interaktion. Es wurde ein biologisch-plausibles neuronales Massenmodell erstellt, das mögliche Architekturen kanonischer Schaltkreise generisch berücksichtigt. Anhand von Simulationen sowie Bifurkations- und Stabilitätsanalysen wurde untersucht, inwiefern das Modell grundlegende Operationen der Informationsverarbeitung, nämlich Selektion und temporäre Speicherung einer transienten Stimulation, unterstützt. Die Untersuchung zeigt, dass eine bistabile Aktivität einer neuronalen Population und die Beurteilung der Salienz des Signals den grundlegenden Operationen zugrunde liegen. Die Beurteilung der Salienz beruht dabei hinsichtlich der Signalstärke auf dem Abstand des Arbeitspunktes zu einer Sattel-Knoten-Bifurkation und hinsichtlich der Signalkonsistenz und-–vergänglichkeit auf einer Hopf-Separatrix im Zustandsraum des Systems. Die Netzwerkbalance modifiziert diesen Zustandsraum und damit die Funktionsfähigkeit des Modells. Nur ein Drei-Populationenmodell mit getrennten erregenden Populationen für Signalempfang und -emission weist die notwendigen Bedingungen im Zustandsraum auf und genügt der Definition eines minimalen kanonischen Schaltkreises. In diesem Drei-Populationenmodell erleichtert ein Feedbacksignal die Speicherfähigkeit für sensorische Feedforwardsignale. Dementsprechend weisen hierarchisch interagierende minimale kanonische Schaltkreise ein zeitliches Verarbeitungsgedächtnis auf, das zustandsabhängige Verarbeitungsoperationen erlaubt. Die Bedeutung dieser konstitutiven Operationen wird für die neuronalen Operationen Priming und Strukturbildung verdeutlicht. Letztere wurde als wichtiger Mechanismus in einem Netzwerk zur Syntaxanalyse identifiziert und belegt das Potential des Modellansatzes für die neurokognitive Forschung. Diese Dissertation konkretisiert die konnektionistische Ansicht höhere Verarbeitungsoperationen als Ergebnis der Kombination minimaler Verarbeitungselemente zu verstehen und befördert das Verständnis für die Frage wie kognitive Fähigkeiten im Nervengewebe des Gehirns implementiert sind