Konzeptionelle Modellierung geometrischer Invarianzen in der visuellen Wahrnehmung von Primaten - Situativ gesteuerte Complex-Bildung als Grundlage invarianter Zellantworten

Unser Sehsinn vermittelt uns eine stabile Wahrnehmung der Umwelt. Objekte darin erkennen wir unabhängig von der Position, die wir ihnen gegenüber einnehmen. Diese invariante Wahrnehmung ist im Rahmen der verfügbaren neuronalen Modelle nur mit Einschränkungen zu erklären. Die Standardmodelle basieren auf einer hierarchischen Anordnung von Nervenzellen, deren Ziel es ist, spezifische neuronale Antworten für komplexe visuelle Reize aus Antworten auf einfache Reizkomponenten zu konstruieren. Ein wesentliches Konzept ist dabei die neuronale Oder-Bildung (Complex-Bildung) durch konvergente Verschaltung. Die Generierung von Invarianz für bestimmte Reizvariationen läuft hierbei der Formierung reizspezifischer Antworten entgegen -- auf Ebene des Signalflusses im Netzwerk, wie auch als Denkmodell. Die klassischen Modelle zur invarianten visuellen Formerkennung weisen daher Schwächen auf, etwa das Binde-Problem oder die Ununterscheidbarkeit von Objekten mit überlappenden Repräsentantenmengen. Die vorliegende Arbeit nähert sich dieser Problematik vom Blickwinkel der konzeptionellen Modellierung. Ein lebendiges Individuum erfährt seine Umwelt aktiv: Äußere physikalisch-körperliche Umstände beeinflussen die Verarbeitung im visuellen System. Ich formuliere hier das Konzept der situativ gesteuerten Complex-Bildung, das auf einer Steuerung der Übertragungseigenschaften einzelner Neuronen durch externe Parameter beruht. Seine Leistungsfähigkeit demonstriere ich in zwei Modellen zur invarianten visuellen Verarbeitung, der neuronalen retinalen Schlupfkorrektur und der entfernungsinvarianten Objektrepräsentation. Die Modelle überwinden entscheidende Probleme der klassischen Modellierung, erfordern jedoch einen erhöhten neuronalen Aufwand. Im Falle des Entfernungsinvarianzmodells führt der Einsatz der situativ gesteuerten Complex-Bildung zur Vorhersage einer neuartigen Zellklasse, den Entfernungs-Complex-Zellen. Neuronen mit teilweise ähnlichen Codierungseigenschaften wurden in jüngster Zeit experimentell nachgewiesen. In beiden Modellen wird durch die situativ gesteuerte Complex-Bildung eine Szenenrepräsentation generiert, die vom verwendeten Steuerparameter unabhängig ist. Es ist zu erwarten, daß auf gleiche Weise Invarianz auch gegenüber anderen äußeren Bedingungen erzeugt werden kann. Die situativ gesteuerte Complex-Bildung erweist sich so als universell einsetzbares Werkzeug zur konzeptionellen Modellierung neuronaler Invarianzen. Damit liefert sie auch ein effektives Denkmodell für das weitere Verständnis kortikaler Verarbeitung

Modellierung primärer multisensorischer Mechanismen der räumlichen Wahrnehmung

Abstract The presented work concerns visual, aural, and multimodal aspects of spatial perception as well as their relevance to the design of artificial systems. The scientific approach chosen here, has an interdisciplinary character combining the perspectives of neurobiology, psychology, and computer science. As a result, new insights and interpretations of neurological findings are achieved and deficits of known models and applications are named and negotiated. In chapter one, the discussion starts with a review on established models of attention, which largely disregard early neural mechanisms. In the following investigations and experiments, the basic idea can be expressed as a conceptual differentiation between early spatial attention and higher cognitive functions. All neural mechanisms that are modelled within the scope of this work, can be regarded as primary and object-independent sensory processing. In chapter two and three the visual and binaural spatial representations of the brain and the specific concept of the computational topography in the central auditory system are discussed. Given the restriction of early neural processes, the aim of the actual multisensory integration, as it is described in chapter four, is not object classification or tracking but primary spatial attention. Without task- or object-related requirements all specifications of the model are derived from findings about certain multisensory structures of the midbrain. In chapter five emphasis is placed on a novel method of evaluation and parameter optimization based on biologically inspired specifications and real-world experiments. The importance of early perceptional processes to orienting behaviour and the consequences to technical applications are discussed.In der vorliegenden Arbeit werden visuelle, auditive und multimodale Formen der räumlichen Wahrnehmung und deren Relevanz für den Entwurf technischer Systeme erörtert. Der dabei vertretene wissenschaftliche Ansatz hat interdisziplinären Charakter und berücksichtigt im Umfeld der Neuroinformatik und Robotik methodische Aspekte der Neurobiologie, Wahrnehmungspsychologie und Informatik gleichermaßen. Im Ergebnis sind einerseits neue und weitergehende Interpretationen der Befunde über die natürliche Wahrnehmung möglich. Andererseits werden Defizite bestehender Simulationsmodelle und technischer Anwendungen benannt und überwunden. Den Ausgangspunkt der Untersuchungen bildet in Kapitel 1 die Diskussion und kritische Wertung etablierter Aufmerksamkeitsmodelle der Wahrnehmung, in denen frühe multisensorische Hirnfunktionen weitgehend unbeachtet bleiben. Als Grundgedanke der folgenden Untersuchungen wird die These formuliert, dass eine konzeptionelle Trennung zwischen primärer Aufmerksamkeit und höheren kognitiven Leistungen sowohl die Einordnung von sensorischen Merkmalen und neurologischen Mechanismen als auch die Modellierung und Simulation erleichtert. In den Kapiteln 2 und 3 werden zunächst die primären räumlichen Kodierungen der zentralen Hörbahn und des visuellen Systems vorgestellt und die Spezifika von projizierten und berechneten sensorischen Topographien beschrieben. Die anschließende Modellierung von auditorisch-visuellen Integrationsmechanismen in Kapitel 4 dient ausdrücklich nicht der Klassifikation oder dem Tracking von Objekten sondern einer frühen räumlichen Steuerung der Aufmerksamkeit, die im biologischen Vorbild unbewusst und auf subkortikalem Niveau stattfindet. Nach einer Erörterung der wenigen bekannten Modellkonzepte werden zwei eigene multisensorische Simulationssysteme auf Basis künstlicher neuronaler Netze und probabilistischer Methoden entwickelt. Kapitel 5 widmet sich der systematischen experimentellen Untersuchung und Optimierung der Modelle und zeigt, wie unbewusste Wahrnehmungsleistungen und deren Simulation unter Bezugnahme auf qualitative und quantitative Befunde über multisensorische Effekte im Mittelhirn evaluiert werden können. Die Diskussion des Modellverhaltens in realen audio-visuellen Szenarien soll unterstreichen, dass die frühe Steuerung der Aufmerksamkeit noch vor der Objekterkennung einen wichtigen Beitrag zur räumlichen Orientierung leistet

Entwicklung einer heuristischen Verhaltensregelung für die Visuomotorik humanoider Roboter

Das Absolvieren von visuomotorischen Handlungen ist eine typische aber auch hochkomplexe Aufgabe für humanoide Roboter. Obwohl die Rechenleistung von autonomen Robotersystemen rasant steigt, wurde in der Vergangenheit immer wieder die Mächtigkeit von einfachen Prinzipien unter Beweis gestellt. Die vorliegende Arbeit entwickelt problemspezifische Heuristiken, welche teilweise aus der Verhaltenspsychologie inspiriert sind, um vier ausgewählte visuomotorische Aufgaben aus einem etablierten entwicklungsdiagnostischen Test für Kinder zu absolvieren. Ein wesentlicher Anspruch liegt darin, die Entwicklung auf einem realen humanoiden Roboter umzusetzen. Da der eingesetzte Roboter über nur drei Freiheitsgrade je Arm verfügt, war es möglich, die beiden Freiheitsgrade in der Schulter über sensomotorische Schleifen direkt mit je einem visuellen sensorischen Kanal, der horizontalen und vertikalen Objektposition, zu koppeln. Das Ellenbogengelenk wurde bei ausgewählten Prozessen relaxiert, um über Umgebungsbeschränkungen durch die Umwelt geführt zu werden. Diese Verfahren arbeiten ohne Vorwissen wie explizite Modelle des Roboters oder der Umwelt. Während der Bewegungen optimiert der Roboter seine Handlungen selbst, indem er implizite Modelle in Form von Quadriken generiert, auswählt und optimiert; so wird begrenztes Wissen, wie etwa eine fehlende visuelle Abstandsschätzung, kompensiert. Genau wie der Mensch, optimiert der Roboter sein Handeln empirisch aus Fehlern, um seine Fähigkeiten zu verbessern. Die Erfahrungswerte werden in Form von Offsetkarten gespeichert und den jeweils gültigen Quadriken zugeordnet. Vorab wurden Komponenten der Recheneinheit des Roboters neu entwickelt, um eine effiziente und flexible Arbeit mit dem humanoiden Roboter zu ermöglichen. Mit dem Anspruch, die komplexen Verhaltensweisen mit einfachen heuristischen Prinzipien und ohne A-priori-Modelle auf einer realen Roboterplattform umzusetzen, liefert diese Arbeit einen relevanten Beitrag auf dem Forschungsgebiet der Hand-Auge-Koordination bei humanoiden Robotern.Performing visuomotor actions is a common yet highly complex task for humanoid robots. Although computational power in autonomous robotic systems is rapidly increasing, the robustness and efficiency of simple principles remains and has been proven once again. Partly inspired by behavioral psychology, the present work develops task-specific heuristics to perform four selected visuomotor tasks adapted from an established developmental diagnostic test for children. A considerable ambition is to implement the development on a real humanoid robot. Because the two joints in each arm provide three degrees of freedom togehter, the two diemnsions of freedom in shoulder can be directly coupled to one visual sensory channel each, the horizontal and vertical object position, via sensorimotor loops. The elbow joint is relaxed for selected processes to enable the robot's movements to be guided by environmental constraints. This approach has the benefit of working without prior knowledge, i.e. explicit models of the robot or the environment. Later, the robot self-optimizes its actions by generating, selecting and optimizing implicit models in the form of quadrics to compensate for its limited knowledge, such as the lack of visual distance estimation. Analogous to humans, the robot empirically learns from mistakes to improve its skills over time. The empirical knowledge is stored in offset maps assigned to the currently valid quadrics. Parts of the robot's computing unit has been upgraded and further developed beforehand to support efficient and flexible work with the humanoid robotic system. With the ambition to implement complex behaviors in a real humanoid robot platform through simple heuristic principles and without predefined models, this work makes a substantial contribution to the field of hand-eye coordination of humanoid robots

Konzeptionelle Modellierung geometrischer Invarianzen in der visuellen Wahrnehmung von Primaten - Situativ gesteuerte Complex-Bildung als Grundlage invarianter Zellantworten

Unser Sehsinn vermittelt uns eine stabile Wahrnehmung der Umwelt. Objekte darin erkennen wir unabhängig von der Position, die wir ihnen gegenüber einnehmen. Diese invariante Wahrnehmung ist im Rahmen der verfügbaren neuronalen Modelle nur mit Einschränkungen zu erklären. Die Standardmodelle basieren auf einer hierarchischen Anordnung von Nervenzellen, deren Ziel es ist, spezifische neuronale Antworten für komplexe visuelle Reize aus Antworten auf einfache Reizkomponenten zu konstruieren. Ein wesentliches Konzept ist dabei die neuronale Oder-Bildung (Complex-Bildung) durch konvergente Verschaltung. Die Generierung von Invarianz für bestimmte Reizvariationen läuft hierbei der Formierung reizspezifischer Antworten entgegen -- auf Ebene des Signalflusses im Netzwerk, wie auch als Denkmodell. Die klassischen Modelle zur invarianten visuellen Formerkennung weisen daher Schwächen auf, etwa das Binde-Problem oder die Ununterscheidbarkeit von Objekten mit überlappenden Repräsentantenmengen. Die vorliegende Arbeit nähert sich dieser Problematik vom Blickwinkel der konzeptionellen Modellierung. Ein lebendiges Individuum erfährt seine Umwelt aktiv: Äußere physikalisch-körperliche Umstände beeinflussen die Verarbeitung im visuellen System. Ich formuliere hier das Konzept der situativ gesteuerten Complex-Bildung, das auf einer Steuerung der Übertragungseigenschaften einzelner Neuronen durch externe Parameter beruht. Seine Leistungsfähigkeit demonstriere ich in zwei Modellen zur invarianten visuellen Verarbeitung, der neuronalen retinalen Schlupfkorrektur und der entfernungsinvarianten Objektrepräsentation. Die Modelle überwinden entscheidende Probleme der klassischen Modellierung, erfordern jedoch einen erhöhten neuronalen Aufwand. Im Falle des Entfernungsinvarianzmodells führt der Einsatz der situativ gesteuerten Complex-Bildung zur Vorhersage einer neuartigen Zellklasse, den Entfernungs-Complex-Zellen. Neuronen mit teilweise ähnlichen Codierungseigenschaften wurden in jüngster Zeit experimentell nachgewiesen. In beiden Modellen wird durch die situativ gesteuerte Complex-Bildung eine Szenenrepräsentation generiert, die vom verwendeten Steuerparameter unabhängig ist. Es ist zu erwarten, daß auf gleiche Weise Invarianz auch gegenüber anderen äußeren Bedingungen erzeugt werden kann. Die situativ gesteuerte Complex-Bildung erweist sich so als universell einsetzbares Werkzeug zur konzeptionellen Modellierung neuronaler Invarianzen. Damit liefert sie auch ein effektives Denkmodell für das weitere Verständnis kortikaler Verarbeitung

Multisensorische Integration natürlicher Objekte mit dem Schwerpunkt audio-haptischer und audio-visuo-haptischer Integration - eine fMRT-Studie

Die Wahrnehmung unserer Umwelt erfolgt über verschiedene Sinnesmodalitäten, deren Informationen bevorzugt in bestimmten Hirnarealen verarbeitet werden und sich schließlich zu einem kohärenten Bild ergänzen. Wie diese Prozesse ablaufen und durch welche Vorgänge die Wahrnehmungen einen einheitlichen Sinneseindruck formen, sind fundamentale Fragen der kognitiven Neurowissenschaft. Ziel der vorliegenden Studie war es, diese sensorischen Verarbeitungsprozesse genauer zu untersuchen und bisherige Ergebnisse zu bestätigen sowie neue Erkenntnisse bezüglich audio-haptischer und audio-visuo-haptischer Integration zu gewinnen. Weiterhin sollten angemessene Kriterien für die Auswertung der Daten untersucht werden mit dem Schwerpunkt sinnvoller Kontrollbedingungen. Sechzehn Probanden wurden hierzu mittels fMRT während uni-, bi- und trimodaler Stimulation untersucht. Die Stimulation bestand aus der Darbietung von schwarz-weißen Tierbildern, Tierstimmen und Tierfiguren, die einzeln oder in unterschiedlichen Kombinationen präsentiert wurden. Weiterhin gab es eine motorische Kontrollbedingung ohne sensorische Stimulation. Die unisensorischen Ergebnisse fanden sich in den modalitätsspezifischen Kortexarealen und bestätigten zum großen Teil bisherige Erkenntnisse und die Existenz der Was- und Wo-Pfade. Bimodale audio-visuelle Stimulation führte zu Aktivierungen im Temporallappen um den STS/STG, welcher bei audio-visueller Integration von großer Bedeutung ist. Aktivierungen im Gyrus cinguli, Gyrus fusiformis und Precuneus spielen anscheinend eine Rolle bei der Präsentation von familiären Stimuli und kongruenten Darbietungskombinationen. Auf Ebene früher visueller und auditorischer Leitungsbahnen zeigte sich ebenfalls audio-visuelle Interaktion. Visuo-haptische Integration scheint sich nach den vorliegenden Daten im LOtv, IPS und ventralen Zerebellum abzuspielen. LOtv und IPS sind vermutlich insbesondere für die Verarbeitung von geometrischen Formen von Bedeutung. Im ventralen Zerebellum kommt es durch kortiko-zerebelläre Verschaltungen zur Beteiligung bei visuo-haptischer Informationsverarbeitung. Die Aktivationsmuster bei audio-haptischer Stimulation deuteten auf Verarbeitung bilateral im temporo-parietalen Bereich hin in Temporallappen, Parietallappen und der Insula. Die Aktivierungen kommen vermutlich durch Feedforward-Projektionen und Konnektivität zwischen auditorischem und somatosensorischem Kortex zustande, in der Insula durch Konvergenz der auditorischen und somatosensorischen Was-Informationen. Trimodale Stimulation zeigte bei Anwendung des Max-Kriteriums, bei welchem die audio-visuo-haptische Aktivität stärker als die einzelnen unisensorischen Signalantworten ausfallen sollte, ein Areal im linken temporo-parietalen Bereich. Bei weniger strenger Auswertung wurde eine weitere Region im rechten Zerebellum nachgewiesen. Beide konnten der Erweiterung des Max-Kriteriums zum Vergleich zwischen tri- und bisensorischer Aktivität nicht standhalten. Beim Affen existiert eine superior temporale polysensorische Region, welche auf visuelle, auditorische und haptische Reize reagiert. Ob ein integratives trisensorisches Areal beim Menschen existiert, sollte in weiteren Studien untersucht werden. Vielleicht liegt eine ausgeprägte interindividuelle Variabilität der Lokalisation des Konvergenzpunktes vor. Eine andere Möglichkeit ist, dass die Verarbeitung im Gehirn vermehrt bisensorisch gegliedert verläuft. Um dies in zukünftigen Studien besser zu untersuchen, könnte es von Vorteil sein simple sensorische Stimuli zu verwenden. Eine Reizdegradierung hätte verminderte Signalamplituden zur Folge, was multisensorische Interaktionen mit nachfolgendem Signalanstieg besser beurteilen ließe. Darüber hinaus könnte in den Studien fMRT-Adaptation angewendet werden. Über die repetitive Stimulusdarbietung kommt es ebenfalls zu verminderter BOLD-Signalantwort. Die vorliegende Studie hat weiterhin die Notwendigkeit der Einführung von Kontrollbedingungen demonstriert. Neben unisensorischen sollten bisensorische Kontrollbedingungen zur Beurteilung trisensorischer Aktivität herangezogen werden. Eine Kontrollbedingung zur Beurteilung des Ruhezustandes ohne sensorischen Reiz sollte ebenfalls vorhanden sein. Prinzipiell scheint das Max-Kriterium zur Detektion multisensorischer Integration angemessen zu sein.The perception of our environment relies on information from the different sensory modalities which are processed in specialized brain regions and then integrated to form a coherent percept. How these processes take place and which operations lead to a coherent object perception are fundamental questions in the cognitive neurosciences. The aim of this study was to investigate the neural correlates of multisensory integration. We expected to confirm previous findings as well as to gain new insights into audio-haptic and audio-visuo-haptic integration. Furthermore it examined appropriate criteria for the evaluation of multisensory effects and focused on the role of an appropriate control condition. Sixteen subjects were scanned with fMRI during uni-, bi- and trimodal stimulation. The stimulation consisted of the presentation of black-and-white images of animals, animal voices and animal figures either in isolation or in different bi- or trimodal combinations. Furthermore there was a motor control condition without sensory input. The unisensory activations were located in the modality-specific cortices and mostly confirmed previous findings as well as the existence of the 'what' and 'where' pathways. Bimodal audio-visual stimulation elicited activations in the temporal lobe around the area of STS/STG which is highly relevant to the integration of audio-visual information. Activations in cingulate gyrus, fusiform gyrus and precuneus seem to occur when presenting familiar stimuli and congruent combinations. There were also audio-visual interactions in early visual and auditory conduction pathways. Visuo-haptic integration seems to take place in LOtv, IPS and the ventral cerebellum according to the present data. LOtv and IPS are probably involved in processing geometrical forms. The ventral cerebellum is activated through cortico-cerebellar circuits during visuo-haptic information processing. Audio-haptic stimulation revealed a bilateral temporo-parietal region located in-between the respective secondary and somatosensory cortices as well as the insula. Activations are probably attributable to feedforward projections and connectivity between auditory and somatosensory cortex. Auditory and somatosensory object information probably converges in the insula. Trimodal stimulation revealed activation in the left temporo-parietal region when applying the max-criterion which reveals areas responding more strongly to audio-visuo-haptic activation compared to each of the unisensory signals. Another area was identified in the right cerebellum when applying more liberal criteria. Both regions did not fulfill the extension of the max criterion to a comparison of the trisensory versus bisensory activations. Further studies are required to test whether a trisensory integration region, which has been found in simians, also exists in humans. Maybe there is a distinct interindividual variability in the localization of such a convergence site. Another possibility might be that cortical processing is based mainly on bisensory integration. To explore this in future studies it might be helpful to use more low-level stimulus material. A reduction of sensory input could lead to smaller signal amplitudes which would facilitate the interpretation of multisensory interactions. In addition the application of fMRI adaptation could be useful. Repeated stimulus presentation results in reductions of BOLD signals as well. The present study has demonstrated the need for appropriate control conditions. Trisensory activity should be compared to unisensory as well as bisensory control tasks to assess the result pattern. Stimulation conditions should be contrasted with control conditions without sensory input. It seems as if the max-criterion is suitable to investigate multisensory integration