Modellierung primärer multisensorischer Mechanismen der räumlichen Wahrnehmung

Abstract The presented work concerns visual, aural, and multimodal aspects of spatial perception as well as their relevance to the design of artificial systems. The scientific approach chosen here, has an interdisciplinary character combining the perspectives of neurobiology, psychology, and computer science. As a result, new insights and interpretations of neurological findings are achieved and deficits of known models and applications are named and negotiated. In chapter one, the discussion starts with a review on established models of attention, which largely disregard early neural mechanisms. In the following investigations and experiments, the basic idea can be expressed as a conceptual differentiation between early spatial attention and higher cognitive functions. All neural mechanisms that are modelled within the scope of this work, can be regarded as primary and object-independent sensory processing. In chapter two and three the visual and binaural spatial representations of the brain and the specific concept of the computational topography in the central auditory system are discussed. Given the restriction of early neural processes, the aim of the actual multisensory integration, as it is described in chapter four, is not object classification or tracking but primary spatial attention. Without task- or object-related requirements all specifications of the model are derived from findings about certain multisensory structures of the midbrain. In chapter five emphasis is placed on a novel method of evaluation and parameter optimization based on biologically inspired specifications and real-world experiments. The importance of early perceptional processes to orienting behaviour and the consequences to technical applications are discussed.In der vorliegenden Arbeit werden visuelle, auditive und multimodale Formen der räumlichen Wahrnehmung und deren Relevanz für den Entwurf technischer Systeme erörtert. Der dabei vertretene wissenschaftliche Ansatz hat interdisziplinären Charakter und berücksichtigt im Umfeld der Neuroinformatik und Robotik methodische Aspekte der Neurobiologie, Wahrnehmungspsychologie und Informatik gleichermaßen. Im Ergebnis sind einerseits neue und weitergehende Interpretationen der Befunde über die natürliche Wahrnehmung möglich. Andererseits werden Defizite bestehender Simulationsmodelle und technischer Anwendungen benannt und überwunden. Den Ausgangspunkt der Untersuchungen bildet in Kapitel 1 die Diskussion und kritische Wertung etablierter Aufmerksamkeitsmodelle der Wahrnehmung, in denen frühe multisensorische Hirnfunktionen weitgehend unbeachtet bleiben. Als Grundgedanke der folgenden Untersuchungen wird die These formuliert, dass eine konzeptionelle Trennung zwischen primärer Aufmerksamkeit und höheren kognitiven Leistungen sowohl die Einordnung von sensorischen Merkmalen und neurologischen Mechanismen als auch die Modellierung und Simulation erleichtert. In den Kapiteln 2 und 3 werden zunächst die primären räumlichen Kodierungen der zentralen Hörbahn und des visuellen Systems vorgestellt und die Spezifika von projizierten und berechneten sensorischen Topographien beschrieben. Die anschließende Modellierung von auditorisch-visuellen Integrationsmechanismen in Kapitel 4 dient ausdrücklich nicht der Klassifikation oder dem Tracking von Objekten sondern einer frühen räumlichen Steuerung der Aufmerksamkeit, die im biologischen Vorbild unbewusst und auf subkortikalem Niveau stattfindet. Nach einer Erörterung der wenigen bekannten Modellkonzepte werden zwei eigene multisensorische Simulationssysteme auf Basis künstlicher neuronaler Netze und probabilistischer Methoden entwickelt. Kapitel 5 widmet sich der systematischen experimentellen Untersuchung und Optimierung der Modelle und zeigt, wie unbewusste Wahrnehmungsleistungen und deren Simulation unter Bezugnahme auf qualitative und quantitative Befunde über multisensorische Effekte im Mittelhirn evaluiert werden können. Die Diskussion des Modellverhaltens in realen audio-visuellen Szenarien soll unterstreichen, dass die frühe Steuerung der Aufmerksamkeit noch vor der Objekterkennung einen wichtigen Beitrag zur räumlichen Orientierung leistet

Stereoskopische Korrespondenzbestimmung mit impliziter Detektion von Okklusionen

Der Einsatz binokularer Sehsysteme eröffnet sowohl in der Natur als auch in der Technik die Möglichkeit zum räumlichen Sehen.Das Grundprinzip bildet hierbei eine passive Triangulation, deren Ausgangspunkte die korrespondierenden Positionen darstellen, auf die ein Raumpunkt in die Stereobilder projiziert wird. Das zentrale Problem besteht bei dieser Technik darin, die korrespondierenden Bildpunkte eindeutig einander zuzuordnen. Dieses sogenannte Korrespondenzproblem ist einerseits aufgrund mehrerer ähnlicher Strukturen in der betrachteten Szene oft stark mehrdeutig und besitzt andererseits nicht immer eine Lösung, da Bereiche in der Szeneauftreten können, die nur aus einer der beiden Perspektiven zusehen sind. Weiterhin wird eine eindeutige Zuordnung korrespondierender Bildbereiche durch interokuläre Differenzen wie perspektivische Verzerrungen, Beleuchtungsunterschiede und Rauschprozesse zusätzlich erschwert. In der vorliegenden Arbeit werden die einzelnen Komponenten eines Gesamtsystems vorgestellt, die zur stereoskopischen Rekonstruktion der räumlichen Struktur einer Szene erforderlich sind. Den Schwerpunkt der Arbeit bildet ein Selbstorganisationsprozeß, der in Verbindung mit weiteren Verfahrensschritten eine eindeutige Zuordnung korrespondierender Bildpunkte erlaubt. Darüber hinaus werden hierbei einseitig sichtbare Bildbereiche, die eine wesentliche Fehlerursache in der Stereoskopie darstellen, detektiert und vom Zuordnungsprozeß ausgeschlossen.Stereo vision is a passive method used to recover the depth information of a scene, which is lost during the projection of a point in the 3D-scene onto the 2D image plane. In stereo vision, in which two or more views of a scene are used, the depth information can be reconstructed from the different positions in the images to which a physical point in the 3D-scene is projected. The displacement of the corresponding positions in the image planes is called disparity. The central problem in stereo vision, known as the correspondence problem, is to find corresponding points or features in the images. This task can be an ambiguous one due to several similar structures or periodic elements in the images. Furthermore, there may be occluded regions in the scene, which can be seen only by one camera. In these regions there is no solution for the correspondence problem. Interocular differences such as perspective distortions, differences in illumination and camera noise make it even more difficult to solve the correspondence problem. The main focus of this work is a new stereo matching algorithm, in which the matching of occluded areas is suppressed by a self-organizing process. In the first step the images are filtered by a set of oriented Gabor filters. A complex valued correlation-based similarity measurement, which is applied to the responses of the Gabor filters, is used in the second step to initialize a self-organizing process. In this self-organizing network, which is described by coupled, non-linear evolution equations, the continuity and the uniqueness constraints are established. Occlusions are detected implicitly without a computationally intensive bidirectional matching strategy.von Dipl.-Ing. Ralph Trapp aus Winterberg. Referent: Prof. Dr. rer. nat Georg Hartmann, Korreferent: Prof. Dr.-Ing. Ulrich RückertTag der Verteidigung: 15.09.1998Universität Paderborn, Univ., Dissertation, 199