Replay as wavefronts and theta sequences as bump oscillations in a grid cell attractor network.

Grid cells fire in sequences that represent rapid trajectories in space. During locomotion, theta sequences encode sweeps in position starting slightly behind the animal and ending ahead of it. During quiescence and slow wave sleep, bouts of synchronized activity represent long trajectories called replays, which are well-established in place cells and have been recently reported in grid cells. Theta sequences and replay are hypothesized to facilitate many cognitive functions, but their underlying mechanisms are unknown. One mechanism proposed for grid cell formation is the continuous attractor network. We demonstrate that this established architecture naturally produces theta sequences and replay as distinct consequences of modulating external input. Driving inhibitory interneurons at the theta frequency causes attractor bumps to oscillate in speed and size, which gives rise to theta sequences and phase precession, respectively. Decreasing input drive to all neurons produces traveling wavefronts of activity that are decoded as replays

Object Recognition

Vision-based object recognition tasks are very familiar in our everyday activities, such as driving our car in the correct lane. We do these tasks effortlessly in real-time. In the last decades, with the advancement of computer technology, researchers and application developers are trying to mimic the human's capability of visually recognising. Such capability will allow machine to free human from boring or dangerous jobs

A Neuromorphic VLSI Navigation System Inspired By Rodent Neurobiology

Path planning is an essential capability for autonomous mobile robot navigation. Taking inspiration from long-range navigation in animals, a neuromorphic system was designed to implement waypoint path planning on place cells that represent the navigation space as a cognitive graph of places by embedding the place-to-place connectivity in their synaptic interconnections. Hippocampal place cells, along with other spatially modulated neurons of the mammalian brain, like grid cells, head-direction cells and boundary cells are believed to support navigation. Path planning using spike latency of place cells was demonstrated using custom-designed, multi-neuron chips on examples and applied to a robotic arm control problem to show the extension of this system to other application domains. Based on the observation that varying the synaptic current integration in place cells affects the path selection by the planning system, two models of current integration were compared. By considering the overall path execution cost increase in response to an obstruction in the planned path execution, reduced spike latency response of a place cell to simultaneously converging spikes from multiple paths in the network was found to bias the path selection to paths offering more alternatives at various choice points. Application of the planning system to a navigation scenario was completed in software by using a place-cell based map-creation method to generate a map prior to planning and co-opting a grid-cell based path execution system that interacts with the path planning system to enable a simulated agent to do goal-directed navigation

Theoretical Computational Models for the Cognitive Map

In den letzten Jahrzehnten hat die Forschung nach der Frage, wie Raum im Gehirn repräsentiert wird, ein weit verzweigtes Netzwerk von spezialisierten Zellen aufgedeckt. Es ist nun klar, dass Räumlichkeit auf irgendeine Art repräsentiert sein muss, aber die genaue Umsetzung wird nach wie vor debattiert. Folgerichtig liegt das übergeordnete Ziel meiner Dissertation darin, das Verständnis von der neuronalen Repräsentation, der Kognitiven Karte, mithilfe von theoretischer Computermodellierung (im Gegensatz zu datengetriebener Modellierung) zu erweitern. Die Arbeit setzt sich aus vier Publikationen zusammen, die das Problem aus verschiedenen, aber miteinander kompatiblen Richtungen angehen: In den ersten beiden Publikationen geht es um zielgerichtete Navigation durch topologische Graphen, in denen die erkundete Umgebung als Netzwerk aus loka len Positionen und sie verbindenden Handlungen dargestellt wird. Im Gegensatz zu Koordinaten-basierten metrischen Karten sind Graphenmodelle weniger gebunden und haben verschiedene Vorteile wie z.B. Algorithmen, die garantiert optimale Pfade finden. Im ersten Modell sind Orte durch Populationen von einfachen Bildfeatures im Graphen gespeichert. Für die Navigation werden dann mehrere Pfade gleichzeitig zwischen Start- und Zielpopulationen berechnet und die schlussendliche Route folgt dem Durchschnitt der Pfade. Diese Methode macht die Wegsuche robuster und umgeht das Problem, Orte entlang der Route wiedererkennen zu müssen. In der zweiten Publikation wird ein hierarchisches Graphenmodell vorgeschlagen, bei dem die Umgebung in mehrere Regionen unterteilt ist. Das Regionenwissen ist ebenfalls als übergeordnete Knoten im Graphen gespeichert. Diese Struktur führt bei der Wegsuche dazu, dass die berechneten Routen verzerrt sind, was mit dem Verhalten von menschlichen Probanden in Navigationsstudien übereinstimmt. In der dritten Publikation geht es auch um Regionen, der Fokus liegt aber auf der konkreten biologischen Umsetzung in Form von Place Cell und Grid Cell-Aktivität. Im Gegensatz zu einzigartigen Ortsknoten im Graphen zeigen Place Cells multiple Feuerfelder in verschiedenen Regionen oder Kontexten. Dieses Phänomen wird als Remapping bezeichnet und könnte der Mechanismus hinter Regionenwissen sein. Wir modellieren das Phänomen mithilfe eines Attraktor-Netzwerks aus Place- und Grid Cells: Immer, wenn sich der virtuelle Agent des Modells von einer Region in eine andere bewegt, verändert sich der Kontext und die Zellaktivität springt zu einem anderen Attraktor, was zu einem Remapping führt. Das Modell kann die Zellaktivität von Tieren in mehreren Experimentalumgebungen replizieren und ist daher eine plausible Erklärung für die Vorgänge im biologischen Gehirn. In der vierten Publikation geht es um den Vergleich von Graphen- und Kartenmodellen als fundamentale Struktur der kognitiven Karte. Im Speziellen geht es bei dieser Debatte um die Unterscheidung zwischen nicht-metrischen Graphen und metrischen euklidischen Karten; euklidische Karten sind zwar mächtiger als die Alternative, aber menschliche Probanden neigen dazu, Fehler zu machen, die stark von einer metrischen Vorhersage abweichen. Deshalb wird häufig argumentiert, dass nicht-metrische Modelle das Verhalten besser erklären können. Wir schlagen eine alternative metrische Erklärung für die nichtmetrischen Graphen vor, indem wir die Graphen im metrischen Raum einbetten. Die Methode wird in einer bestimmten nicht-euklidischen Beispielumgebung gezeigt, in der sie Versuchspersonenverhalten genauso gut vorhersagen kann, wie ein nichtmetrischer Graph. Wir argumentieren daher, dass unser Modell ein besseres Modell für Raumrepräsentation sein könnte. Zusätzlich zu den Einzelergebnissen diskutiere ich außerdem die Gemeinsamkeiten der Modelle und wie sie in den derzeitigen Stand der Forschung zur kognitiven Karte passen. Darüber hinaus erörtere ich, wie die Ergebnisse zu komplexeren Modellen vereint werden könnten, um unser Bild der Raumkognition zu erweitern.Decades of research into the neural representation of physical space have uncovered a complex and distributed network of specialized cells in the mammalian brain. It is now clear that space is represented in some form, but the realization remains debated. Accordingly, the overall aim of my thesis is to further the understanding of the neural representation of space, the cognitive map, with the aid of theoretical computational modeling (as opposed to data-driven modeling). It consists of four separate publications which approach the problem from different but complementing perspectives: The first two publications consider goal-directed navigation with topological graph models, which encode the environment as a state-action graph of local positions connected by simple movement instructions. Graph models are often less constrained than coordinate-based metric maps and offer a variety of computational advantages; for example, graph search algorithms may be used to derive optimal routes between arbitrary positions. In the first model, places are encoded by population codes of low-level image features. For goal-directed navigation, a set of simultaneous paths is obtained between the start and goal populations and the final trajectory follows the population average. This makes route following more robust and circumvents problems related to place recognition. The second model proposes a hierarchical place graph which subdivides the known environment into well-defined regions. The region knowledge is included in the graph as superordinate nodes. During wayfinding, these nodes distort the resulting paths in a way that matches region-related biases observed in human navigation experiments. The third publication also considers region coding but focuses on more concrete biological implementation in the form of place cell and grid cell activity. As opposed to unique nodes in a graph, place cells may express multiple firing fields in different contexts or regions. This phenomenon is known as “remapping” and may be fundamental to the encoding region knowledge. The dynamics are modeled in a joint attractor neural network of place and grid cells: Whenever a virtual agent moves into another region, the context changes and the model remaps the cell activity to an associated pattern from memory. The model is able to replicate experimental findings in a series of mazes and may therefore be an explanation for the observed activity in the biological brain. The fourth publication again returns to graph models, joining the debate on the fundamental structure of the cognitive map: The internal representation of space has often been argued to either take the form of a non-metric topological graph or a Euclidean metric map in which places are assigned specific coordinates. While the Euclidean map is more powerful, human navigation in experiments often strongly deviates from a (correct) metric prediction, which has been taken as an argument for the non-metric alternative. However, it may also be possible to find an alternative metric explanation to the non-metric graphs by embedding the latter into metric space. The method is shown with a specific non-Euclidean example environment where it can explain subject behavior equally well to the purely non-metric graph, and it is argued that it is therefore a better model for spatial knowledge. Beyond the individual results, the thesis discusses the commonalities of the models and how they compare to current research on the cognitive map. I also consider how the findings may be combined into more complex models to further the understanding of the cognitive neuroscience of space

TOWARDS EFFECTIVE DISPLAYS FOR VIRTUAL AND AUGMENTED REALITY

Virtual and augmented reality (VR and AR) are becoming increasingly accessible and useful nowadays. This dissertation focuses on several aspects of designing effective displays for VR and AR. Compared to conventional desktop displays, VR and AR displays can better engage the human peripheral vision. This provides an opportunity for more information to be perceived. To fully leverage the human visual system, we need to take into account how the human visual system perceives things differently in the periphery than in the fovea. By investigating the relationship of the perception time and eccentricity, we deduce a scaling function which facilitates content in the far periphery to be perceived as efficiently as in the central vision. AR overlays additional information on the real environment. This is useful in a number of fields, including surgery, where time-critical information is key. We present our medical AR system that visualizes the occluded catheter in the external ventricular drainage (EVD) procedure. We develop an accurate and efficient catheter tracking method that requires minimal changes to the existing medical equipment. The AR display projects a virtual image of the catheter overlaid on the occluded real catheter to depict its real-time position. Our system can make the risky EVD procedure much safer. Existing VR and AR displays support a limited number of focal distances, leading to vergence-accommodation conflict. Holographic displays can address this issue. In this dissertation, we explore the design and development of nanophotonic phased array (NPA) as a special class of holographic displays. NPAs have the advantage of being compact and support very high refresh rates. However, the use of the thermo-optic effect for phase modulation renders them susceptible to the thermal proximity effect. We study how the proximity effect impacts the images formed on NPAs. We then propose several novel algorithms to compensate for the thermal proximity effect on NPAs and compare their effectiveness and computational efficiency. Computer-generated holography (CGH) has traditionally focused on 2D images and 3D images in the form of meshes and point clouds. However, volumetric data can also benefit from CGH. One of the challenges in the use of volumetric data sources in CGH is the computational complexity needed to calculate the holograms of volumetric data. We propose a new method that achieves a significant speedup compared to existing holographic volume rendering methods

Extended field-of-view ultrathin microendoscopes with built-in aberration correction for high-resolution functional imaging with minimal invasiveness

TB

Event-Driven Technologies for Reactive Motion Planning: Neuromorphic Stereo Vision and Robot Path Planning and Their Application on Parallel Hardware

Die Robotik wird immer mehr zu einem Schlüsselfaktor des technischen Aufschwungs. Trotz beeindruckender Fortschritte in den letzten Jahrzehnten, übertreffen Gehirne von Säugetieren in den Bereichen Sehen und Bewegungsplanung noch immer selbst die leistungsfähigsten Maschinen. Industrieroboter sind sehr schnell und präzise, aber ihre Planungsalgorithmen sind in hochdynamischen Umgebungen, wie sie für die Mensch-Roboter-Kollaboration (MRK) erforderlich sind, nicht leistungsfähig genug. Ohne schnelle und adaptive Bewegungsplanung kann sichere MRK nicht garantiert werden. Neuromorphe Technologien, einschließlich visueller Sensoren und Hardware-Chips, arbeiten asynchron und verarbeiten so raum-zeitliche Informationen sehr effizient. Insbesondere ereignisbasierte visuelle Sensoren sind konventionellen, synchronen Kameras bei vielen Anwendungen bereits überlegen. Daher haben ereignisbasierte Methoden ein großes Potenzial, schnellere und energieeffizientere Algorithmen zur Bewegungssteuerung in der MRK zu ermöglichen. In dieser Arbeit wird ein Ansatz zur flexiblen reaktiven Bewegungssteuerung eines Roboterarms vorgestellt. Dabei wird die Exterozeption durch ereignisbasiertes Stereosehen erreicht und die Pfadplanung ist in einer neuronalen Repräsentation des Konfigurationsraums implementiert. Die Multiview-3D-Rekonstruktion wird durch eine qualitative Analyse in Simulation evaluiert und auf ein Stereo-System ereignisbasierter Kameras übertragen. Zur Evaluierung der reaktiven kollisionsfreien Online-Planung wird ein Demonstrator mit einem industriellen Roboter genutzt. Dieser wird auch für eine vergleichende Studie zu sample-basierten Planern verwendet. Ergänzt wird dies durch einen Benchmark von parallelen Hardwarelösungen wozu als Testszenario Bahnplanung in der Robotik gewählt wurde. Die Ergebnisse zeigen, dass die vorgeschlagenen neuronalen Lösungen einen effektiven Weg zur Realisierung einer Robotersteuerung für dynamische Szenarien darstellen. Diese Arbeit schafft eine Grundlage für neuronale Lösungen bei adaptiven Fertigungsprozesse, auch in Zusammenarbeit mit dem Menschen, ohne Einbußen bei Geschwindigkeit und Sicherheit. Damit ebnet sie den Weg für die Integration von dem Gehirn nachempfundener Hardware und Algorithmen in die Industrierobotik und MRK