Linking brain structure, activity and cognitive function through computation

Understanding the human brain is a “Grand Challenge” for 21st century research. Computational approaches enable large and complex datasets to be addressed efficiently, supported by artificial neural networks, modeling and simulation. Dynamic generative multiscale models, which enable the investigation of causation across scales and are guided by principles and theories of brain function, are instrumental for linking brain structure and function. An example of a resource enabling such an integrated approach to neuroscientific discovery is the BigBrain, which spatially anchors tissue models and data across different scales and ensures that multiscale models are supported by the data, making the bridge to both basic neuroscience and medicine. Research at the intersection of neuroscience, computing and robotics has the potential to advance neuro-inspired technologies by taking advantage of a growing body of insights into perception, plasticity and learning. To render data, tools and methods, theories, basic principles and concepts interoperable, the Human Brain Project (HBP) has launched EBRAINS, a digital neuroscience research infrastructure, which brings together a transdisciplinary community of researchers united by the quest to understand the brain, with fascinating insights and perspectives for societal benefits

Real-time 3D hand reconstruction in challenging scenes from a single color or depth camera

Hands are one of the main enabling factors for performing complex tasks and humans naturally use them for interactions with their environment. Reconstruction and digitization of 3D hand motion opens up many possibilities for important applications. Hands gestures can be directly used for human–computer interaction, which is especially relevant for controlling augmented or virtual reality (AR/VR) devices where immersion is of utmost importance. In addition, 3D hand motion capture is a precondition for automatic sign-language translation, activity recognition, or teaching robots. Different approaches for 3D hand motion capture have been actively researched in the past. While being accurate, gloves and markers are intrusive and uncomfortable to wear. Hence, markerless hand reconstruction based on cameras is desirable. Multi-camera setups provide rich input, however, they are hard to calibrate and lack the flexibility for mobile use cases. Thus, the majority of more recent methods uses a single color or depth camera which, however, makes the problem harder due to more ambiguities in the input. For interaction purposes, users need continuous control and immediate feedback. This means the algorithms have to run in real time and be robust in uncontrolled scenes. These requirements, achieving 3D hand reconstruction in real time from a single camera in general scenes, make the problem significantly more challenging. While recent research has shown promising results, current state-of-the-art methods still have strong limitations. Most approaches only track the motion of a single hand in isolation and do not take background-clutter or interactions with arbitrary objects or the other hand into account. The few methods that can handle more general and natural scenarios run far from real time or use complex multi-camera setups. Such requirements make existing methods unusable for many aforementioned applications. This thesis pushes the state of the art for real-time 3D hand tracking and reconstruction in general scenes from a single RGB or depth camera. The presented approaches explore novel combinations of generative hand models, which have been used successfully in the computer vision and graphics community for decades, and powerful cutting-edge machine learning techniques, which have recently emerged with the advent of deep learning. In particular, this thesis proposes a novel method for hand tracking in the presence of strong occlusions and clutter, the first method for full global 3D hand tracking from in-the-wild RGB video, and a method for simultaneous pose and dense shape reconstruction of two interacting hands that, for the first time, combines a set of desirable properties previously unseen in the literature.Hände sind einer der Hauptfaktoren für die Ausführung komplexer Aufgaben, und Menschen verwenden sie auf natürliche Weise für Interaktionen mit ihrer Umgebung. Die Rekonstruktion und Digitalisierung der 3D-Handbewegung eröffnet viele Möglichkeiten für wichtige Anwendungen. Handgesten können direkt als Eingabe für die Mensch-Computer-Interaktion verwendet werden. Dies ist insbesondere für Geräte der erweiterten oder virtuellen Realität (AR / VR) relevant, bei denen die Immersion von größter Bedeutung ist. Darüber hinaus ist die Rekonstruktion der 3D Handbewegung eine Voraussetzung zur automatischen Übersetzung von Gebärdensprache, zur Aktivitätserkennung oder zum Unterrichten von Robotern. In der Vergangenheit wurden verschiedene Ansätze zur 3D-Handbewegungsrekonstruktion aktiv erforscht. Handschuhe und physische Markierungen sind zwar präzise, aber aufdringlich und unangenehm zu tragen. Daher ist eine markierungslose Handrekonstruktion auf der Basis von Kameras wünschenswert. Multi-Kamera-Setups bieten umfangreiche Eingabedaten, sind jedoch schwer zu kalibrieren und haben keine Flexibilität für mobile Anwendungsfälle. Daher verwenden die meisten neueren Methoden eine einzelne Farb- oder Tiefenkamera, was die Aufgabe jedoch schwerer macht, da mehr Ambiguitäten in den Eingabedaten vorhanden sind. Für Interaktionszwecke benötigen Benutzer kontinuierliche Kontrolle und sofortiges Feedback. Dies bedeutet, dass die Algorithmen in Echtzeit ausgeführt werden müssen und robust in unkontrollierten Szenen sein müssen. Diese Anforderungen, 3D-Handrekonstruktion in Echtzeit mit einer einzigen Kamera in allgemeinen Szenen, machen das Problem erheblich schwieriger. Während neuere Forschungsarbeiten vielversprechende Ergebnisse gezeigt haben, weisen aktuelle Methoden immer noch Einschränkungen auf. Die meisten Ansätze verfolgen die Bewegung einer einzelnen Hand nur isoliert und berücksichtigen keine alltäglichen Umgebungen oder Interaktionen mit beliebigen Objekten oder der anderen Hand. Die wenigen Methoden, die allgemeinere und natürlichere Szenarien verarbeiten können, laufen nicht in Echtzeit oder verwenden komplexe Multi-Kamera-Setups. Solche Anforderungen machen bestehende Verfahren für viele der oben genannten Anwendungen unbrauchbar. Diese Dissertation erweitert den Stand der Technik für die Echtzeit-3D-Handverfolgung und -Rekonstruktion in allgemeinen Szenen mit einer einzelnen RGB- oder Tiefenkamera. Die vorgestellten Algorithmen erforschen neue Kombinationen aus generativen Handmodellen, die seit Jahrzehnten erfolgreich in den Bereichen Computer Vision und Grafik eingesetzt werden, und leistungsfähigen innovativen Techniken des maschinellen Lernens, die vor kurzem mit dem Aufkommen neuronaler Netzwerke entstanden sind. In dieser Arbeit werden insbesondere vorgeschlagen: eine neuartige Methode zur Handbewegungsrekonstruktion bei starken Verdeckungen und in unkontrollierten Szenen, die erste Methode zur Rekonstruktion der globalen 3D Handbewegung aus RGB-Videos in freier Wildbahn und die erste Methode zur gleichzeitigen Rekonstruktion von Handpose und -form zweier interagierender Hände, die eine Reihe wünschenwerter Eigenschaften komibiniert

{3D} Morphable Face Models -- Past, Present and Future

In this paper, we provide a detailed survey of 3D Morphable Face Models over the 20 years since they were first proposed. The challenges in building and applying these models, namely capture, modeling, image formation, and image analysis, are still active research topics, and we review the state-of-the-art in each of these areas. We also look ahead, identifying unsolved challenges, proposing directions for future research and highlighting the broad range of current and future applications

Applied Visualization in the Neurosciences and the Enhancement of Visualization through Computer Graphics

The complexity and size of measured and simulated data in many fields of science is increasing constantly. The technical evolution allows for capturing smaller features and more complex structures in the data. To make this data accessible by the scientists, efficient and specialized visualization techniques are required. Maximum efficiency and value for the user can only be achieved by adapting visualization to the specific application area and the specific requirements of the scientific field. Part I: In the first part of my work, I address the visualization in the neurosciences. The neuroscience tries to understand the human brain; beginning at its smallest parts, up to its global infrastructure. To achieve this ambitious goal, the neuroscience uses a combination of three-dimensional data from a myriad of sources, like MRI, CT, or functional MRI. To handle this diversity of different data types and sources, the neuroscience need specialized and well evaluated visualization techniques. As a start, I will introduce an extensive software called \"OpenWalnut\". It forms the common base for developing and using visualization techniques with our neuroscientific collaborators. Using OpenWalnut, standard and novel visualization approaches are available to the neuroscientific researchers too. Afterwards, I am introducing a very specialized method to illustrate the causal relation of brain areas, which was, prior to that, only representable via abstract graph models. I will finalize the first part of my work with an evaluation of several standard visualization techniques in the context of simulated electrical fields in the brain. The goal of this evaluation was clarify the advantages and disadvantages of the used visualization techniques to the neuroscientific community. We exemplified these, using clinically relevant scenarios. Part II: Besides the data preprocessing, which plays a tremendous role in visualization, the final graphical representation of the data is essential to understand structure and features in the data. The graphical representation of data can be seen as the interface between the data and the human mind. The second part of my work is focused on the improvement of structural and spatial perception of visualization -- the improvement of the interface. Unfortunately, visual improvements using computer graphics methods of the computer game industry is often seen sceptically. In the second part, I will show that such methods can be applied to existing visualization techniques to improve spatiality and to emphasize structural details in the data. I will use a computer graphics paradigm called \"screen space rendering\". Its advantage, amongst others, is its seamless applicability to nearly every visualization technique. I will start with two methods that improve the perception of mesh-like structures on arbitrary surfaces. Those mesh structures represent second-order tensors and are generated by a method named \"TensorMesh\". Afterwards I show a novel approach to optimally shade line and point data renderings. With this technique it is possible for the first time to emphasize local details and global, spatial relations in dense line and point data.In vielen Bereichen der Wissenschaft nimmt die Größe und Komplexität von gemessenen und simulierten Daten zu. Die technische Entwicklung erlaubt das Erfassen immer kleinerer Strukturen und komplexerer Sachverhalte. Um solche Daten dem Menschen zugänglich zu machen, benötigt man effiziente und spezialisierte Visualisierungswerkzeuge. Nur die Anpassung der Visualisierung auf ein Anwendungsgebiet und dessen Anforderungen erlaubt maximale Effizienz und Nutzen für den Anwender. Teil I: Im ersten Teil meiner Arbeit befasse ich mich mit der Visualisierung im Bereich der Neurowissenschaften. Ihr Ziel ist es, das menschliche Gehirn zu begreifen; von seinen kleinsten Teilen bis hin zu seiner Gesamtstruktur. Um dieses ehrgeizige Ziel zu erreichen nutzt die Neurowissenschaft vor allem kombinierte, dreidimensionale Daten aus vielzähligen Quellen, wie MRT, CT oder funktionalem MRT. Um mit dieser Vielfalt umgehen zu können, benötigt man in der Neurowissenschaft vor allem spezialisierte und evaluierte Visualisierungsmethoden. Zunächst stelle ich ein umfangreiches Softwareprojekt namens \"OpenWalnut\" vor. Es bildet die gemeinsame Basis für die Entwicklung und Nutzung von Visualisierungstechniken mit unseren neurowissenschaftlichen Kollaborationspartnern. Auf dieser Basis sind klassische und neu entwickelte Visualisierungen auch für Neurowissenschaftler zugänglich. Anschließend stelle ich ein spezialisiertes Visualisierungsverfahren vor, welches es ermöglicht, den kausalen Zusammenhang zwischen Gehirnarealen zu illustrieren. Das war vorher nur durch abstrakte Graphenmodelle möglich. Den ersten Teil der Arbeit schließe ich mit einer Evaluation verschiedener Standardmethoden unter dem Blickwinkel simulierter elektrischer Felder im Gehirn ab. Das Ziel dieser Evaluation war es, der neurowissenschaftlichen Gemeinde die Vor- und Nachteile bestimmter Techniken zu verdeutlichen und anhand klinisch relevanter Fälle zu erläutern. Teil II: Neben der eigentlichen Datenvorverarbeitung, welche in der Visualisierung eine enorme Rolle spielt, ist die grafische Darstellung essenziell für das Verständnis der Strukturen und Bestandteile in den Daten. Die grafische Repräsentation von Daten bildet die Schnittstelle zum Gehirn des Menschen. Der zweite Teile meiner Arbeit befasst sich mit der Verbesserung der strukturellen und räumlichen Wahrnehmung in Visualisierungsverfahren -- mit der Verbesserung der Schnittstelle. Leider werden viele visuelle Verbesserungen durch Computergrafikmethoden der Spieleindustrie mit Argwohn beäugt. Im zweiten Teil meiner Arbeit werde ich zeigen, dass solche Methoden in der Visualisierung angewendet werden können um den räumlichen Eindruck zu verbessern und Strukturen in den Daten hervorzuheben. Dazu nutze ich ein in der Computergrafik bekanntes Paradigma: das \"Screen Space Rendering\". Dieses Paradigma hat den Vorteil, dass es auf nahezu jede existierende Visualiserungsmethode als Nachbearbeitunsgschritt angewendet werden kann. Zunächst führe ich zwei Methoden ein, die die Wahrnehmung von gitterartigen Strukturen auf beliebigen Oberflächen verbessern. Diese Gitter repräsentieren die Struktur von Tensoren zweiter Ordnung und wurden durch eine Methode namens \"TensorMesh\" erzeugt. Anschließend zeige ich eine neuartige Technik für die optimale Schattierung von Linien und Punktdaten. Mit dieser Technik ist es erstmals möglich sowohl lokale Details als auch globale räumliche Zusammenhänge in dichten Linien- und Punktdaten zu erfassen

3D Engineered Peripheral Nerve: Towards A New Era of Patient-Specific Nerve Repair Solutions

Reconstruction of peripheral nerve injuries (PNIs) with substance loss remains challenging because of limited treatment solutions and unsatisfactory patient outcomes. Currently, nerve autografting is the first-line management choice for bridging critical-sized nerve defects. The procedure, however, is often complicated by donor site morbidity and paucity of nerve tissue, raising a quest for better alternatives. The application of other treatment surrogates, such as nerve guides remains questionable, and inefficient in irreducible nerve gaps. More importantly, these strategies lack customization for personalized patient therapy, which is a significant drawback of these nerve repair options. This negatively impacts the fascicle-to-fascicle regeneration process, critical to restoring the physiological axonal pathway of the disrupted nerve. Recently, the use of additive manufacturing (AM) technologies has offered major advancements to the bioengineering solutions for PNI therapy. These techniques aim to reinstate the native nerve fascicle pathway using biomimetic approaches, thereby augmenting end-organ innervation. AM-based approaches, such as 3D bioprinting, are capable of biofabricating 3D engineered nerve graft scaffolds in a patient-specific manner with high precision. Moreover, realistic in vitro models of peripheral nerve tissues that represent the physiologically and functionally relevant environment of human organs could also be developed. However, the technology is still nascent and faces major translational hurdles. In this review, we spotlighted the clinical burden of PNIs and most up-to-date treatment to address nerve gaps. Next, a summarized illustration of the nerve ultrastructure that guides research solutions is discussed. This is followed by a contrast of the existing bioengineering strategies used to repair peripheral nerve discontinuities. In addition, we elaborated on the most recent advances in 3D printing (3DP) and biofabrication applications in peripheral nerve modeling and engineering. Finally, the major challenges that limit the evolution of the field along with their possible solutions are also critically analyzed

Simulation of sensory-evoked signal flow in anatomically realistic models of neural networks

In this thesis, a new concept for development and simulation of anatomically and functionally constrained models of signal flow in neural networks is described. This approach consists of the following tools: 1. A standardized anatomical reference frame of the brain region studied and registration methods to integrate anatomical data from different experiments with the highest precision possible. 2. A method for determining morphological neuron types to allow correlation between measurements of the morphology and functional responses of individual neurons. 3. A tool to build an average three-dimensional (3D) statistical model of the neural networks in a brain region based on a representative sparse sample of all neuron types present in the brain region. This model contains 3D morphological models for every neuron in the brain region, as well as the total number and 3D distribution of synaptic contacts between them. 4. A method to activate the network based on measured responses of different neuron types, and to simulate the response of individual neurons representative of different cell types within this network model. The feasibility and validity of this process is demonstrated on the example of rat vibrissal cortex. The 3D model of this primary sensory area in cortex contains ∼ 530,000 neurons of 16 different types and ∼ 6 × 10^9 thalamocortical and intracortical synapses. Activation of this model with functional responses measured after whisker touch and simulation of the responses of different neuron types shows that the simulated model responses match experimental measurements. This allowed investigating how robust sensory-evoked responses after different sensory stimuli are formed in different neuron types using computer simulations, and to make predictions to experimentally test these hypotheses.Diese Dissertation beschreibt einen neuartigen Ansatz zur Entwicklung und Simulation von Modellen des Signalflusses in neuronalen Netzwerken unter anatomisch und funktionell realistischen Randbedingungen. Dieser Ansatz besteht aus den folgenden Methoden: 1. Ein standardisiertes anatomisches Referenzsystem der betrachteten Hirnregion und Registrierungsmethoden die es erlauben anatomische Daten aus unterschiedlichen Experimenten mit höchstmöglicher Genauigkeit zu integrieren. 2. Eine Methode zur Bestimmung morphologischer Typen von Nervenzellen um Messungen von der Morphologie und funktioneller Antworten einzelner Nervenzellen in Bezug zu setzen. 3. Eine Methode um ein mittleres dreidimensionales (3D) statistisches Modell der neuronalen Netzwerke in einer Hirnregion zu bauen, das auf einer repräsentativen Stichprobe aller Nervenzelltypen in dieser Hirnregion beruht. Dieses Modell beinhaltet 3D morphologische Modelle für jede Nervenzelle in der Hirnregion, und die Zahl und 3D Verteilung synaptischer Verknüpfungen zwischen diesen. 4. Eine Methode um dieses Netzwerk aufgrund von gemessenen Antworten unterschiedlicher Nervenzelltypen zu aktivieren, und die Antwort einzelner repräsentativer Nervenzellen bestimmten Typs innerhalb dieses Netzwerkmodells zu simulieren. Die Machbarkeit und Gültigkeit dieses Ansatzes wird am Beispiel des Tasthaarsystems im Kortex der Ratte demonstriert. Das 3D Modell dieses primären sensorischen Kortex enthält ∼ 530000 Nervenzellen von 16 unterschiedlichen Typen und ∼ 6 × 10^9 thalamokortikale und intrakortikale Synapsen. Aktivierung dieses Modells mit gemessen funktionellen Antworten auf passive Berührung eines Schnurrhaares und Simulation der Antworten unterschiedlicher Nervenzelltypen zeigt dass die simulierten Antworten mit experimentellen Messungen übereinstimmen. Dies erlaubt es mit Hilfe von Computersimulationen zu untersuchen wie robuste Antworten auf unterschiedliche Sinnesreize in unterschiedlichen Nervenzelltypen entstehen, und experimentell überprüfbare Vorhersagen zu machen

G-CSC Report 2010

The present report gives a short summary of the research of the Goethe Center for Scientific Computing (G-CSC) of the Goethe University Frankfurt. G-CSC aims at developing and applying methods and tools for modelling and numerical simulation of problems from empirical science and technology. In particular, fast solvers for partial differential equations (i.e. pde) such as robust, parallel, and adaptive multigrid methods and numerical methods for stochastic differential equations are developed. These methods are highly adanvced and allow to solve complex problems.. The G-CSC is organised in departments and interdisciplinary research groups. Departments are localised directly at the G-CSC, while the task of interdisciplinary research groups is to bridge disciplines and to bring scientists form different departments together. Currently, G-CSC consists of the department Simulation and Modelling and the interdisciplinary research group Computational Finance

3D Reconstruction and Standardization of the Rat Vibrissal Cortex for Precise Registration of Single Neuron Morphology

Author Summary For studying the neural basis of perception and behavior, it would be ideal to directly monitor sensory-evoked excitation streams within neural circuits, at sub-cellular and millisecond resolution. To do so, reverse engineering approaches of reconstructing circuit anatomy and synaptic wiring have been suggested. The resulting anatomically realistic models may then allow for computer simulations (in silico experiments) of circuit function. A natural starting point for reconstructing neural circuits is a cortical column, which is thought to be an elementary functional unit of sensory cortices. In the vibrissal area of rodent somatosensory cortex, a cytoarchitectonic equivalent, designated as a ‘barrel column’, has been described. By reconstructing the 3D geometry of almost 1,000 barrel columns, we show that the somatotopic layout of the vibrissal cortex is highly preserved across animals. This allows generating a standard cortex and registering neuron morphologies, obtained from different experiments, to their ‘true’ location. Marking a crucial step towards reverse engineering of cortical circuits, the present study will allow estimating synaptic connectivity within an entire cortical area by structural overlap of registered axons and dendrites