DDD17: End-To-End DAVIS Driving Dataset

Event cameras, such as dynamic vision sensors (DVS), and dynamic and active-pixel vision sensors (DAVIS) can supplement other autonomous driving sensors by providing a concurrent stream of standard active pixel sensor (APS) images and DVS temporal contrast events. The APS stream is a sequence of standard grayscale global-shutter image sensor frames. The DVS events represent brightness changes occurring at a particular moment, with a jitter of about a millisecond under most lighting conditions. They have a dynamic range of >120 dB and effective frame rates >1 kHz at data rates comparable to 30 fps (frames/second) image sensors. To overcome some of the limitations of current image acquisition technology, we investigate in this work the use of the combined DVS and APS streams in end-to-end driving applications. The dataset DDD17 accompanying this paper is the first open dataset of annotated DAVIS driving recordings. DDD17 has over 12 h of a 346x260 pixel DAVIS sensor recording highway and city driving in daytime, evening, night, dry and wet weather conditions, along with vehicle speed, GPS position, driver steering, throttle, and brake captured from the car's on-board diagnostics interface. As an example application, we performed a preliminary end-to-end learning study of using a convolutional neural network that is trained to predict the instantaneous steering angle from DVS and APS visual data.Comment: Presented at the ICML 2017 Workshop on Machine Learning for Autonomous Vehicle

Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding

Learning long-term dependencies in extended temporal sequences requires credit assignment to events far back in the past. The most common method for training recurrent neural networks, back-propagation through time (BPTT), requires credit information to be propagated backwards through every single step of the forward computation, potentially over thousands or millions of time steps. This becomes computationally expensive or even infeasible when used with long sequences. Importantly, biological brains are unlikely to perform such detailed reverse replay over very long sequences of internal states (consider days, months, or years.) However, humans are often reminded of past memories or mental states which are associated with the current mental state. We consider the hypothesis that such memory associations between past and present could be used for credit assignment through arbitrarily long sequences, propagating the credit assigned to the current state to the associated past state. Based on this principle, we study a novel algorithm which only back-propagates through a few of these temporal skip connections, realized by a learned attention mechanism that associates current states with relevant past states. We demonstrate in experiments that our method matches or outperforms regular BPTT and truncated BPTT in tasks involving particularly long-term dependencies, but without requiring the biologically implausible backward replay through the whole history of states. Additionally, we demonstrate that the proposed method transfers to longer sequences significantly better than LSTMs trained with BPTT and LSTMs trained with full self-attention.Comment: To appear as a Spotlight presentation at NIPS 201

Synthesizing cognition in neuromorphic electronic systems

The quest to implement intelligent processing in electronic neuromorphic systems lacks methods for achieving reliable behavioral dynamics on substrates of inherently imprecise and noisy neurons. Here we report a solution to this problem that involves first mapping an unreliable hardware layer of spiking silicon neurons into an abstract computational layer composed of generic reliable subnetworks of model neurons and then composing the target behavioral dynamics as a “soft state machine” running on these reliable subnets. In the first step, the neural networks of the abstract layer are realized on the hardware substrate by mapping the neuron circuit bias voltages to the model parameters. This mapping is obtained by an automatic method in which the electronic circuit biases are calibrated against the model parameters by a series of population activity measurements. The abstract computational layer is formed by configuring neural networks as generic soft winner-take-all subnetworks that provide reliable processing by virtue of their active gain, signal restoration, and multistability. The necessary states and transitions of the desired high-level behavior are then easily embedded in the computational layer by introducing only sparse connections between some neurons of the various subnets. We demonstrate this synthesis method for a neuromorphic sensory agent that performs real-time context-dependent classification of motion patterns observed by a silicon retina

Reinforcement Learning with Random Delays

Action and observation delays commonly occur in many Reinforcement Learning applications, such as remote control scenarios. We study the anatomy of randomly delayed environments, and show that partially resampling trajectory fragments in hindsight allows for off-policy multi-step value estimation. We apply this principle to derive Delay-Correcting Actor-Critic (DCAC), an algorithm based on Soft Actor-Critic with significantly better performance in environments with delays. This is shown theoretically and also demonstrated practically on a delay-augmented version of the MuJoCo continuous control benchmark

Die prognostische Wertigkeit von sST2, Galektin-3 und Prolaktin bei Patienten mit dilatativer Kardiomyopathie

sST2 und Galektin-3 sind zwei an dem kardialen Remodeling beteiligte Proteine und es existieren bereits viele Studien, welche einen prognostischen Nutzen der beiden Proteine im Zusammenhang mit der Herzinsuffizienz (HF) zeigen konnten. Auch Prolaktin wurde bereits als Prädiktor für die Prognose der HF dargestellt, wobei die Datenlage in diesem Bezug gering ist. In dieser Arbeit wurde die Rolle der Proteine sST2, Galektin-3 und Prolaktin bei Patienten mit dilatativer Kardiomyopathie (DCM) als eine nicht-ischämische Ursache der Herzinsuffizienz untersucht. Der Arbeit liegen die Daten von 262 an DCM erkrankten Patienten zugrunde, welche im Rahmen des Teilprojektes 9a des Kompetenznetzes Herzinsuffizienz in dem Zeitraum Dezember 2004 bis Dezember 2008 eingeschlossen wurden. Eingeschlossen wurden Patienten zwischen 18 und 70 Jahren mit einer linksventrikulären Ejektionsfraktion (LVEF) <45% und einem linksventrikulären enddiastolischen Diameter (LVEDD) ≥117% des erwarteten Wertes (Henry-Index-1980) bei Ausschluss von koronarer Herzkrankheit, Klappenvitien und arterielle Hypertonie mit Endorganschäden. Die Patienten wurden in verschiedene ätiologische Gruppen eingeteilt. Eine virale DCM wurde durch den Nachweis viraler DNA oder RNA in der Endomyokardbiopsie definiert. Eine inflammatorische DCM lag vor, wenn im Biopsat Lymphozytenansammlungen oder ≥14 Lymphozyten oder Makrophagen pro mm2 nachgewiesen werden konnten oder wenn die histopathologischen Kriterien der Dallas-Klassifikation zutrafen. Patienten mit Virusnachweis und/oder Nachweis einer Inflammation bildeten die Gruppe inflammatorische und/oder virale DCM (DCMi⋎viral). Patienten mit positiver Familienanamnese für eine DCM wurden unter Verwendung der Mestroni-Kriterien in die Gruppe familiäre DCM (fDCM) eingeteilt. Es wurden klinische 1-Jahres- und 5-Jahres-Follow-Up-Untersuchungen durchgeführt. Die zu untersuchenden primären Endpunkte waren Gesamtmortalität, kardiale Mortalität und der kombinierte Endpunkt Herzversagen, hier definiert durch das Eintreten eines oder mehrerer der Ereignisse kardialer Tod, Herztransplantation, Reanimation, Defibrillation oder adäquate ICD-Auslösung. Mittels Quantikine ELISA Kits von R&D Systems wurden die Serum-Konzentrationen von sST2 und Galektin-3 von allen 262 Patienten sowie die Prolaktin-Konzentrationen von 162 Patienten zum Einschlusszeitpunkt bestimmt. Für alle statistischen Analysen wurde die Software R verwendet. Zur Bestimmung von Korrelationen zwischen sST2, Galektin-3 und Prolaktin und ausgewählten Variablen wurden zweiseitige univariate lineare Regressionsanalysen mit Angabe der Korrelationskoeffizienten und den zugehörigen p-Werten durchgeführt. Weiterhin wurden univariate Überlebenszeitanalysen mit der Angabe von Hazard-Ratios, 95%-Konfidenzintervallen und p-Werten für verschiedene Patientenkonstellationen durchgeführt. In der Gesamtgruppe mit allen Patienten erfolgte die Untersuchung der Biomarker als stetige Variablen und mittels einer Quartilsdarstellung. Bei den Analysen der Untergruppen, in einer Auswertung nach Geschlecht unterteilt, in einer weiteren Auswertung in verschiedene ätiologische Untergruppen unterteilt, wurden die Biomarker als stetige Variablen untersucht. Mit Hilfe einer Cox-Regression wurde für die Patienten der Gesamtgruppe zusätzlich ein multivariates Modell gebildet, wobei diese unter Berücksichtigung der Variablen Alter, Geschlecht, Body-Mass-Index (BMI), NYHA-Klasse, QRS-Dauer, LVEF, LVEDD, Ätiologie und Diabetes mellitus für die Endpunkte Gesamtmortalität und Herzversagen adjustiert wurden. Die lineare Regressionsanalyse zeigte einen schwachen positiven Zusammenhang zwischen sST2 und Galektin-3 (r=0,143 p=0,021). Weitere Korrelationen bestanden zwischen sST2 und den Leukozyten (r=0,166 p=0,007), der LVEF (r=-0,165 p=0,007) und dem natriuretischen Peptid Type B (r=0,362 p<0,001). Zwischen sST2 und den Variablen Prolaktin, Alter, BMI, C-reaktives Peptid (CRP), Kreatinin und LVEDD wurde keine signifikante Korrelation festgestellt. Neben der Assoziation mit sST2 korrelierte Galektin-3 mit den Variablen Prolaktin (r=0,261 p<0,001), Alter (r=0,127 p=0,039), Leukozyten (r=0,155 p=0,012) und Kreatinin (r=0,198 p=0,001). Abgesehen von der Korrelation mit Galektin-3 konnte kein Zusammenhang zwischen Prolaktin und weiteren Variablen festgestellt werden. Bei der Überlebenszeitanalyse der Gesamtgruppe mit allen Patienten zeigte sich, dass univariat höhere sST2-Werte bei der Quartilsdarstellung signifikant mit einer höheren Eintrittswahrscheinlichkeit des Ereignisses Gesamtmortalität verbunden waren, während bei dem Einsatz von sST2 als stetige Variable ein Zusammenhang mit der Gesamtmortalität (HR=1,05 KI=1,03-1,07 p<0,001), der kardialen Mortalität (HR=1,03 KI=1,00-1,06 p=0,04) und dem kombinierten Endpunkt Herzversagen (HR=1,04 KI=1,02-1,07 p=0,001) beobachtet werden konnte. In dem multivariaten Modell konnte für den Endpunkt Gesamtmortalität weiterhin ein signifikantes Ergebnis erreicht werden (HR=1,04 KI=1,02-1,07 p=0,003). Bei der nach Geschlecht getrennten Analyse waren in der Gruppe der weiblichen Patienten höhere sST2-Werte mit einer ungünstigen Prognose für die Endpunkte Gesamtmortalität (HR=1,06 KI=1,01-1,12 p=0,022), kardiale Mortalität (HR=1,07 KI=1,00-1,13 p=0,042) und Herzversagen (HR=1,06 KI=1,02-1,11 p=0,009) verbunden. In der Gruppe der männlichen Patienten konnte dagegen nur für den Endpunkt Gesamtmortalität ein signifikantes Ergebnis erzielt werden (HR=1,05 KI=1,02-1,07 p<0,001). Bei der nach ätiologischen Untergruppen getrennten Analyse bestand bei den Patienten mit idiopathischer DCM ein Zusammenhang zwischen sST2 dem Endpunkt Gesamtmortalität (HR=1,04 KI=1,01-1,07 p=0,019). Bei den Patienten mit DCMi⋎viral waren die Endpunkte Gesamtmortalität (HR=1,10 KI=1,05-1,17 p<0,001), kardiale Mortalität (HR=1,10 KI=1,02-1,18 p=0,013) und Herzversagen (HR=1,08 KI=1,01-1,14 p=0,021) signifikant, während bei den Patienten mit fDCM kein signifikantes Ergebnis zwischen sST2 und einem der Endpunkte beobachtet werden konnte. Die Überlebenszeitanalyse von Galektin-3 als stetige Variable ergab weder in der Gesamtgruppe noch in einer der Untergruppen ein signifikantes Ergebnis. Bei der Quartilsdarstellung der Gesamtgruppe bestand ein signifikanter Zusammenhang zwischen Galektin-3 und den Endpunkten Gesamtmortalität und kardiale Mortalität, wobei jeweils die Werte des dritten Quartils mit einer besseren Prognose verbunden waren. Für Prolaktin ergaben sich univariat nur in der Gruppe der weiblichen Patienten für die Endpunkte Gesamtmortalität (HR=0,70 KI=0,52-0,95 p=0,023) und kardiale Mortalität (HR=0,69 KI=0,49-0,99 p=0,044) signifikante Ergebnisse. Bei der multivariaten Analyse waren höhere Prolaktin-Werte signifikant mit einer besseren Prognose für den Endpunkt Gesamtmortalität (HR=0,90 KI=0,81-1,00 p=0,009) verbunden. Zusammenfassend hat diese Arbeit gezeigt, dass sST2 ein überzeugender Biomarker bei Patienten mit nicht-ischämischer HF war. In weiteren Studien sollte geprüft werden, ob der prognostische Informationsgewinn bei nicht-ischämischer HF den Nutzen etablierter Biomarker übersteigt und ob der gemeinsame Einsatz von sST2 mit weiteren Biomarkern sinnvoll ist. Das erhaltene Ergebnis der Gesamtgruppe, dass mittlere Galektin-3-Werte mit einer besseren Prognose verbunden waren, bildet einen Gegensatz zu den Ergebnissen anderer Studien und sollte in weiteren Untersuchungen überprüft werden. Die Datenlage von Prolaktin in dem Zusammenhang der HF ist insgesamt gering und die prognostische Aussagekraft bei Patienten mit HF ist noch nicht abschließend geklärt, sodass auch hier weitere Studien wünschenswert sind