Efficient Spiking and Artificial Neural Networks for Event Cameras

Event cameras have become attractive alternatives to regular frame-based cameras in many scenarios, from consumer electronics over surveillance to autonomous driving.Their novel sensor paradigm of asynchronously detecting brightness changes in a scene make them faster, more energy-efficient and less susceptible to global illumination.Processing these event streams calls for algorithms that are as efficient as the camera itself, while being competitive to frame-based computer vision on tasks like object recognition and detection.This thesis contributes methods to obtain efficient neural networks for classification and object detection in event streams.We adopt ANN-to-SNN (artificial neural network to spiking neural network) conversion to handle sequential data like videos or event streams to improve state-of-the-art in accuracy and energy-efficiency.We propose a novel network architecture called hybrid SNN-ANN, to train a mixed SNN and ANN network using surrogate gradients.These hybrid networks are more efficient, even compared to trained and converted SNNs.To detect objects with only a small number of events, we propose a filter and a memory, both improving results during inference.Our networks advance the state-of-the-art in event stream processing and contribute to the success of event cameras.Given suitable neuromorphic hardware, our spiking neural networks enable event cameras to be used in scenarios with a limited energy budget.Our proposed hybrid architecture can guide the design of novel hybrid neuromorphic devices that combine efficient sparse and dense processing

Model-based resource analysis and synthesis of service-oriented automotive software architectures

Context Automotive software architectures describe distributed functionality by an interaction of software components. One drawback of today\u27s architectures is their strong integration into the onboard communication network based on predefined dependencies at design time. The idea is to reduce this rigid integration and technological dependencies. To this end, service-oriented architecture offers a suitable methodology since network communication is dynamically established at run-time. Aim We target to provide a methodology for analysing hardware resources and synthesising automotive service-oriented architectures based on platform-independent service models. Subsequently, we focus on transforming these models into a platform-specific architecture realisation process following AUTOSAR Adaptive. Approach For the platform-independent part, we apply the concepts of design space exploration and simulation to analyse and synthesise deployment configurations, i. e., mapping services to hardware resources at an early development stage. We refine these configurations to AUTOSAR Adaptive software architecture models representing the necessary input for a subsequent implementation process for the platform-specific part. Result We present deployment configurations that are optimal for the usage of a given set of computing resources currently under consideration for our next generation of E/E architecture. We also provide simulation results that demonstrate the ability of these configurations to meet the run time requirements. Both results helped us to decide whether a particular configuration can be implemented. As a possible software toolchain for this purpose, we finally provide a prototype. Conclusion The use of models and their analysis are proper means to get there, but the quality and speed of development must also be considered

Experimentelle und numerische Untersuchung des Abkühlverhaltens thermoplastischer Gelegelaminate in der Prozesskette

Endlosfaserverstärkte Kunststoffe haben aufgrund ihrer herausragenden gewichtsspezifischen Eigenschaften ein großes Potential das Fahrzeuggewicht zu senken und damit CO$_{2}$-Emissionen zu reduzieren. Allerdings stellt nach wie vor die großserientechnische Herstellung von endlosfaserverstärkten Bauteilen eine Herausforderung dar. Problematisch ist dabei insbesondere das fehlende, methodische Wissen über das Abkühlverhalten der Halbzeuge im Prozess. Im Rahmen dieser Arbeit wird eine Methodik zur Vorhersage und Optimierung der Temperaturführung entlang der gesamten Prozesskette entwickelt. Dabei werden glasfaserverstärkte, thermoplastische Gelegelaminate aus Polypropylen und Polyamid 6, sowie kohlenstofffaserverstärkte Gelegelaminate aus Polyamid 6 betrachtet. Zunächst wird das thermische Verhalten innerhalb der einzelnen Teilprozesse (Aufheizen, Transfer, Übergabe an Werkzeug, Umformung und Hinterspritzen) experimentell untersucht. Zusätzlich wird eine Simulationsmethodik (1D- und 3D-Ansatz) zur Vorhersage der Temperaturverteilung innerhalb der Teilprozesse entwickelt und anhand von Experimenten validiert. Dabei zeigt sich eine hohe Übereinstimmung zwischen den berechneten und den experimentell ermittelten Temperaturverläufen. Um die gesamte Prozesskette abzubilden, werden die Simulationsmodelle der jeweiligen Teilprozesse sequenziell zu einem Gesamtprozess verknüpft. Es werden dabei Konvektion, Wärmeleitung und Wärmestrahlung sowie die nicht-isotherme Kristallisationskinetik berücksichtigt. Zur Simulation der Kristallisation werden verschiedene Modelle implementiert und anhand von Standard-DSC und Flash-DSC-Analysen validiert. Mit Hilfe eines modifizierten Nakamura-Ziabicki-Ansatzes wird eine hohe Prognosegüte im gesamten Abkühlratenbereich (0,5 $\frac{K}{s}$ - 400 $\frac{K}{s}$) erzielt. Insbesondere die, für die Formulierung einer Prozessgrenze relevante, Kristallisationsstarttemperatur kann sehr genau vorhergesagt werden. Im weiteren Verlauf der Arbeit wird der Aufheizvorgang auf der Laminatoberfläche beim Hinterspritzen betrachtet. Auch in diesem Fall wird mit der entwickelten Methodik eine hohe Übereinstimmung zwischen Messung und Simulation erzielt. Die Korrelation zwischen Temperaturverteilung und Verbundfestigkeit wird anschließend experimentell und numerisch anhand einer generischen Rippengeometrie untersucht. Es zeigt sich, dass die Grenzflächentemperatur einen kritischen Einfluss auf den Verbund hat. Anhand der Ergebnisse werden thermische Prozessgrenzen zur optimalen Verbundfestigkeit beim Hinterspritzen von Laminaten formuliert: Zur Gewährleistung einer optimalen Verbundfestigkeit darf die Grenzfläche nicht bis unterhalb der Kristallisationsstarttemperatur abkühlen. Es sei denn die Grenzflächentemperatur wird beim Hinterspritzen so sehr erhöht, dass die Matrix den Schmelzbereich erreicht. Als Ergebnis der Arbeit wird damit eine Methodik präsentiert, mit der sowohl die Temperaturverteilung im Gesamtprozess zuverlässig vorhergesagt, als auch eine Aussage über die Prozessgrenzen getroffen werden kann. Durch Sensitivitätsstudien werden die wichtigsten Einflussparameter auf das Abkühlverhalten und auf die für die Verbundfestigkeit wichtige Grenzflächentemperatur ermittelt. Die Laminatdicke zeigt dabei den größten Effekt. Zuletzt wird die Methodik als Praxisbeispiel auf Bauteil-Ebene angewendet. Dies erfolgt durch Betrachtung einer komplexen Prozesskette zur Herstellung eines Lower Bumper Stiffeners (untere Stoßfängerabdeckung)

Run-time safety monitoring framework for AI-based systems: automated driving cases

Intelligent systems based on artificial intelligence techniques are increasing and are recently being accepted in the automotive domain. In the competition of automobile makers to provide fully automated vehicles, it is perceived that artificial intelligence will profoundly influence the automotive electric and electronic architecture in the future. However, while such systems provide highly advanced functions, safety risk increases as AI-based systems may produce uncertain output and behaviour. In this paper, we devise a run-time safety monitoring framework for AI-based intelligence systems focusing on autonomous driving functions. In detail, this paper describes (i) the characteristics of a safety monitoring framework; (ii) the safety monitoring framework itself, and (iii) we develop a prototype and implement the framework for two critical driving functions: Lane detection and object detection. Through an implementation of the framework to a prototypic control environment, we show the possibility of this framework in the real context. Finally, we discuss the techniques used in developing the safety monitoring framework and describes the encountered challenges

Defining Traffic Scenarios for the Visually Impaired

For the development of a transfer concept of camera-based object detections from Advanced Driver Assistance Systems to the assistance of the visually impaired, we define relevant traffic scenarios and vision use cases by means of problem-centered interviews with four experts and ten members of the target group. We identify the six traffic scenarios: general orientation, navigating to an address, crossing a road, obstacle avoidance, boarding a bus, and at the train station clustered into the three categories: Orientation, Pedestrian, and Public Transport. Based on the data, we describe each traffic scenario and derive a summarizing table adapted from software engineering resulting in a collection of vision use cases. The ones that are also of interest in Advanced Driver Assistance Systems – Bicycle, Crosswalk, Traffic Sign, Traffic Light (State), Driving Vehicle, Obstacle, and Lane Detection – build the foundation of our future work. Furthermore, we present social insights that we gained from the interviews and discuss the indications we gather by considering the importance of the identified use cases for each interviewed member of the target group

The Cost of Numerical Integration in Statistical Decision-theoretic Methods for Robust Design Optimization

The Bayes principle from statistical decision theory provides a conceptual framework for quantifying uncertainties that arise in robust design optimization. The difficulty with exploiting this framework is computational, as it leads to objective and constraint functions that must be evaluated by numerical integration. Using a prototypical robust design optimization problem, this study explores the computational cost of multidimensional integration (computing expectation) and its interplay with optimization algorithms. It concludes that straightforward application of standard off-the-shelf optimization software to robust design is prohibitively expensive, necessitating adaptive strategies and the use of surrogates

20th Workshop on Automotive Software Engineering (ASE’23)

Software-based systems play an increasingly important role and enable most innovations in modern cars. This workshop will address various topics related to automotive software development. The participants will discuss appropriate methods, techniques, and tools needed to address the most current challenges for researchers and practitioners