Deep Learning based Vehicle Detection in Aerial Imagery

Detecting vehicles in aerial images is an important task for many applications like traffic monitoring or search and rescue work. In recent years, several deep learning based frameworks have been proposed for object detection. However, these detection frameworks were developed and optimized for datasets that exhibit considerably differing characteristics compared to aerial images, e.g. size of objects to detect. In this report, we demonstrate the potential of Faster R-CNN, which is one of the state-of-theart detection frameworks, for vehicle detection in aerial images. Therefore, we systematically investigate the impact of adapting relevant parameters. Due to the small size of vehicles in aerial images, the most improvement in performance is achieved by using features of shallower layers to localize vehicles. However, these features offer less semantic and contextual information compared to features of deeper layers. This results in more false alarms due to objects with similar shapes as vehicles. To account for that, we further propose a deconvolutional module that up-samples features of deeper layers and combines these features with features of shallower layers

Deep Learning based Vehicle Detection in Aerial Imagery

Der Einsatz von luftgestützten Plattformen, die mit bildgebender Sensorik ausgestattet sind, ist ein wesentlicher Bestandteil von vielen Anwendungen im Bereich der zivilen Sicherheit. Bekannte Anwendungsgebiete umfassen unter anderem die Entdeckung verbotener oder krimineller Aktivitäten, Verkehrsüberwachung, Suche und Rettung, Katastrophenhilfe und Umweltüberwachung. Aufgrund der großen Menge zu verarbeitender Daten und der daraus resultierenden kognitiven Überbelastung ist jedoch eine Analyse der Luftbilddaten ausschließlich durch menschliche Auswerter in der Praxis nicht anwendbar. Zur Unterstützung der menschlichen Auswerter kommen daher in der Regel automatische Bild- und Videoverarbeitungsalgorithmen zum Einsatz. Eine zentrale Aufgabe bildet dabei eine zuverlässige Detektion relevanter Objekte im Sichtfeld der Kamera, bevor eine Interpretation der gegebenen Szene stattfinden kann. Die geringe Bodenauflösung aufgrund der großen Distanz zwischen Kamera und Erde macht die Objektdetektion in Luftbilddaten zu einer herausfordernden Aufgabe, welche durch Bewegungsunschärfe, Verdeckungen und Schattenwurf zusätzlich erschwert wird. Obwohl in der Literatur eine Vielzahl konventioneller Ansätze zur Detektion von Objekten in Luftbilddaten existiert, ist die Detektionsgenauigkeit durch die Repräsentationsfähigkeit der verwendeten manuell entworfenen Merkmale beschränkt. Im Rahmen dieser Arbeit wird ein neuer Deep-Learning basierter Ansatz zur Detektion von Objekten in Luftbilddaten präsentiert. Der Fokus der Arbeit liegt dabei auf der Detektion von Fahrzeugen in Luftbilddaten, die senkrecht von oben aufgenommen wurden. Grundlage des entwickelten Ansatzes bildet der Faster R-CNN Detektor, der im Vergleich zu anderen Deep-Learning basierten Detektionsverfahren eine höhere Detektionsgenauigkeit besitzt. Da Faster R-CNN wie auch die anderen Deep-Learning basierten Detektionsverfahren auf Benchmark Datensätzen optimiert wurden, werden in einem ersten Schritt notwendige Anpassungen an die Eigenschaften der Luftbilddaten, wie die geringen Abmessungen der zu detektierenden Fahrzeuge, systematisch untersucht und daraus resultierende Probleme identifiziert. Im Hinblick auf reale Anwendungen sind hier vor allem die hohe Anzahl fehlerhafter Detektionen durch fahrzeugähnliche Strukturen und die deutlich erhöhte Laufzeit problematisch. Zur Reduktion der fehlerhaften Detektionen werden zwei neue Ansätze vorgeschlagen. Beide Ansätze verfolgen dabei das Ziel, die verwendete Merkmalsrepräsentation durch zusätzliche Kontextinformationen zu verbessern. Der erste Ansatz verfeinert die räumlichen Kontextinformationen durch eine Kombination der Merkmale von frühen und tiefen Schichten der zugrundeliegenden CNN Architektur, so dass feine und grobe Strukturen besser repräsentiert werden. Der zweite Ansatz macht Gebrauch von semantischer Segmentierung um den semantischen Informationsgehalt zu erhöhen. Hierzu werden zwei verschiedene Varianten zur Integration der semantischen Segmentierung in das Detektionsverfahren realisiert: zum einen die Verwendung der semantischen Segmentierungsergebnisse zur Filterung von unwahrscheinlichen Detektionen und zum anderen explizit durch Verschmelzung der CNN Architekturen zur Detektion und Segmentierung. Sowohl durch die Verfeinerung der räumlichen Kontextinformationen als auch durch die Integration der semantischen Kontextinformationen wird die Anzahl der fehlerhaften Detektionen deutlich reduziert und somit die Detektionsgenauigkeit erhöht. Insbesondere der starke Rückgang von fehlerhaften Detektionen in unwahrscheinlichen Bildregionen, wie zum Beispiel auf Gebäuden, zeigt die erhöhte Robustheit der gelernten Merkmalsrepräsentationen. Zur Reduktion der Laufzeit werden im Rahmen der Arbeit zwei alternative Strategien verfolgt. Die erste Strategie ist das Ersetzen der zur Merkmalsextraktion standardmäßig verwendeten CNN Architektur mit einer laufzeitoptimierten CNN Architektur unter Berücksichtigung der Eigenschaften der Luftbilddaten, während die zweite Strategie ein neues Modul zur Reduktion des Suchraumes umfasst. Mit Hilfe der vorgeschlagenen Strategien wird die Gesamtlaufzeit sowie die Laufzeit für jede Komponente des Detektionsverfahrens deutlich reduziert. Durch Kombination der vorgeschlagenen Ansätze kann sowohl die Detektionsgenauigkeit als auch die Laufzeit im Vergleich zur Faster R-CNN Baseline signifikant verbessert werden. Repräsentative Ansätze zur Fahrzeugdetektion in Luftbilddaten aus der Literatur werden quantitativ und qualitativ auf verschiedenen Datensätzen übertroffen. Des Weiteren wird die Generalisierbarkeit des entworfenen Ansatzes auf ungesehenen Bildern von weiteren Luftbilddatensätzen mit abweichenden Eigenschaften demonstriert

Most Likely Separation of Intensity and Warping Effects in Image Registration

This paper introduces a class of mixed-effects models for joint modeling of spatially correlated intensity variation and warping variation in 2D images. Spatially correlated intensity variation and warp variation are modeled as random effects, resulting in a nonlinear mixed-effects model that enables simultaneous estimation of template and model parameters by optimization of the likelihood function. We propose an algorithm for fitting the model which alternates estimation of variance parameters and image registration. This approach avoids the potential estimation bias in the template estimate that arises when treating registration as a preprocessing step. We apply the model to datasets of facial images and 2D brain magnetic resonance images to illustrate the simultaneous estimation and prediction of intensity and warp effects

Deep Learning based Vehicle Detection in Aerial Imagery

This book proposes a novel deep learning based detection method, focusing on vehicle detection in aerial imagery recorded in top view. The base detection framework is extended by two novel components to improve the detection accuracy by enhancing the contextual and semantical content of the employed feature representation. To reduce the inference time, a lightweight CNN architecture is proposed as base architecture and a novel module that restricts the search area is introduced

Fastaer det: Fast aerial embedded real-time detection

Automated detection of objects in aerial imagery is the basis for many applications, such as search and rescue operations, activity monitoring or mapping. However, in many cases it is beneficial to employ a detector on-board of the aerial platform in order to avoid latencies, make basic decisions within the platform and save transmission bandwidth. In this work, we address the task of designing such an on-board aerial object detector, which meets certain requirements in accuracy, inference speed and power consumption. For this, we first outline a generally applicable design process for such on-board methods and then follow this process to develop our own set of models for the task. Specifically, we first optimize a baseline model with regards to accuracy while not increasing runtime. We then propose a fast detection head to significantly improve runtime at little cost in accuracy. Finally, we discuss several aspects to consider during deployment and in the runtime environment. Our resulting four models that operate at 15, 30, 60 and 90 FPS on an embedded Jetson AGX device are published for future benchmarking and comparison by the community

Geometry parameterizations for the aerodynamical optimization of compressor blade sections considering curvature

Auf dem Gebiet der Prozessintegration und automatisierten Optimierung von Bauteilen nimmt die Triebwerksindustrie eine Vorreiterrolle ein. Insbesondere die aerodynamische Optimierung von Triebwerksschaufeln kann, dank umfangreicher Forschungs- und Entwicklungsarbeit, seit einiger Zeit als Stand der Technik bezeichnet werden. Auf diese Art ist es möglich, trotz kürzer werdender Entwicklungszeiten immer effizientere Schaufeln zu entwerfen, die ihren Beitrag zur notwendigen Reduktion der im Triebwerk produzierten CO2-Emission liefern. Ein wichtiger Schritt beim Schaufelentwurf ist die automatisierte Mehrkriterien-Optimierung einzelner Schaufelsektionen. Hierfür sind geeignete Profilparametrisierungen notwendig, die einerseits genügend Entwurfsfreiheiten bieten, andererseits ohne manuelle Nachbearbeitung sinnvolle Profile liefern. In der vorliegenden Arbeit werden daher drei grundsätzlich verschiedene Möglichkeiten zur automatisierten parametrischen Schaufelprofilerzeugung entwickelt. Im Unterschied zu den meisten bisher vorhandenen Parametrisierungen ist allen drei Methoden gemein, dass die entstandenen Profile stets krümmungsstetig sind. Lediglich beim Übergang zur kreisförmigen Hinterkante wird Tangentenstetigkeit als ausreichend angesehen. Durch diese Vorgehensweise können, anders als vorher, sehr günstige Geschwindigkeitsverläufe an Saug- und Druckseite ohne Überhöhungen an der Vorderkante erreicht werden. Innerhalb eines auf einem Hochleistungs-Rechen-Cluster parallelisierten Mehrkriterien-Optimierungsprozesses, in dem beispielhaft der Mittelschnitt eines Stators einer Hochdruckverdichterstufe aerodynamisch optimiert wird, werden die drei Methoden anschließend miteinander verglichen. Es kann gezeigt werden, dass alle drei Parametrisierungen zu Profilen führen, die bezüglich ihrer aerodynamischen Verluste deutlich besser sind als ein manuell entworfenes Referenzprofil.In the field of process integration and automized optimization of engineering parts the flight engine industry can be recognized as a technology leader. Based on substantial research and developement efforts, especially the arodynamical optimization of engine blades can be regarded as state-of-the-art now. This way it is possible to design more efficient blades in shorter developement time which helps to lower CO2 emissions of the engine. An important step within the blade design process is the automized multi-criteria optimization of single blade sections. Therefore, useful section parameterization is neccessary allowing to explore a wide design space on the one hand, but yielding reasonable blade sections without the need of manual after treatment. Three different possibilities for automized blade section generation are developed in this thesis. In contrast to most of the prior publications these parameterizations generate curvature continuous sections. Only for the blending of the trailing edge circle to the suction and pressure side, respectively, tangential continuity is regarded as sufficient for proper aerodynamical behavior. This way, advantageous velocity profiles without any spikes on either section side of the leading edge are achieved. The three methods are tested and compared to each other within a multi-criteria optimization process running in parallel on a high performance computing cluster. For the example of a mid-section of a high pressure compressor stator it can be shown that all three parameterizations yield profiles which dominate a manually optimized reference profile in both optimization criteria, efficiency for design and off-design operation conditions

Dynamic Cell Structures for Calibration-free Adaptive Saccade Control of a Four-Degrees-of-Freedom Binocular Head

This paper describes calibration-free adaptive saccade control of a four-degrees- of-freedom binocular head by means of Dynamic Cell Structures (DCS) [2]. Incremental growth of this Radial Basis Function (RBF) based neural network model up to a pre-specified precision results in very small networks suitable for realtime saccade control. By learning and exploiting the topology of the input manifold the controller output calculation is particular fast. Training of the DCS is based on biological inspired error feedback learning and proceeds in two phases. In the first phase we use a crude model of the cameras and the kinematics of the head to learn the topology of the input manifold together with a rough ap proximation of the control function off-line. Different to e.g. Kohonen-type adaptation rules the distribution of neural units is shown to minimize the control error and not to merely mimic the input probability density. In the second phase, the operating phase, the linear output units of the DCS continue to adapt on-line. Besides our TRC binocular head we use a Datacube image processing system and a Staeubli R90 robot arm for automated training in the second phase. The controller is demonstrated to successfully correct errors in the model and to rapidly adapt to changing parameters. The paper also includes a comparison with a conventional (calibrated) inverse kinematics based controller