Radar-based Application of Pedestrian and Cyclist Micro-Doppler Signatures for Automotive Safety Systems

Die sensorbasierte Erfassung des Nahfeldes im Kontext des hochautomatisierten Fahrens erfährt einen spürbaren Trend bei der Integration von Radarsensorik. Fortschritte in der Mikroelektronik erlauben den Einsatz von hochauflösenden Radarsensoren, die durch effiziente Verfahren sowohl im Winkel als auch in der Entfernung und im Doppler die Messgenauigkeit kontinuierlich ansteigen lassen. Dadurch ergeben sich neuartige Möglichkeiten bei der Bestimmung der geometrischen und kinematischen Beschaffenheit ausgedehnter Ziele im Fahrzeugumfeld, die zur gezielten Entwicklung von automotiven Sicherheitssystemen herangezogen werden können. Im Rahmen dieser Arbeit werden ungeschützte Verkehrsteilnehmer wie Fußgänger und Radfahrer mittels eines hochauflösenden Automotive-Radars analysiert. Dabei steht die Erscheinung des Mikro-Doppler-Effekts, hervorgerufen durch das hohe Maß an kinematischen Freiheitsgraden der Objekte, im Vordergrund der Betrachtung. Die durch den Mikro-Doppler-Effekt entstehenden charakteristischen Radar-Signaturen erlauben eine detailliertere Perzeption der Objekte und können in direkten Zusammenhang zu ihren aktuellen Bewegungszuständen gesetzt werden. Es werden neuartige Methoden vorgestellt, die die geometrischen und kinematischen Ausdehnungen der Objekte berücksichtigen und echtzeitfähige Ansätze zur Klassifikation und Verhaltensindikation realisieren. Wird ein ausgedehntes Ziel (z.B. Radfahrer) von einem Radarsensor detektiert, können aus dessen Mikro-Doppler-Signatur wesentliche Eigenschaften bezüglich seines Bewegungszustandes innerhalb eines Messzyklus erfasst werden. Die Geschwindigkeitsverteilungen der sich drehenden Räder erlauben eine adaptive Eingrenzung der Tretbewegung, deren Verhalten essentielle Merkmale im Hinblick auf eine vorausschauende Unfallprädiktion aufweist. Ferner unterliegen ausgedehnte Radarziele einer Orientierungsabhängigkeit, die deren geometrischen und kinematischen Profile direkt beeinflusst. Dies kann sich sowohl negativ auf die Klassifikations-Performance als auch auf die Verwertbarkeit von Parametern auswirken, die eine Absichtsbekundung des Radarziels konstituieren. Am Beispiel des Radfahrers wird hierzu ein Verfahren vorgestellt, das die orientierungsabhängigen Parameter in Entfernung und Doppler normalisiert und die gemessenen Mehrdeutigkeiten kompensiert. Ferner wird in dieser Arbeit eine Methodik vorgestellt, die auf Grundlage des Mikro- Doppler-Profils eines Fußgängers dessen Beinbewegungen über die Zeit schätzt (Tracking) und wertvolle Objektinformationen hinsichtlich seines Bewegungsverhaltens offenbart. Dazu wird ein Bewegungsmodell entwickelt, das die nichtlineare Fortbewegung des Beins approximiert und dessen hohes Maß an biomechanischer Variabilität abbildet. Durch die Einbeziehung einer wahrscheinlichkeitsbasierten Datenassoziation werden die Radar-Detektionen ihren jeweils hervorrufenden Quellen (linkes und rechtes Bein) zugeordnet und eine Trennung der Gliedmaßen realisiert. Im Gegensatz zu bisherigen Tracking-Verfahren weist die vorgestellte Methodik eine Steigerung in der Genauigkeit der Objektinformationen auf und stellt damit einen entscheidenden Vorteil für zukünftige Fahrerassistenzsysteme dar, um deutlich schneller auf kritische Verkehrssituationen reagieren zu können.:1 Introduction 1 1.1 Automotive environmental perception 2 1.2 Contributions of this work 4 1.3 Thesis overview 6 2 Automotive radar 9 2.1 Physical fundamentals 9 2.1.1 Radar cross section 9 2.1.2 Radar equation 10 2.1.3 Micro-Doppler effect 11 2.2 Radar measurement model 15 2.2.1 FMCW radar 15 2.2.2 Chirp sequence modulation 17 2.2.3 Direction-of-arrival estimation 22 2.3 Signal processing 25 2.3.1 Target properties 26 2.3.2 Target extraction 28 Power detection 28 Clustering 30 2.3.3 Real radar data example 31 2.4 Conclusion 33 3 Micro-Doppler applications of a cyclist 35 3.1 Physical fundamentals 35 3.1.1 Micro-Doppler signatures of a cyclist 35 3.1.2 Orientation dependence 36 3.2 Cyclist feature extraction 38 3.2.1 Adaptive pedaling extraction 38 Ellipticity constraints 38 Ellipse fitting algorithm 39 3.2.2 Experimental results 42 3.3 Normalization of the orientation dependence 44 3.3.1 Geometric correction 44 3.3.2 Kinematic correction 45 3.3.3 Experimental results 45 3.4 Conclusion 47 3.5 Discussion and outlook 47 4 Micro-Doppler applications of a pedestrian 49 4.1 Pedestrian detection 49 4.1.1 Human kinematics 49 4.1.2 Micro-Doppler signatures of a pedestrian 51 4.1.3 Experimental results 52 Radially moving pedestrian 52 Crossing pedestrian 54 4.2 Pedestrian feature extraction 57 4.2.1 Frequency-based limb separation 58 4.2.2 Extraction of body parts 60 4.2.3 Experimental results 62 4.3 Pedestrian tracking 64 4.3.1 Probabilistic state estimation 65 4.3.2 Gaussian filters 67 4.3.3 The Kalman filter 67 4.3.4 The extended Kalman filter 69 4.3.5 Multiple-object tracking 71 4.3.6 Data association 74 4.3.7 Joint probabilistic data association 80 4.4 Kinematic-based pedestrian tracking 84 4.4.1 Kinematic modeling 84 4.4.2 Tracking motion model 87 4.4.3 4-D radar point cloud 91 4.4.4 Tracking implementation 92 4.4.5 Experimental results 96 Longitudinal trajectory 96 Crossing trajectory with sudden turn 98 4.5 Conclusion 102 4.6 Discussion and outlook 103 5 Summary and outlook 105 5.1 Developed algorithms 105 5.1.1 Adaptive pedaling extraction 105 5.1.2 Normalization of the orientation dependence 105 5.1.3 Model-based pedestrian tracking 106 5.2 Outlook 106 Bibliography 109 List of Acronyms 119 List of Figures 124 List of Tables 125 Appendix 127 A Derivation of the rotation matrix 2.26 127 B Derivation of the mixed radar signal 2.52 129 C Calculation of the marginal association probabilities 4.51 131 Curriculum Vitae 135Sensor-based detection of the near field in the context of highly automated driving is experiencing a noticeable trend in the integration of radar sensor technology. Advances in microelectronics allow the use of high-resolution radar sensors that continuously increase measurement accuracy through efficient processes in angle as well as distance and Doppler. This opens up novel possibilities in determining the geometric and kinematic nature of extended targets in the vehicle environment, which can be used for the specific development of automotive safety systems. In this work, vulnerable road users such as pedestrians and cyclists are analyzed using a high-resolution automotive radar. The focus is on the appearance of the micro-Doppler effect, caused by the objects’ high kinematic degree of freedom. The characteristic radar signatures produced by the micro-Doppler effect allow a clearer perception of the objects and can be directly related to their current state of motion. Novel methods are presented that consider the geometric and kinematic extents of the objects and realize real-time approaches to classification and behavioral indication. When a radar sensor detects an extended target (e.g., bicyclist), its motion state’s fundamental properties can be captured from its micro-Doppler signature within a measurement cycle. The spinning wheels’ velocity distributions allow an adaptive containment of the pedaling motion, whose behavior exhibits essential characteristics concerning predictive accident prediction. Furthermore, extended radar targets are subject to orientation dependence, directly affecting their geometric and kinematic profiles. This can negatively affect both the classification performance and the usability of parameters constituting the radar target’s intention statement. For this purpose, using the cyclist as an example, a method is presented that normalizes the orientation-dependent parameters in range and Doppler and compensates for the measured ambiguities. Furthermore, this paper presents a methodology that estimates a pedestrian’s leg motion over time (tracking) based on the pedestrian’s micro-Doppler profile and reveals valuable object information regarding his motion behavior. To this end, a motion model is developed that approximates the leg’s nonlinear locomotion and represents its high degree of biomechanical variability. By incorporating likelihood-based data association, radar detections are assigned to their respective evoking sources (left and right leg), and limb separation is realized. In contrast to previous tracking methods, the presented methodology shows an increase in the object information’s accuracy. It thus represents a decisive advantage for future driver assistance systems in order to be able to react significantly faster to critical traffic situations.:1 Introduction 1 1.1 Automotive environmental perception 2 1.2 Contributions of this work 4 1.3 Thesis overview 6 2 Automotive radar 9 2.1 Physical fundamentals 9 2.1.1 Radar cross section 9 2.1.2 Radar equation 10 2.1.3 Micro-Doppler effect 11 2.2 Radar measurement model 15 2.2.1 FMCW radar 15 2.2.2 Chirp sequence modulation 17 2.2.3 Direction-of-arrival estimation 22 2.3 Signal processing 25 2.3.1 Target properties 26 2.3.2 Target extraction 28 Power detection 28 Clustering 30 2.3.3 Real radar data example 31 2.4 Conclusion 33 3 Micro-Doppler applications of a cyclist 35 3.1 Physical fundamentals 35 3.1.1 Micro-Doppler signatures of a cyclist 35 3.1.2 Orientation dependence 36 3.2 Cyclist feature extraction 38 3.2.1 Adaptive pedaling extraction 38 Ellipticity constraints 38 Ellipse fitting algorithm 39 3.2.2 Experimental results 42 3.3 Normalization of the orientation dependence 44 3.3.1 Geometric correction 44 3.3.2 Kinematic correction 45 3.3.3 Experimental results 45 3.4 Conclusion 47 3.5 Discussion and outlook 47 4 Micro-Doppler applications of a pedestrian 49 4.1 Pedestrian detection 49 4.1.1 Human kinematics 49 4.1.2 Micro-Doppler signatures of a pedestrian 51 4.1.3 Experimental results 52 Radially moving pedestrian 52 Crossing pedestrian 54 4.2 Pedestrian feature extraction 57 4.2.1 Frequency-based limb separation 58 4.2.2 Extraction of body parts 60 4.2.3 Experimental results 62 4.3 Pedestrian tracking 64 4.3.1 Probabilistic state estimation 65 4.3.2 Gaussian filters 67 4.3.3 The Kalman filter 67 4.3.4 The extended Kalman filter 69 4.3.5 Multiple-object tracking 71 4.3.6 Data association 74 4.3.7 Joint probabilistic data association 80 4.4 Kinematic-based pedestrian tracking 84 4.4.1 Kinematic modeling 84 4.4.2 Tracking motion model 87 4.4.3 4-D radar point cloud 91 4.4.4 Tracking implementation 92 4.4.5 Experimental results 96 Longitudinal trajectory 96 Crossing trajectory with sudden turn 98 4.5 Conclusion 102 4.6 Discussion and outlook 103 5 Summary and outlook 105 5.1 Developed algorithms 105 5.1.1 Adaptive pedaling extraction 105 5.1.2 Normalization of the orientation dependence 105 5.1.3 Model-based pedestrian tracking 106 5.2 Outlook 106 Bibliography 109 List of Acronyms 119 List of Figures 124 List of Tables 125 Appendix 127 A Derivation of the rotation matrix 2.26 127 B Derivation of the mixed radar signal 2.52 129 C Calculation of the marginal association probabilities 4.51 131 Curriculum Vitae 13

Doppler Radar for the Extraction of Biomechanical Parameters in Gait Analysis

The applicability of Doppler radar for gait analysis is investigated by quantitatively comparing the measured biomechanical parameters to those obtained using motion capturing and ground reaction forces. Nineteen individuals walked on a treadmill at two different speeds, where a radar system was positioned in front of or behind the subject. The right knee angle was confined by an adjustable orthosis in five different degrees. Eleven gait parameters are extracted from radar micro-Doppler signatures. Here, new methods for obtaining the velocities of individual lower limb joints are proposed. Further, a new method to extract individual leg flight times from radar data is introduced. Based on radar data, five spatiotemporal parameters related to rhythm and pace could reliably be extracted. Further, for most of the considered conditions, three kinematic parameters could accurately be measured. The radar-based stance and flight time measurements rely on the correct detection of the time instant of maximal knee velocity during the gait cycle. This time instant is reliably detected when the radar has a back view, but is underestimated when the radar is positioned in front of the subject. The results validate the applicability of Doppler radar to accurately measure a variety of medically relevant gait parameters. Radar has the potential to unobtrusively diagnose changes in gait, e.g., to design training in prevention and rehabilitation. As contact-less and privacy-preserving sensor, radar presents a viable technology to supplement existing gait analysis tools for long-term in-home examinations.Comment: 13 pages, 9 figures, 2 tables, accepted for publication in the IEEE Journal of Biomedical and Health Informatics (J-BHI

SimHumalator: An Open Source End-to-End Radar Simulator For Human Activity Recognition

Radio-frequency based non-cooperative monitor ing of humans has numerous applications ranging from law enforcement to ubiquitous sensing applications such as ambient assisted living and bio-medical applications for non-intrusively monitoring patients. Large training datasets, almost unlimited memory capacity, and ever- increasing processing speeds of computers could drive forward the data- driven deep-learning focused research in the above applications. However, generating and labeling large volumes of high-quality, diverse radar datasets is an onerous task. Furthermore, unlike the fields of vision and image processing, the radar community has limited access to databases that contain large volumes of experimental data. Therefore, in this article, we present an open-source motion capture data-driven simulation tool, SimHumalator, that can generate large volumes of human micro-Doppler radar data in passive WiFi scenarios. The simulator integrates IEEE 802.11 WiFi standard(IEEE 802.11g, n, and ad) compliant transmissions with the human animation data to generate the micro-Doppler features that incorporate the diversity of human motion characteristics and the sensor parameters. The simulated signatures have been validated with experimental data gathered using an in-house-built hardware prototype. This article describes simulation methodology in detail and provides case studies on the feasibility of using simulated micro-Doppler spectrograms for data augmentation tasks

Modeling Backscattering Behavior of Vulnerable Road Users Based on High-Resolution Radar Measurements

Bei der Weiterentwicklung der Technologie des autonomen Fahrens (AD) ist die Beschaffung zuverlässiger dreidimensionaler Umgebungsinformationen eine unverzichtbare Aufgabe, um ein sicheres Fahren zu ermöglichen. Diese Herausforderung kann durch den Einsatz von Fahrzeugradaren zusammen mit optischen Sensoren, z. B. Kameras oder Lidars, bewältigt werden, sei es in der Simulation oder in konventionellen Tests auf der Straße. Das Betriebsverhalten von Fahrzeugradaren kann in einer Over-the-Air (OTA) Vehicle-in-the-Loop (ViL) Umgebung genau bewertet werden. Für eine umfassende experimentelle Verifizierung der Fahrzeugradare muss jedoch die Umgebung, insbesondere die gefährdeten Verkehrsteilnehmer (VRUs), möglichst realistisch modelliert werden. Moderne Radarsensoren sind in der Lage, hochaufgelöste Erkennungsinformationen von komplexen Verkehrszielen zu liefern, um diese zu verfolgen. Diese hochauflösenden Erkennungsdaten, die die reflektierten Signale von den Streupunkten (SPs) der VRUs enthalten, können zur Erzeugung von Rückstreumodelle genutzt werden. Darüber hinaus kann ein realistischeres Rückstreumodell der VRUs, insbesondere von Menschen als Fußgänger oder Radfahrer, durch die Modellierung der Bewegung ihrer Extremitäten in Verkehrsszenarien erreicht werden. Die Voraussetzung für die Erstellung eines solchen detaillierten Modells in verschiedenen Situationen sind der Radarquerschnitt (RCS) und die Doppler-Signaturen, die sich aus den menschlichen Extremitäten in einer bewegten Situation ergeben. Diese Daten können durch die gesammelten Radardaten aus hochauflösenden RCS-Messungen im Radial- und Winkelbereich gewonnen werden, was durch die Analyse der Range-Doppler-Spezifikation der menschlichen Extremitäten in verschiedenen Bewegungen möglich ist. Die entwickelten realistischen Radarmodelle können bei der Wellenausbreitung im Radarkanal, bei der Zielerkennung und -klassifizierung sowie bei Datentrainingsalgorithmen zur Validierung und Verifizierung der Kfz-Radarfunktionen eingesetzt werden. Anschließend kann mit dieser Bewertung die Sicherheit von fortschrittlichen Fahrerassistenzsystemen (ADAS) beurteilt werden. Daher wird in dieser Arbeit ein hochauflösendes RCS-Messverfahren vorgeschlagen, um die relevanten SPs verschiedener VRUs mit hoher radialer und winkelmäßiger Auflösung zu bestimmen. Eine Gruppe unterschiedliche VRUs wird in statischen Situationen gemessen, und die notwendigen Signalverarbeitungsschritte, um die relevanten SPs mit den entsprechenden RCS-Werten zu extrahieren, werden im Detail beschrieben. Während der Analyse der gemessenen Daten wird ein Algorithmus entwickelt, um die physischen Größen der gemessenen Testpersonen aus dem extrahierten Rückstreumodell zu schätzen und sie anhand ihrer Größe und Statur zu klassifizieren. Zusätzlich wird ein Dummy-Mensch vermessen, der eine vergleichbare Größe wie die vermessenen Probanden hat. Das extrahierte Rückstreuverhalten einer beispielhaften VRU-Gruppe wird für ihre verschiedenen Typen ausgewertet, um die Übereinstimmung zwischen virtuellen Validierungen und der Realität aufzuzeigen und den Genauigkeitsgrad der Modelle sicherzustellen. In einem weiteren Schritt wird diese hochauflösende RCS-Messtechnik mit der Motion Capture Technologie kombiniert, um die Reflektivität der SPs von den menschlichen Körperregionen in verschiedenen Bewegungen zu erfassen und die Radarsignaturen der menschlichen Extremitäten genau zu schätzen. Spezielle Signalverarbeitungsschritte werden eingesetzt, um die Radarsignaturen aus den Messergebnissen des sich bewegenden Menschen zu extrahieren. Diese nachbearbeiteten Daten ermöglichen es der Technik, die zeitlich variierenden SPs an den Extremitäten des menschlichen Körpers mit den entsprechenden RCS-Werten und Dopplersignaturen einzuführen. Das extrahierte Rückstreumodell der VRUs enthält eine Vielzahl von SPs. Daher wird ein Clustering-Algorithmus entwickelt, um die Berechnungskomplexität bei Radarkanalsimulationen durch die Einführung einiger virtueller Streuzentren (SCs) zu minimieren. Jedes entwickelte virtuelle SCs hat seine eigene spezifische Streueigenschaft

Development of a Cost-Efficient Multi-Target Classification System Based on FMCW Radar for Security Gate Monitoring

Radar systems have a long history. Like many other great inventions, the origin of radar systems lies in warfare. Only in the last decade, radar systems have found widespread civil use in industrial measurement scenarios and automotive safety applications. Due to their resilience against harsh environments, they are used instead of or in addition to optical or ultrasonic systems. Radar sensors hold excellent capabilities to estimate distance and motion accurately, penetrate non-metallic objects, and remain unaffected by weather conditions. These capabilities make these devices extremely flexible in their applications. Electromagnetic waves centered at frequencies around 24 GHz offer high precision target measurements, compact antenna, and circuitry design, and lower atmospheric absorption than higher frequency-based systems. This thesis studies non-cooperative automatic radar multi-target detection and classification. A prototype of a radar system with a new microwave-radar-based technique for short-range detection and classification of multiple human and vehicle targets passing through a road gate is presented. It allows identifying different types of targets, i.e., pedestrians, motorcycles, cars, and trucks. The developed system is based on a low-cost 24 GHz off-the-shelf FMCW radar, combined with an embedded Raspberry Pi PC for data acquisition and transmission to a remote processing PC, which takes care of detection and classification. This approach, which can find applications in both security and infrastructure surveillance, relies upon the processing of the scattered-field data acquired by the radar. The developed method is based on an ad-hoc processing chain to accomplish the automatic target recognition task, which consists of blocks performing clutter and leakage removal with a frame subtraction technique, clustering with a DBSCAN approach, tracking algorithm based on the \u3b1-\u3b2 filter to follow the targets during traversal, features extraction, and finally classification of targets with a classification scheme based on support vector machines. The approach is validated in real experimental scenarios, showing its capabilities incorrectly detecting multiple targets belonging to different classes (i.e., pedestrians, cars, motorcycles, and trucks). The approach has been validated with experimental data acquired in different scenarios, showing good identification capabilities

Experiments with mmWave Automotive Radar Test-bed

Millimeter-wave (mmW) radars are being increasingly integrated in commercial vehicles to support new Adaptive Driver Assisted Systems (ADAS) for its ability to provide high accuracy location, velocity, and angle estimates of objects, largely independent of environmental conditions. Such radar sensors not only perform basic functions such as detection and ranging/angular localization, but also provide critical inputs for environmental perception via object recognition and classification. To explore radar-based ADAS applications, we have assembled a lab-scale frequency modulated continuous wave (FMCW) radar test-bed (https://depts.washington.edu/funlab/research) based on Texas Instrument's (TI) automotive chipset family. In this work, we describe the test-bed components and provide a summary of FMCW radar operational principles. To date, we have created a large raw radar dataset for various objects under controlled scenarios. Thereafter, we apply some radar imaging algorithms to the collected dataset, and present some preliminary results that validate its capabilities in terms of object recognition.Comment: 6 pages, 2019 Asilomar conferenc