Multiple Person Localization Based on Their Vital Sign Detection Using UWB Sensor

In the past period, great efforts have been made to develop methods for through an obstacle detection of human vital signs such as breathing or heart beating. For that purpose, ultra-wideband (UWB) radars operating in the frequency band DC-5 GHz can be used as a proper tool. The basic principle of respiratory motion detection consists in the identification of radar signal components possessing a significant power in the frequency band 0.2–0.7 Hz (frequency band of human respiratory rate) corresponding to a constant bistatic range between the target and radar. To tackle the task of detecting respiratory motion, a variety of methods have been developed. However, the problem of person localization based on his or her respiratory motion detection has not been studied deeply. In order to fill this gap, an approach for multiple person localization based on the detection of their respiratory motion will be introduced in this chapter

Microwave UWB sensors for measurements under non-stationary conditions: detection of human being beneath rubble for rescue applications

UWB (Ultra-Wide Band) -Radar ist eine vielversprechende Möglichkeit, Menschen unter eingestürzten Gebäuden zu lokalisieren. Diese Arbeit widmet sich unterschiedlichen Wegen diese Anwendung zu verbessern. Zu Beginn wird umfassend analysiert, wie kleine unregelmäßige Bewegungen vom Radar erfasst werden. Es wird festgestellt, dass minimale Objektbewegungen im Bereich weniger Mikrometer detektierbar sind, was viel weniger ist, als die Atembewegung eines Menschen. Weiterhin wird dargestellt, dass für die Erfassung von sehr kleinen Objektbewegungen ein sehr geringer Jitter notwendig ist. Daher wird in dieser Arbeit ein MLBS (Maximum Length Binary Sequence) Radar mit sehr geringem Jitter verwendet. Zusätzlich wird eine quantitative Bewertung der Durchschnittswertbildung vorgenommen. Als ein Hauptergebnis wurden die genauen Bedingungen für die Geschwindigkeit der Datenerfassung ermittelt, die notwendig sind, um bei gegebener Objektgeschwindigkeit die blockweise Durchschnittswertbildung für die Erfassung kleiner Objektbewegungen zu verbessern. Eine Analyse, wie kleine periodische Bewegungen sich äußern wird gegeben. Die mathematischen Betrachtungen bestätigen, dass die menschliche Atmung vorwiegend Sinusanteile enthält, die hauptsächlich an den Taktflanken auftreten. Daher ist der Stand der Technik zur Erfassung von Atembewegungen gerechtfertigt. Analysen zeigen aber, dass Signaleigenschaften existieren, die eine Verbesserung gegenüber dem Stand der Technik zulassen. Weitergehend wird dargestellt, dass theoretisch zwei Typen von Harmonischen in den Radardaten vorhanden sind, die von der Standard-FFT nicht berücksichtigt werden. Diese Harmonischen werden genutzt, um mittels der Bispectrum-Slice-Technik das Signal zu verstärken. Es wird der Schluss gezogen, dass dieser Ansatz in der Praxis die Detektierbarkeit nur verbessert, wenn die Level der Harmonischen groß genug sind. Eine weitere Signaleigenschaft, die in der horizontalen Standard FFT (Fast Fourier Transform) Technik nicht berücksichtigt wird, ist die Spreizung der Laufzeit in der Atmungssignatur. Es werden Algorithmen vorgestellt, die dieses Phänomen nutzen, um das Auffinden verschütteter Personen zu verbessern. Es wird die Leistungsfähigkeit dieser Algorithmen theoretisch analysiert und praktisch mit simulierten und gemessenen Radardaten überprüft. Es zeigt sich, dass sich der Störabstand durch diesen Ansatz gegenüber den Standardtechniken um mehrere dB verbessert. Eines der Hauptprobleme beim Suchen von Überlebenden sind bewegte Objekte im Strahlengang der Antenne. In dieser Arbeit werden zwei Algorithmen zur Beseitigung dieser Störung vorgeschlagen. Beide Methoden nutzen die Tatsache, dass Atembewegungen im Radargramm sehr spezifisch ausgeprägt sind und sich daher sehr gut von anderen Signalkomponenten unterscheiden lassen. Beide Algorithmen funktionieren sehr gut mit simulierten und gemessenen Radardaten. Abschließend wird die Positionsbestimmung einer verschütteten Person beschrieben. Es wird ein entsprechender Algorithmus dargestellt und mit Messdaten in 2D und 3D getestet. Es kann der Schluss gezogen werden, dass die Positionsbestimmung erfolgreich durchgeführt werden kann, indem die Methoden der Ankunftszeitbestimmung und Differenzankunftszeitbestimmung kombiniert werden.UWB (Ultra-Wide Band) radar is a promising tool for finding victims beneath collapsed buildings. Therefore, this thesis concentrates on different ways of improving the performance of abovementioned device. At first thorough theoretical analysis of how minor irregular motion is seen by radar is given. It is concluded that minimal object shift detectable via radar device is in the order of dozens of micrometers, which is much lower than the amplitude of human respiration. It is also derived that in case of detecting minor motion low jitter is a key to successful performance and thus, radar unit with minimal jitter has to be used (like MLBS (Maximum Length Binary Sequence) radar considered in this thesis). Besides, the effect of averaging is analyzed quantitatively. As a main result precise condition is established on how fast we need to acquire data so that blockwise averaging would improve detectability of target displacement. Analysis of how minor periodical motion manifests itself in the radargram is presented. It is confirmed by our mathematical considerations that respiration is to high extent sinusoidal and that it mainly appears at the pulse edge. That is, state-of-the art technique for detecting respiratory motion (FFT (Fast Fourier Transform) and maximum search) is justified. However, analysis also shows signal features that allow improvement in comparison with state of the art technique. In particular, it is derived theoretically that harmonics of two different types are present in the measured radar data (which is not respected in standard FFT data processing). These harmonics are used to amplify useful signal by means of bispectrum-slice technique. The conclusion is made that in practice this approach improves the detectability only when level of harmonics is high enough. Another signal feature that was not respected in standard horizontal FFT technique is that respiratory signature is spread in propagation time. I propose algorithms that help to improve victim detectability via making use of this phenomenon. Performance of these algorithms is analyzed both theoretically and by means of experiments with simulated and measured radar data. It is concluded that SNR (Signal to Noise Ratio) improvement introduced via this approach over standard technique is in the order of several dB. With respect to radar as a tool for search and rescue, major problem is identified as strongly moving objects within antenna beam. In this thesis, two original algorithms for removing this perturbation are proposed. Both methods make use of respiratory motion looking very specific in the radargram which fact helps to separate it from other signal components. Algorithms show high performance in tests both with simulated and measured datasets. At the end problem of finding the person position is addressed. I present localization algorithm and test it with experimental radar data both in 2D and in 3D .It can be concluded that localization can be performed successfully we combining TOA/TDOA (Time of Arrival/ Time Difference of Arrival) estimates

Fast-Gated 16 x 16 SPAD Array With 16 on-Chip 6 ps Time-to-Digital Converters for Non-Line-of-Sight Imaging

We present the design and characterization of a fully-integrated array of 16 x 16 Single-Photon Avalanche Diodes (SPADs) with fast-gating capabilities and 16 on-chip 6 ps time-to-digital converters, which has been embedded in a compact imaging module. Such sensor has been developed for Non-Line-Of-Sight imaging applications, which require: i) a narrow instrument response function, for a centimeter-accurate single-shot precision; ii) fast-gated SPADs, for time-filtering of directly reflected photons; iii) high photon detection probability, for acquiring faint signals undergoing multiple scattering events. Thanks to a novel multiple differential SPAD-SPAD sensing approach, SPAD detectors can be swiftly activated in less than 500 ps and the full-width at half maximum of the instrument response function is always less than 75 ps (60 ps on average). Temporal responses are consistently uniform throughout the gate window, showing just few picoseconds of time dispersion when 30 ns gate pulses are applied, while the differential non-linearity is as low as 250 fs. With a photon detection probability peak of 70% at 490 nm, a fill-factor of 9.6% and up to 1.6 . 10(8) photon time-tagging measurements per second, such sensor fulfills the demand for fully-integrated imaging solutions optimized for non-line-of-sight imaging applications, enabling to cut exposure times while also optimizing size, weight, power and cost, thus paving the way for further scaled architectures

Adaptive Signal Processing Techniques and Realistic Propagation Modeling for Multiantenna Vital Sign Estimation

Tämän työn keskeisimpänä tavoitteena on ihmisen elintoimintojen tarkkailu ja estimointi käyttäen radiotaajuisia mittauksia ja adaptiivisia signaalinkäsittelymenetelmiä monen vastaanottimen kantoaaltotutkalla. Työssä esitellään erilaisia adaptiivisia menetelmiä, joiden avulla hengityksen ja sydämen värähtelyn aiheuttamaa micro-Doppler vaihemodulaatiota sisältävät eri vastaanottimien signaalit voidaan yhdistää. Työssä johdetaan lisäksi realistinen malli radiosignaalien etenemiselle ja heijastushäviöille, jota käytettiin moniantennitutkan simuloinnissa esiteltyjen menetelmien vertailemiseksi. Saatujen tulosten perusteella voidaan osoittaa, että adaptiiviset menetelmät parantavat langattoman elintoimintojen estimoinnin luotettavuutta, ja mahdollistavat monitoroinnin myös pienillä signaali-kohinasuhteen arvoilla.This thesis addresses the problem of vital sign estimation through the use of adaptive signal enhancement techniques with multiantenna continuous wave radar. The use of different adaptive processing techniques is proposed in a novel approach to combine signals from multiple receivers carrying the information of the cardiopulmonary micro-Doppler effect caused by breathing and heartbeat. The results are based on extensive simulations using a realistic signal propagation model derived in the thesis. It is shown that these techniques provide a significant increase in vital sign rate estimation accuracy, and enable monitoring at lower SNR conditions

M-sequenze based ultra-wideband radar and its application to crack detection in salt mines

Die vorliegende Dissertation beschreibt einen innovativen ultra-breitband (UWB)elektromagnetischen Sensor basierend auf einem Pseudo-Rauschverfahren.Der Sensor wurde für zerstörungsfreies Testen in zivilen Anwendungen entwickelt.Zerstörungsfreies Testen entwickelt sich zu einem immer wichtiger werdenden Bereich in Forschung und Entwicklung. Neben unzähligen weiteren Anwendungen und Technologien, besteht ein primäres Aufgabenfeld in der Überwachung und Untersuchung von Bauwerken und Baumaterialien durch berührungslose Messung aus der Ferne.Diese Arbeit konzentriert sich auf das Beispiel der Auflockerungszone im Salzgestein.Der Hintergrund und die Notwendigkeit, den Zustand der oberflächennahen Salzschichten in Salzminen kennen zu müssen, werden beleuchtet und die Messaufgabe anhand einfacher theoretischer Überlegungen beschrieben. Daraus werden die Anforderungen für geeignete UWB Sensoren abgeleitet. Die wichtigsten Eigenschaften sind eine sehr hohe Messband breite sowie eine sehr saubere Systemimpulsantwort frei von systematischen Gerätefehlern. Beide Eigenschaften sind notwendig, um die schwachen Rückstreuungen der Auflockerungen trotz der unvermeidlichen starken Oberflächenreflexion detektieren zu können.Da systematische Fehler bei UWB Geräten technisch nicht von vorne herein komplett vermeidbar sind, muss der Sensor eine Gerätekalibrierung erlauben, um solche Fehler möglichst gut zu unterdrücken.Aufgrund der genannten Anforderungen und den Nebenbedingungen der Messumgebung unter Tage, wurde aus den verschiedenen UWB-Technologien ein Prinzip ausgewählt, welches pseudozufällige Maximalfolgen als Anregungssignal benutzt. Das M-Sequenzkonzept dient als Ausgangpunkt für zahlreiche Weiterentwicklungen. Ein neues Sendemodul erweitert dabei die Messbandbreite auf 12~GHz. Die äquivalente Abtastrate wird um den Faktor vier auf 36~GHz erhöht, ohne den geringen Abtastjitter des ursprünglichen Konzepts zu vergrössern.Weiterhin wird die Umsetzung eines Zweitormesskopfes zur Erfassung von S-Parametern sowie einer automatische Kalibriereinheit beschrieben. Etablierte Kalibrierverfahren aus dem Bereich der Netzwerkanalyse werden kurz rekapituliert und die Adaption des 8-Term Verfahrens mit unbekanntem Transmissionsnormal für das M-Sequenzsystem beschrieben. Dabei werden Kennwerte vorgeschlagen, die dem Bediener unter Tage einfach erlauben, die Kalibrierqualität einzuschätzen und Hinweise auf mögliche Gerätefehler oder andere Probleme zu bekommen. Die Kalibriergenauigkeit des neuen Sensors im Labor wird mit der eines Netzwerkanalysators verglichen. Beide Geräte erreichen eine störungsfreie Dynamik von mehr als 60~dB in den Systemimpulsantworten für Reflexion und Transmission.Der neu entwickelte UWB Sensor wurde in zahlreichen Messungen in Salzminen in Deutschland getestet. Zwei Messbeispiele werden vorgestellt - ein sehr alter, kreisrunder Tunnel sowie ein ovaler Tunnelstumpf, welcher kurz vor den Messungen erst aufgefahren wurde. Messaufbauten und Datenverarbeitung werden beschrieben. Schließlich werden Schlussfolgerungen und Vorschläge für zukünftige Arbeiten mit dem neuen M-Sequenzsensor sowie der Messung von Auflockerungen im Salzgestein diskutiert.This dissertation describes an innovative ultra-wideband (UWB) electromagnetic sensor device based on a pseudo-noise principle developed in the context of non-destructive testing in civil engineering.Non-destructive testing is becoming a more and more important fieldfor researchers and engineers alike. Besides the vast field of possibleapplications and testing technologies, a prime and therefore typical topic is the inspection and monitoringof constructions and materials by means of contactless remote sensing techniques.This work focuses on one example the assessment of the disaggregation zone in salt rock tunnels.The background and relevance of knowing the state of salt rock layers near a tunnel's surface are explainedand simple theoretical considerations for requirements of suitable UWB sensor devices are shown. The most important sensor parameters are a very large measurement bandwidth and a very clean impulse response. The latterparameter translates into the mandatory application of calibration techniques to remove systematic errors of the sensor system itself. This enables detection of weak scattering responses from near-surface disaggregation despite the presence of a strong surface reflection.According to the mentioned requirements and other side conditions in salt mine environments an UWB sensor principlebased on pseudo-noise stimuli namely M-Sequences is selected as a starting point for system development. A newtransmitter frontend for extending the stimulus bandwidth up to 12~GHz is presented. Furthermore, a technique for increasing the (equivalent) sampling rate while keeping the stable and low-jitter sampling regime of the M-Sequencesapproach is introduced and its implementation is shown. Moreover, an automatic calibration unit for full two-port coaxial calibration of the new UWB sensor has been developed. Common calibration techniques from the area of vector network analysers are shortly reviewed and a reasonablealgorithm the 8-term method with an unknown line standard - is selected for the M-Sequences device. The 8-term method is defined in the frequency domain and is adapted for use with time domain devices. Some performance figures and comparisonwith calibration results from network analysers are discussed to show the effectiveness of the calibration.A spurious-free dynamic range of the time domain impulse responses in excess of 60~dB has been achieved for reflection as well as transmission measurements.The new UWB sensor was used in various real world measurements in different salt mines throughout Germany. Two measurementexamples are described and results from the disaggregation zone of a very old and a freshly cut tunnel will be presented. Measurement setup and data processing are discussed and finally some conclusions for future work on this topic are drawn

Localisation and tracking of people using distributed UWB sensors

In vielen Überwachungs- und Rettungsszenarien ist die Lokalisierung und Verfolgung von Personen in Innenräumen auf nichtkooperative Weise erforderlich. Für die Erkennung von Objekten durch Wände in kurzer bis mittlerer Entfernung, ist die Ultrabreitband (UWB) Radartechnologie aufgrund ihrer hohen zeitlichen Auflösung und Durchdringungsfähigkeit Erfolg versprechend. In dieser Arbeit wird ein Prozess vorgestellt, mit dem Personen in Innenräumen mittels UWB-Sensoren lokalisiert werden können. Er umfasst neben der Erfassung von Messdaten, Abstandschätzungen und dem Erkennen von Mehrfachzielen auch deren Ortung und Verfolgung. Aufgrund der schwachen Reflektion von Personen im Vergleich zum Rest der Umgebung, wird zur Personenerkennung zuerst eine Hintergrundsubtraktionsmethode verwendet. Danach wird eine konstante Falschalarmrate Methode zur Detektion und Abstandschätzung von Personen angewendet. Für Mehrfachziellokalisierung mit einem UWB-Sensor wird eine Assoziationsmethode entwickelt, um die Schätzungen des Zielabstandes den richtigen Zielen zuzuordnen. In Szenarien mit mehreren Zielen kann es vorkommen, dass ein näher zum Sensor positioniertes Ziel ein anderes abschattet. Ein Konzept für ein verteiltes UWB-Sensornetzwerk wird vorgestellt, in dem sich das Sichtfeld des Systems durch die Verwendung mehrerer Sensoren mit unterschiedlichen Blickfeldern erweitert lässt. Hierbei wurde ein Prototyp entwickelt, der durch Fusion von Sensordaten die Verfolgung von Mehrfachzielen in Echtzeit ermöglicht. Dabei spielen insbesondere auch Synchronisierungs- und Kooperationsaspekte eine entscheidende Rolle. Sensordaten können durch Zeitversatz und systematische Fehler gestört sein. Falschmessungen und Rauschen in den Messungen beeinflussen die Genauigkeit der Schätzergebnisse. Weitere Erkenntnisse über die Zielzustände können durch die Nutzung zeitlicher Informationen gewonnen werden. Ein Mehrfachzielverfolgungssystem wird auf der Grundlage des Wahrscheinlichkeitshypothesenfilters (Probability Hypothesis Density Filter) entwickelt, und die Unterschiede in der Systemleistung werden bezüglich der von den Sensoren ausgegebene Informationen, d.h. die Fusion von Ortungsinformationen und die Fusion von Abstandsinformationen, untersucht. Die Information, dass ein Ziel detektiert werden sollte, wenn es aufgrund von Abschattungen durch andere Ziele im Szenario nicht erkannt wurde, wird als dynamische Überdeckungswahrscheinlichkeit beschrieben. Die dynamische Überdeckungswahrscheinlichkeit wird in das Verfolgungssystem integriert, wodurch weniger Sensoren verwendet werden können, während gleichzeitig die Performanz des Schätzers in diesem Szenario verbessert wird. Bei der Methodenauswahl und -entwicklung wurde die Anforderung einer Echtzeitanwendung bei unbekannten Szenarien berücksichtigt. Jeder untersuchte Aspekt der Mehrpersonenlokalisierung wurde im Rahmen dieser Arbeit mit Hilfe von Simulationen und Messungen in einer realistischen Umgebung mit UWB Sensoren verifiziert.Indoor localisation and tracking of people in non-cooperative manner is important in many surveillance and rescue applications. Ultra wideband (UWB) radar technology is promising for through-wall detection of objects in short to medium distances due to its high temporal resolution and penetration capability. This thesis tackles the problem of localisation of people in indoor scenarios using UWB sensors. It follows the process from measurement acquisition, multiple target detection and range estimation to multiple target localisation and tracking. Due to the weak reflection of people compared to the rest of the environment, a background subtraction method is initially used for the detection of people. Subsequently, a constant false alarm rate method is applied for detection and range estimation of multiple persons. For multiple target localisation using a single UWB sensor, an association method is developed to assign target range estimates to the correct targets. In the presence of multiple targets it can happen that targets closer to the sensor induce shadowing over the environment hindering the detection of other targets. A concept for a distributed UWB sensor network is presented aiming at extending the field of view of the system by using several sensors with different fields of view. A real-time operational prototype has been developed taking into consideration sensor cooperation and synchronisation aspects, as well as fusion of the information provided by all sensors. Sensor data may be erroneous due to sensor bias and time offset. Incorrect measurements and measurement noise influence the accuracy of the estimation results. Additional insight of the targets states can be gained by exploiting temporal information. A multiple person tracking framework is developed based on the probability hypothesis density filter, and the differences in system performance are highlighted with respect to the information provided by the sensors i.e. location information fusion vs range information fusion. The information that a target should have been detected when it is not due to shadowing induced by other targets is described as dynamic occlusion probability. The dynamic occlusion probability is incorporated into the tracking framework, allowing fewer sensors to be used while improving the tracker performance in the scenario. The method selection and development has taken into consideration real-time application requirements for unknown scenarios at every step. Each investigated aspect of multiple person localization within the scope of this thesis has been verified using simulations and measurements in a realistic environment using M-sequence UWB sensors