Beyond Identity: What Information Is Stored in Biometric Face Templates?

Deeply-learned face representations enable the success of current face recognition systems. Despite the ability of these representations to encode the identity of an individual, recent works have shown that more information is stored within, such as demographics, image characteristics, and social traits. This threatens the user's privacy, since for many applications these templates are expected to be solely used for recognition purposes. Knowing the encoded information in face templates helps to develop bias-mitigating and privacy-preserving face recognition technologies. This work aims to support the development of these two branches by analysing face templates regarding 113 attributes. Experiments were conducted on two publicly available face embeddings. For evaluating the predictability of the attributes, we trained a massive attribute classifier that is additionally able to accurately state its prediction confidence. This allows us to make more sophisticated statements about the attribute predictability. The results demonstrate that up to 74 attributes can be accurately predicted from face templates. Especially non-permanent attributes, such as age, hairstyles, haircolors, beards, and various accessories, found to be easily-predictable. Since face recognition systems aim to be robust against these variations, future research might build on this work to develop more understandable privacy preserving solutions and build robust and fair face templates.Comment: To appear in IJCB 202

Radiofrequency Interference Strategies Targeting Marine Navigation Systems: Political Motives and Consequences

Maritime traffic from the Baltic Sea and Black Sea to the Strait of Hormuz has experienced frequent and prolonged instances of radiofrequency interference which has been attributed to military exercises, anti-drone defence, and political motives. Whilst the technical vulnerabilities to maritime systems have been identified, academia has yet to contextualise those vulnerabilities considering ongoing geopolitical tensions notably between Russia, Iran, and ‘the West’. The findings of this research indicate that spoofing vessels can complement five main strategies: (1) making navies appear more provocative than they are; (2) revealing security vulnerabilities; (3) hostage diplomacy; (4) evading sanctions; and (5) reconnaissance and sabotage. It concludes with a discussion of future scenarios and provides suggestions for countermeasures.publishedVersio

A Neuro-Symbolic Approach for Real-World Event Recognition from Weak Supervision

Events are structured entities involving different components (e.g, the participants, their roles etc.) and their relations. Structured events are typically defined in terms of (a subset of) simpler, atomic events and a set of temporal relation between them. Temporal Event Detection (TED) is the task of detecting structured and atomic events within data streams, most often text or video sequences, and has numerous applications, from video surveillance to sports analytics. Existing deep learning approaches solve TED task by implicitly learning the temporal correlations among events from data. As consequence, these approaches often fail in ensuring a consistent prediction in terms of the relationship between structured and atomic events. On the other hand, neuro-symbolic approaches have shown their capability to constrain the output of the neural networks to be consistent with respect to the background knowledge of the domain. In this paper, we propose a neuro-symbolic approach for TED in a real world scenario involving sports activities. We show how by incorporating simple knowledge involving the relative order of atomic events and constraints on their duration, the approach substantially outperforms a fully neural solution in terms of recognition accuracy, when little or even no supervision is available on the atomic events

Multi-model running latency optimization in an edge computing paradigm

Recent advances in both lightweight deep learning algorithms and edge computing increasingly enable multiple model inference tasks to be conducted concurrently on resource-constrained edge devices, allowing us to achieve one goal collaboratively rather than getting high quality in each standalone task. However, the high overall running latency for performing multi-model inferences always negatively affects the real-time applications. To combat latency, the algorithms should be optimized to minimize the latency for multi-model deployment without compromising the safety-critical situation. This work focuses on the real-time task scheduling strategy for multi-model deployment and investigating the model inference using an open neural network exchange (ONNX) runtime engine. Then, an application deployment strategy is proposed based on the container technology and inference tasks are scheduled to different containers based on the scheduling strategies. Experimental results show that the proposed solution is able to significantly reduce the overall running latency in real-time applications

Robust Multisensor MeMBer Filter for Multiple Extended-Target Tracking

This paper develops a robust extended-target multisensor multitarget multi-Bernoulli (ET-MS-MeMBer) filter for enhancing the unsatisfactory quality of measurement partitions arising in the classical ET-MS-MeMBer filter due to increased clutter intensities. Specifically, the proposed method considers the influence of the clutter measurement set by introducing the ratio of the target likelihood to the clutter likelihood. With the constraint of the clutter measurement set, it can obtain better multisensor measurement partitioning results under the original two-step greedy partitioning mechanism. Subsequently, the single-target multisensor likelihood function for the clutter case is derived. Simulation results reveal a favorable comparison to the ET-MS-MeMBer filter in terms of accuracy in estimating the target cardinality and target state under conditions with increased clutter intensities.Peer Reviewe

DRCM: a disentangled representation network based on coordinate and multimodal attention for medical image fusion

Recent studies on medical image fusion based on deep learning have made remarkable progress, but the common and exclusive features of different modalities, especially their subsequent feature enhancement, are ignored. Since medical images of different modalities have unique information, special learning of exclusive features should be designed to express the unique information of different modalities so as to obtain a medical fusion image with more information and details. Therefore, we propose an attention mechanism-based disentangled representation network for medical image fusion, which designs coordinate attention and multimodal attention to extract and strengthen common and exclusive features. First, the common and exclusive features of each modality were obtained by the cross mutual information and adversarial objective methods, respectively. Then, coordinate attention is focused on the enhancement of the common and exclusive features of different modalities, and the exclusive features are weighted by multimodal attention. Finally, these two kinds of features are fused. The effectiveness of the three innovation modules is verified by ablation experiments. Furthermore, eight comparison methods are selected for qualitative analysis, and four metrics are used for quantitative comparison. The values of the four metrics demonstrate the effect of the DRCM. Furthermore, the DRCM achieved better results on SCD, Nabf, and MS-SSIM metrics, which indicates that the DRCM achieved the goal of further improving the visual quality of the fused image with more information from source images and less noise. Through the comprehensive comparison and analysis of the experimental results, it was found that the DRCM outperforms the comparison method

Estimating Vehicle Suspension Characteristics for Digital Twin Creation with Genetic Algorithm

Usage of simulation techniques like Vehicle-in-the-Loop, Scenario-in-the-Loop, and other mixed-reality systems are becoming inevitable in autonomous vehicle development, particularly in testing and validation. These methods rely on using digital twins, realistic representations of real vehicles, and traffic in a carefully rebuilt virtual world. Recreating them precisely in a virtual ecosystem requires many parameters of real vehicles to follow their properties in a simulation. This is especially true for vehicle dynamics, where these parameters have high impact on the simulation results. The paper's objective is to provide a method that can help reverse engineering a real car's suspension characteristics with the help of a genetic algorithm. A detailed description of the method is presented, guiding the reader through the whole process, including the meta-heuristic function's settings and how it interfaces with IPG Carmaker. The paper also presents multiple measurements, which can be effortlessly recreated without expensive devices or the need to disassemble any vehicle parts. Measurements are reproduced in two separate simulation tools with special scenarios providing an efficient way to analyze and verify the results. The provided method creates vehicle suspension characteristics with adequate quality, opening up the possibility to use them in the creation of digital twins or creating virtual traffic with realistic vehicle dynamics for high-quality visualization. Results show satisfying accuracy when tested with OpenCRG

Interval Logic Tensor Networks

In this paper, we introduce Interval Real Logic (IRL), a two-sorted logic that interprets knowledge such as sequential properties (traces) and event properties using sequences of real-featured data. We interpret connectives using fuzzy logic, event durations using trapezoidal fuzzy intervals, and fuzzy temporal relations using relationships between the intervals' areas. We propose Interval Logic Tensor Networks (ILTN), a neuro-symbolic system that learns by propagating gradients through IRL. In order to support effective learning, ILTN defines smoothened versions of the fuzzy intervals and temporal relations of IRL using softplus activations. We show that ILTN can successfully leverage knowledge expressed in IRL in synthetic tasks that require reasoning about events to predict their fuzzy durations. Our results show that the system is capable of making events compliant with background temporal knowledge

Distributed Estimation Using Partial Knowledge about Correlated Estimation Errors

Sensornetzwerke werden in vielen verschiedenen Anwendungen, z. B. zur Überwachung des Flugraumes oder zur Lokalisierung in Innenräumen eingesetzt. Dabei werden Sensoren häufig räumlich verteilt, um eine möglichst gute Abdeckung des zu beobachtenden Prozesses zu ermöglichen. Sowohl der Prozess als auch die Sensormessungen unterliegen stochastischem Rauschen. Daher wird oftmals eine Zustandsschätzung, z. B. durch ein Kalmanfilter durchgeführt, welcher die Unsicherheiten aus dem Prozess- und Messmodel systematisch berücksichtigt. Die Kooperation der individuellen Sensorknoten erlaubt eine verbesserte Schätzung des Systemzustandes des beobachteten Prozesses. Durch die lokale Verarbeitung der Sensordaten direkt in den Sensorknoten können Sensornetzwerke flexibel und modular entworfen werden und skalieren auch bei steigender Anzahl der Einzelkomponenten gut. Zusätzlich werden Sensornetzwerke dadurch robuster, da die Funktionsfähigkeit des Systems nicht von einem einzigen zentralen Knoten abhängt, der alle Sensordaten sammelt und verarbeitet. Ein Nachteil der verteilten Schätzung ist jedoch die Entstehung von korrelierten Schätzfehlern durch die lokale Verarbeitung in den Filtern. Diese Korrelationen müssen systematisch berücksichtigt werden, um genau und zuverlässig den Systemzustand zu schätzen. Dabei muss oftmals ein Kompromiss zwischen Schätzgenauigkeit und den begrenzt verfügbaren Ressourcen wie Bandbreite, Speicher und Energie gefunden werden. Eine zusätzliche Herausforderung sind unterschiedliche Netzwerktopologien sowie die Heterogenität lokaler Informationen und Filter, welche das Nachvollziehen der individuellen Verarbeitungsschritte innerhalb der Sensorknoten und der korrelierten Schätzfehler erschweren. Diese Dissertation beschäftigt sich mit der Fusion von Zustandsschätzungen verteilter Sensorknoten. Speziell wird betrachtet, wie korrelierte Schätzfehler entweder vollständig oder teilweise gelernt werden können, um eine präzisere und weniger unsichere fusionierte Zustandsschätzung zu erhalten. Um Wissen über korrelierte Schätzfehler zu erhalten, werden in dieser Arbeit sowohl analytische als auch simulations-basierte Ansätze verfolgt. Eine analytische Berechnung der Korrelationen zwischen Zustandsschätzungen ist möglich, wenn alle Verarbeitungsschritte und Parameter der lokalen Filter bekannt sind. Dadurch kann z. B. ein zentraler Fusionsknoten die die Korrelation zwischen den Schätzfehlern rekonstruieren. Dieses zentralisierte Vorgehen ist jedoch oft sehr aufwendig und benötigt entweder eine hohe Kommunikationsrate oder Vorwissen über die lokale Verarbeitungsschritte und Filterparameter. Daher wurden in den letzten Jahren zunehmend dezentrale Methoden zur Rekonstruktion von Korrelationen zwischen Zustandsschätzungen erforscht. In dieser Arbeit werden Methoden zur dezentralen Nachverfolgung und Rekonstruktion von korrelierten Schätzfehlern diskutiert und weiterentwickelt. Dabei basiert der erste Ansatz auf der Verwendung deterministischer Samples und der zweite auf der Wurzelzerlegung korrelierter Rauschkovarianzen. Um die Verwendbarkeit dieser Methoden zu steigern, werden mehrere wichtige Erweiterungen erarbeitet. Zum Einen schätzen verteilte Sensorknoten häufig den Zustand desselben Systems. Jedoch unterscheiden sie sich in ihrer lokalen Berechnung, indem sie unterschiedliche Zustandsraummodelle nutzen. Ein Beitrag dieser Arbeit ist daher die Verallgemeinerung dezentraler Methoden zur Nachverfolgung in unterschiedlichen (heterogenen) Zustandsräumen gleicher oder geringerer Dimension, die durch lineare Transformationen entstehen. Des Weiteren ist die Rekonstruktion begrenzt auf Systeme mit einem einzigen zentralen Fusionsknoten. Allerdings stellt die Abhängigkeit des Sensornetzwerkes von einem solchen zentralen Knoten einen Schwachpunkt dar, der im Fehlerfall zum vollständigen Ausfall des Netzes führen kann. Zudem verfügen viele Sensornetzwerke über komplexe und variierende Netzwerktopologien ohne zentralen Fusionsknoten. Daher ist eine weitere wichtige Errungenschaft dieser Dissertation die Erweiterung der Methodik auf die Rekonstruktion korrelierter Schätzfehler unabhängig von der genutzten Netzwerkstruktur. Ein Nachteil der erarbeiteten Algorithmen sind die wachsenden Anforderungen an Speicherung, Verarbeitung und Kommunikation der zusätzlichen Informationen, welche für die vollständige Rekonstruktion notwendig sind. Um diesen Mehraufwand zu begrenzen, wird ein Ansatz zur teilweisen Rekonstruktion korrelierter Schätzfehler erarbeitet. Das resultierende partielle Wissen über korrelierte Schätzfehler benötigt eine konservative Abschätzung der Unsicherheit, um genaue und zuverlässige Zustandsschätzungen zu erhalten. Es gibt jedoch Fälle, in denen keine Rekonstruktion der Korrelationen möglich ist oder es eine Menge an möglichen Korrelationen gibt. Dies ist zum Einen der Fall, wenn mehrere Systemmodelle möglich sind. Dies führt dann zu einer Menge möglicher korrelierter Schätzfehler, beispielsweise wenn die Anzahl der lokalen Verarbeitungsschritte bis zur Fusion ungewiss ist. Auf der anderen Seite ist eine Rekonstruktion auch nicht möglich, wenn die Systemparameter nicht bekannt sind oder die Rekonstruktion aufgrund von begrenzter Rechenleistung nicht ausgeführt werden kann. In diesem Fall kann ein Simulationsansatz verwendet werden, um die Korrelationen zu schätzen. In dieser Arbeit werden Ansätze zur Schätzung von Korrelationen zwischen Schätzfehlern basierend auf der Simulation des gesamten Systems erarbeitet. Des Weiteren werden Ansätze zur vollständigen und teilweisen Rekonstruktion einer Menge korrelierter Schätzfehler für mehrere mögliche Systemkonfigurationen entwickelt. Diese Mengen an Korrelationen benötigen entsprechende Berücksichtigung bei der Fusion der Zustandsschätzungen. Daher werden mehrere Ansätze zur konservativen Fusion analysiert und angewendet. Zuletzt wird ein Verfahren basierend auf Gaußmischdichten weiterentwickelt, dass die direkte Verwendung von Mengen an Korrelationen ermöglicht. Die in dieser Dissertation erforschten Methoden bieten sowohl Nutzern als auch Herstellern von verteilten Schätzsystemen einen Baukasten an möglichen Lösungen zur systematischen Behandlung von korrelierten Schätzfehlern. Abhängig von der Art und den Umfang des Wissens über Korrelationen, der Kommunikationsbandbreite sowie der gewünschten Qualität der fusionierten Schätzung kann eine Methode passgenau aus den beschriebenen Methoden zusammengesetzt und angewendet werden. Die somit geschlossene Lücke in der Literatur eröffnet neue Möglichkeiten für verteilte Sensorsysteme in verschiedenen Anwendungsgebieten

On the recursive joint position and attitude determination in multi-antenna GNSS platforms

Global Navigation Satellite Systems’ (GNSS) carrier phase observations are fundamental in the provision of precise navigation for modern applications in intelligent transport systems. Differential precise positioning requires the use of a base station nearby the vehicle location, while attitude determination requires the vehicle to be equipped with a setup of multiple GNSS antennas. In the GNSS context, positioning and attitude determination have been traditionally tackled in a separate manner, thus losing valuable correlated information, and for the latter only in batch form. The main goal of this contribution is to shed some light on the recursive joint estimation of position and attitude in multi-antenna GNSS platforms. We propose a new formulation for the joint positioning and attitude (JPA) determination using quaternion rotations. A Bayesian recursive formulation for JPA is proposed, for which we derive a Kalman filter-like solution. To support the discussion and assess the performance of the new JPA, the proposed methodology is compared to standard approaches with actual data collected from a dynamic scenario under the influence of severe multipath effects