13 research outputs found
Signal processing and machine learning techniques for human verification based on finger textures
PhD ThesisIn recent years, Finger Textures (FTs) have attracted considerable
attention as potential biometric characteristics. They can provide
robust recognition performance as they have various human-speci c
features, such as wrinkles and apparent lines distributed along the
inner surface of all ngers. The main topic of this thesis is verifying
people according to their unique FT patterns by exploiting signal
processing and machine learning techniques.
A Robust Finger Segmentation (RFS) method is rst proposed to
isolate nger images from a hand area. It is able to detect the ngers
as objects from a hand image. An e cient adaptive nger
segmentation method is also suggested to address the problem of
alignment variations in the hand image called the Adaptive and Robust
Finger Segmentation (ARFS) method.
A new Multi-scale Sobel Angles Local Binary Pattern (MSALBP)
feature extraction method is proposed which combines the Sobel
direction angles with the Multi-Scale Local Binary Pattern (MSLBP).
Moreover, an enhanced method called the Enhanced Local Line Binary
Pattern (ELLBP) is designed to e ciently analyse the FT patterns. As
a result, a powerful human veri cation scheme based on nger Feature
Level Fusion with a Probabilistic Neural Network (FLFPNN) is
proposed. A multi-object fusion method, termed the Finger
Contribution Fusion Neural Network (FCFNN), combines the
contribution scores of the nger objects.
The veri cation performances are examined in the case of missing FT
areas. Consequently, to overcome nger regions which are poorly
imaged a method is suggested to salvage missing FT elements by
exploiting the information embedded within the trained Probabilistic
Neural Network (PNN). Finally, a novel method to produce a Receiver
Operating Characteristic (ROC) curve from a PNN is suggested.
Furthermore, additional development to this method is applied to
generate the ROC graph from the FCFNN.
Three databases are employed for evaluation: The Hong Kong
Polytechnic University Contact-free 3D/2D (PolyU3D2D), Indian
Institute of Technology (IIT) Delhi and Spectral 460nm (S460) from
the CASIA Multi-Spectral (CASIAMS) databases. Comparative
simulation studies con rm the e ciency of the proposed methods for
human veri cation.
The main advantage of both segmentation approaches, the RFS and
ARFS, is that they can collect all the FT features. The best results
have been benchmarked for the ELLBP feature extraction with the
FCFNN, where the best Equal Error Rate (EER) values for the three
databases PolyU3D2D, IIT Delhi and CASIAMS (S460) have been
achieved 0.11%, 1.35% and 0%, respectively. The proposed salvage
approach for the missing feature elements has the capability to enhance
the veri cation performance for the FLFPNN. Moreover, ROC graphs
have been successively established from the PNN and FCFNN.the ministry of higher
education and scientific research in Iraq (MOHESR); the Technical
college of Mosul; the Iraqi Cultural Attach e; the active people in the
MOHESR, who strongly supported Iraqi students
Biometric Systems
Because of the accelerating progress in biometrics research and the latest nation-state threats to security, this book's publication is not only timely but also much needed. This volume contains seventeen peer-reviewed chapters reporting the state of the art in biometrics research: security issues, signature verification, fingerprint identification, wrist vascular biometrics, ear detection, face detection and identification (including a new survey of face recognition), person re-identification, electrocardiogram (ECT) recognition, and several multi-modal systems. This book will be a valuable resource for graduate students, engineers, and researchers interested in understanding and investigating this important field of study
HandSight: A Touch-Based Wearable System to Increase Information Accessibility for People with Visual Impairments
Many activities of daily living such as getting dressed, preparing food, wayfinding, or shopping rely heavily on visual information, and the inability to access that information can negatively impact the quality of life for people with vision impairments. While numerous researchers have explored solutions for assisting with visual tasks that can be performed at a distance, such as identifying landmarks for navigation or recognizing people and objects, few have attempted to provide access to nearby visual information through touch. Touch is a highly attuned means of acquiring tactile and spatial information, especially for people with vision impairments. By supporting touch-based access to information, we may help users to better understand how a surface appears (e.g., document layout, clothing patterns), thereby improving the quality of life.
To address this gap in research, this dissertation explores methods to augment a visually impaired user’s sense of touch with interactive, real-time computer vision to access information about the physical world. These explorations span three application areas: reading and exploring printed documents, controlling mobile devices, and identifying colors and visual textures. At the core of each application is a system called HandSight that uses wearable cameras and other sensors to detect touch events and identify surface content beneath the user’s finger. To create HandSight, we designed and implemented the physical hardware, developed signal processing and computer vision algorithms, and designed real-time feedback that enables users to interpret visual or digital content. We involve visually impaired users throughout the design and development process, conducting several user studies to assess usability and robustness and to improve our prototype designs.
The contributions of this dissertation include: (i) developing and iteratively refining HandSight, a novel wearable system to assist visually impaired users in their daily lives; (ii) evaluating HandSight across a diverse set of tasks, and identifying tradeoffs of a finger-worn approach in terms of physical design, algorithmic complexity and robustness, and usability; and (iii) identifying broader design implications for future wearable systems and for the fields of accessibility, computer vision, augmented and virtual reality, and human-computer interaction
Advanced Biometrics with Deep Learning
Biometrics, such as fingerprint, iris, face, hand print, hand vein, speech and gait recognition, etc., as a means of identity management have become commonplace nowadays for various applications. Biometric systems follow a typical pipeline, that is composed of separate preprocessing, feature extraction and classification. Deep learning as a data-driven representation learning approach has been shown to be a promising alternative to conventional data-agnostic and handcrafted pre-processing and feature extraction for biometric systems. Furthermore, deep learning offers an end-to-end learning paradigm to unify preprocessing, feature extraction, and recognition, based solely on biometric data. This Special Issue has collected 12 high-quality, state-of-the-art research papers that deal with challenging issues in advanced biometric systems based on deep learning. The 12 papers can be divided into 4 categories according to biometric modality; namely, face biometrics, medical electronic signals (EEG and ECG), voice print, and others
Advancing the technology of sclera recognition
PhD ThesisEmerging biometric traits have been suggested recently to overcome
some challenges and issues related to utilising traditional human
biometric traits such as the face, iris, and fingerprint. In particu-
lar, iris recognition has achieved high accuracy rates under Near-
InfraRed (NIR) spectrum and it is employed in many applications for
security and identification purposes. However, as modern imaging
devices operate in the visible spectrum capturing colour images, iris
recognition has faced challenges when applied to coloured images
especially with eye images which have a dark pigmentation. Other
issues with iris recognition under NIR spectrum are the constraints on
the capturing process resulting in failure-to-enrol, and degradation in
system accuracy and performance. As a result, the research commu-
nity investigated using other traits to support the iris biometric in the
visible spectrum such as the sclera.
The sclera which is commonly known as the white part of the eye
includes a complex network of blood vessels and veins surrounding
the eye. The vascular pattern within the sclera has different formations
and layers providing powerful features for human identification. In
addition, these blood vessels can be acquired in the visible spectrum
and thus can be applied using ubiquitous camera-based devices. As a
consequence, recent research has focused on developing sclera recog-
nition. However, sclera recognition as any biometric system has issues
and challenges which need to be addressed. These issues are mainly
related to sclera segmentation, blood vessel enhancement, feature ex-
traction, template registration, matching and decision methods. In
addition, employing the sclera biometric in the wild where relaxed
imaging constraints are utilised has introduced more challenges such
as illumination variation, specular reflections, non-cooperative user
capturing, sclera blocked region due to glasses and eyelashes, variation
in capturing distance, multiple gaze directions, and eye rotation.
The aim of this thesis is to address such sclera biometric challenges
and highlight the potential of this trait. This also might inspire further
research on tackling sclera recognition system issues. To overcome the
vii
above-mentioned issues and challenges, three major contributions are
made which can be summarised as 1) designing an efficient sclera
recognition system under constrained imaging conditions which in-
clude new sclera segmentation, blood vessel enhancement, vascular
binary network mapping and feature extraction, and template registra-
tion techniques; 2) introducing a novel sclera recognition system under
relaxed imaging constraints which exploits novel sclera segmentation,
sclera template rotation alignment and distance scaling methods, and
complex sclera features; 3) presenting solutions to tackle issues related
to applying sclera recognition in a real-time application such as eye
localisation, eye corner and gaze detection, together with a novel image
quality metric.
The evaluation of the proposed contributions is achieved using five
databases having different properties representing various challenges
and issues. These databases are the UBIRIS.v1, UBIRIS.v2, UTIRIS,
MICHE, and an in-house database. The results in terms of segmen-
tation accuracy, Equal Error Rate (EER), and processing time show
significant improvement in the proposed systems compared to state-
of-the-art methods.Ministry of Higher Education and
Scientific Research in Iraq and the Iraqi Cultural Attach´e in Londo
Combining Model-Based with Learning-Based Approaches for Autonomous Manipulation
Kollaboration zwischen Menschen und Robotern gewinnt zunehmend an Bedeutung in der Industrie und Forschung. Manipulation ist eine Grundvoraussetzung für eine erfolgreiche Kollaboration und deshalb eine grundlegende Forschungsfrage in der Robotik. Bei der Manipulation von Objekten, zum Beispiel beim Greifen eines Bohrers, müssen Roboter mit einer dynamischen Umgebungen, partieller Wahrnehmung, Model- und Ausführungsunsicherheit zurechtkommen. In dieser Arbeit identifizieren wir Einschränkungen von modellbasierten Ansätzen des gegenwärtigen Standes der Technik für Manipulationsaufgaben und untersuchen wie man diese mit Lernverfahren kombinieren und verbessern kann, um autonome Manipulation zu ermöglichen. Maschinelle Lernverfahren wie , die mithilfe von großen Datenmengen ein gutes Modell lernen, sind sehr geeignet für die Robotik, da Roboter ihre Umgebung mithilfe von einer Vielzahl an Sensoren wahrnehmen und dadurch eine Fülle von Daten erzeugen. Im Gegensatz zu anderen Forschungsgebieten, wie zum Beispiel Sprach- und Bildverarbeitung, interagieren Roboter mit ihrer Umgebung, sodass Vorhersagen einen physikalischen Einfluss auf die Umgebung haben. Aufgrund der Interaktion mit der Umgebung und der kontinuierlichen Wahrnehmung ergibt sich eine Rückkopplungsschleife die neue Herangehensweisen erfordert um Sicherheitsbedenken und Geschwindigkeitsanforderungen zu erfüllen.
Das Ziel dieser Dissertation ist es zu untersuchen, wie man bestehende Robotersysteme mithilfe von verbessern kann. Dabei ist es wichtig das vorhandene domänenspezifische Wissen nicht zu vernachlässigen, sondern in die zu integrieren. Die Ergebnisse dieser Arbeit zeigen, dass Ansätze Methoden sehr gut ergänzen und es ermöglichen Probleme, die ansonsten unlösbar wären, zu lösen. Wir zeigen, wie man bestehende Modelle zum Trainieren von Lernverfahren verwenden kann. Dadurch wird problemspezifisches Expertenwissen in den Datengenerierungsprozess integriert und somit an das gelernte Modell weitergegeben. Wir entwickeln außerdem ein neues Optimierungsverfahren, das während der Optimierung etwas über den Vorgang an sich lernt. Ein solches Verfahren ist sehr relevant für eine Vielzahl von Problemen in der Robotik, da Manipulationssysteme kontinuierlich neue Aufgaben lösen müssen.
Im Folgenden stellen wir die Hauptbeiträge dieser Dissertation vor, eingebettet in den Kontext von Manipulationsaufgaben.
Der Hauptbeitrag dieser Arbeit ist ein voll integriertes Manipulationssystem das erste einheitliche Experimente und dadurch empirische Ergebnisse ermöglicht. Diese zeigen eindeutig, dass kontinuierliche, zeitnahe Wahrnehmung und die Integration mit schnellen Verfahren zur Erzeugung von reaktiven Bewegungen essenziell für erfolgreiche Manipulation in dynamischen Szenarien ist. Wir vergleichen drei verschiedene Systeme, welche die gängigsten Architekturen im Bereich Robotik für Manipulation repräsentieren: (i) Ein traditioneller Ansatz (aktuell am weitesten verbreitet), (ii) einen myopischen Regelungsansatz, der nur auf lokale Veränderungen reagiert und (iii) ein reaktives Planungsverfahren, das auf Änderungen der Umgebung reagiert diese in die Bewegungsplanung einbezieht und den aktuellen Plan transparent an einen schnelleres lokales Regelungsverfahren übergibt. Unser Gesamtsystem ist rein und umfangreich auf einer realen Roboterplattform in vier Szenarien empirisch evaluiert worden. Unsere experimentellen Szenarien beinhalten anspruchsvolle Geometrien im Arbeitsraum des Roboters, dynamische Umgebungen und Objekte mit denen der Roboter interagieren muss. Diese Arbeit zeigt den aktuellen Stand der Forschung, der mit einem \textit{modellbasierten} Manipulationssystem im Bereich der Robotik unter Verwendung von schnellen Rückkopplungen und langsamerer reaktiver Planung möglich ist. Angesichts des Interesses in der Robotikforschung Systeme mit ganzheitlich zu ersetzen, ist es wichtig ein performantes Referenzsystem zu haben um neue Methoden qualitativ in Hinblick auf ihre Fähigkeiten und ihre Generalisierbarkeit zu vergleichen. Weiterhin erlaubt ein solches System Probleme mit Ansätzen zu identifizieren und diese mithilfe von Methoden zu verbessern.
Die meisten Robotermanipulationssysteme verfügen über viele Sensoren mit unterschiedlichen Modalitäten und Rauschverhalten. Die Entwicklung von für alle Sensoren ist nicht trivial und die resultierende Modelle zu komplex für Echtzeitverarbeitung in Manipulationssystem. Planen mit vielen Sensormodalitäten ist besonders komplex aufgrund der vielen Modellunsicherheiten. Dies ist besonders ausgeprägt für Manipulationsaufgaben bei denen Kontakte zwischen Roboter und Objekten von Bedeutung sind. Eine der Hauptherausforderung für autonome Manipulation ist daher die Erzeugung geeigneter multimodaler Referenztrajektorien, die es ermöglichen Steuerbefehle für Regelungssysteme zu berechnen die nicht modellierte Störungen kompensieren und damit die Erfüllung der gestellten Manipulationsaufgabe ermöglichen. In dieser Arbeit stellen wir einen Ansatz zur inkrementellen Erfassung von Referenzsignalen vor, der in Echtzeit entscheidet ein Verhalten abgebrochen und zu Verhalten gewechselt werden sollte, um eine erfolgreiche Ausführung zu gewährleisten. Wir formulieren dieses Online-Entscheidungsproblem als zwei miteinander verbundene Klassifikationsprobleme. Beide verarbeiten die aktuellen Sensormesswerte, zusammengesetzt aus mehreren Sensormodalitäten, in Echtzeit (in 30 Hz). Dieser Ansatz basiert auf unserem domänenspezifischen Problemverständnis, dass stereotypische Bewegungsgenerierung ähnliche Sensordaten erzeugt. Unsere Experimente zeigen, dass dieser Ansatz es ermöglicht schwierige kontextbasierte Aufgaben zu erlernen, die präzise Manipulation von relativ kleinen Objekten voraussetzen. Um eine solche Aufgabe zu erlernen, benötigt ein Benutzer unseres Systems kein Expertenwissen. Das System benötigt nur kinästhetische Demonstrationen und Unterbrechungen in Fehlersituationen. Die gelernte Aufgabenausführung ist robust gegen Störeinflüsse und Sensorrauschen, da unsere Methode online entscheidet, ob sie aufgrund von unerwarteter sensorischer Signale zu einer anderen Ausführung wechseln sollte oder nicht.
Greifen ist ein wichtiges Forschungsproblem in der Robotik, da es eine Grundvoraussetzung für Manipulation darstellt. In dieser Arbeit konzentrieren wir uns auf das Problem der Vorhersage von Position und Orientierung bevor ein Kontakt zwischen Objekt und Endeffektor eintritt. Für diesen grundlegenden Schritt um “erfolgreich zu greifen” stehen nur visuelle Sensordaten wie 2D-Bilder und/oder 3D-Punktwolken zur Verfügung. Die Verwendung von Greifplanern ist in solchen Situationen nicht optimal, da präzise Simulationen zu rechenintensiv sind und alle Objekte bekannt, erkannt und visuell verfolgt werden müssen. Verfahren die direkt von visuellen Sensordaten stabile Griffe vorhersagen sind sehr effizient in der Auswertung jedoch benötigen die aktuell vielversprechendsten Verfahren, neuronale Netze, eine Vielzahl von annotierten Beispielen um diese Abbildung zu lernen. Im Rahmen dieser Arbeit stellen wir eine umfangreichen Datenbank mit einer Vielzahl von Objekten aus sehr unterschiedlichen Kategorien vor. Auf Basis dieser Datenbank analysieren wir drei Aspekte: (i) Eine Crowdsourcing Studie zeigt, dass unsere neu vorgestellte Metrik auf Basis einer physikalischen Simulation ein besserer Indikator für Greiferfolg im Vergleich zu der bestehenden Standard ϵ-Metrik ist. Darüber hinaus deutet unsere Studie darauf hin, dass unsere Datengenerierung keine manuelle Datenannotation benötigt. (ii) Die daraus resultierende Datenbank ermöglicht die Optimierung von parametrischen Lernverfahren wie neuronale Netze. Dadurch, dass wir eine Abbildung von Sensordaten zu möglichen Griffen lernen, muss das Objekt, seine Position und Orientierung nicht bekannt sein. Darüber hinaus zeigen wir, dass einfachere Methoden wie logistische Regression nicht die Kapazität haben um die Komplexität unserer Daten zu erfassen. (iii) Roboter nehmen ein Szenario typischerweise aus einem Blickwinkel wahr und versuchen ein Objekt mit dem ersten Versuch zu greifen. Klassifikationsverfahren sind nicht speziell für diese Verwendung optimiert, weshalb wir eine neue Formulierung erarbeiten, welche die beste, Hypothese aus den jeweiligen Teilmengen auswählt. Diese neuartige Optimierungszielsetzung ermöglicht dies selbst auf unserem binären Datensatz, da das Lernverfahren selbst die Daten ordnet und somit einfach zu erkennende Griffe selbst auswählen kann.
Sichere Bewegungsausführung auf Basis von Regelungskreisen sind entscheidend für Roboter die mit Menschen kollaborativ Manipulationsaufgaben lösen. Daher werden neue Methoden benötigt, die es ermöglichen inversen Dynamikmodelle zu lernen und bestehende Modelle zu verbessern, um Verstärkungsgrößen in Regelungskreisen zu minimieren. Dies ist besonders wichtig, wenn Objekte manipuliert werden, da sich das bekannte inverse Dynamikmodell dadurch verändert. Aktuelle Verfahren, welche Fehlermodelle zu bestehenden Regler für die inverse Dynamik zu lernen, werden auf Basis der erzielten Beschleunigungen und Drehmomenten optimiert. Da die tatsächlich realisierten Beschleunigungen, eine indirekte Datenquelle, jedoch nicht die gewünschten Beschleunigungen darstellen, werden hohe Verstärkungen im Regelkreis benötigt, um relevantere Daten zu erhalten die es erlauben ein gutes Modell zu lernen. Hohe Verstärkung im Regelkreis ist wiederum schlecht für die Sicherheit. In dieser Arbeit leiten wir ein zusätzliches Trainingssignal her, das auf der gewünschten Beschleunigungen basiert und von dem Rückkopplungssignal abgeleitet werden kann. Wir analysieren die Nutzung beider Datenquellen in Simulation und demonstrieren ihre Wirksamkeit auf einer realen Roboterplattform. Wir zeigen, dass das System das gelernte inverse Dynamikmodell inkrementell verbessert. Durch die Kombination beider Datenquellen kann ein neues Modell konsistenter und schneller gelernt werden und zusätzlich werden keine hohen Verstärkungen im Regelungskreis benötigt.
Menschen sind bemerkenswert gut darin, neue oder angepasste Fähigkeiten schnell zu erlernen. Dies ist darauf zurückzuführen, dass wir nicht jede neue Fähigkeit von Grund auf neu erlernen, sondern stattdessen auf den bereits gewonnenen Fertigkeiten aufbauen. Die meisten robotergestützten Lernaufgaben würden davon profitieren, wenn sie ein solches abstraktes Meta-Lernverfahren zur Verfügung hätten. Ein solcher Ansatz ist von großer Bedeutung für die Robotik, da autonomes Lernen ein inhärent inkrementelles Problem ist. In dieser Arbeit stellen wir einen neuen vor, der es erstmals ermöglicht die Roboterdynamik online zu erlernen und auf neue Probleme zu übertragen. Während der Optimierung lernt unser Verfahren die Struktur der Optimierungsprobleme, welche für neue Aufgaben verwendet werden kann, was zu einer schnelleren Konvergenz führt. Das vorgeschlagene kann zudem mit jedem beliebigen gradientenbasierten Optimierungsansatz verwendet werden. Wir zeigen, dass unser Ansatz die Dateneffizienz für inkrementelles Lernen erhöht. Weiterhin ist unser Verfahren für das mit korrelierten Daten geeignet, zum Beispiel für inverse Dynamikmodelle. Der vorgestellte Ansatz eröffnet zusätzlich völlig neue Wege um in Simulation gewonnene Erfahrungen in die reale Welt zu transferieren. Dadurch kann möglicherweise bestehendes Domänenwissen in Form von Simulation auf völlig neue Weise verwendet werden
Modelling and analysis of hand motion in everyday activities with application to prosthetic hand technology
Upper-limb prostheses are either too expensive for many consumers or exhibit a greatly simplified choice of actions, this research aims to enable an improvement in the quality of life for recipients of these devices. Previous attempts at determining the hand shapes performed during activities of daily living (ADL) provide a limited range of tasks studied and data recorded. To avoid these limitations, motion capture systems and machine learning techniques have been utilised throughout this study. A portable motion capture system created, utilising a Leap Motion controller (LMC), has captured natural hand motions during modern ADL. Furthering the use of these data, a method applying optimisation techniques alongside a musculoskeletal model of the hand is proposed for predicting muscle excitations from kinematic data. The LMC was also employed in a device (AirGo) created to measure joint angles, aiming to provide an improvement to joint angle measurements in hand clinics. Hand movements for 22 participants were recorded during ADL over 111 hours and 20 minutes - providing a taxonomy of 40 and 24 hand shapes for the left and right hands, respectively. The predicted muscle excitations produced joint angles with an average correlation of 0.58 to those of the desired hand shapes. AirGo has been successfully employed within a hand therapy clinic to measure digit angles of 11 patients. A taxonomy of the hand shapes used in modern ADL is presented, highlighting the hand shapes currently more appropriate to consider during upper-limb prostheses development. A method for predicting the muscle excitations of the hand from kinematic data is introduced, implemented with data collected during ADL. AirGo offered improved repeatability over traditional devices used for such measurements with greater ease of use
Engineering Dynamics and Life Sciences
From Preface:
This is the fourteenth time when the conference “Dynamical Systems: Theory
and Applications” gathers a numerous group of outstanding scientists and engineers, who
deal with widely understood problems of theoretical and applied dynamics.
Organization of the conference would not have been possible without a great effort of
the staff of the Department of Automation, Biomechanics and Mechatronics. The patronage
over the conference has been taken by the Committee of Mechanics of the Polish Academy
of Sciences and Ministry of Science and Higher Education of Poland.
It is a great pleasure that our invitation has been accepted by recording in the history
of our conference number of people, including good colleagues and friends as well as a large
group of researchers and scientists, who decided to participate in the conference for the
first time. With proud and satisfaction we welcomed over 180 persons from 31 countries all
over the world. They decided to share the results of their research and many years
experiences in a discipline of dynamical systems by submitting many very interesting
papers.
This year, the DSTA Conference Proceedings were split into three volumes entitled
“Dynamical Systems” with respective subtitles: Vibration, Control and Stability of Dynamical
Systems; Mathematical and Numerical Aspects of Dynamical System Analysis and
Engineering Dynamics and Life Sciences. Additionally, there will be also published two
volumes of Springer Proceedings in Mathematics and Statistics entitled “Dynamical Systems
in Theoretical Perspective” and “Dynamical Systems in Applications”