Adquisición de base de datos y desarrollo de sistema de reconocimiento biométrico basado en firma manuscrita

Este proyecto se basa en la adquisición y evaluación de una base de datos de firma dinámica con varios dispositivos fijos y móviles, y en dos sesiones separadas en el tiempo. Los dispositivos que se han utilizado para la captura de esta base de datos han sido un Smartphone y dos tabletas: una tableta WACOM, diseñada exclusivamente para la captura de firma dinámica mediante lápiz, y una tableta y smartphone con sistema operativo Android y de uso genérico. Como punto de partida, se estudia el estado del arte. En esta parte se explican los distintos modos de operación en el reconocimiento biométrico. En el modo verificación, se hace especial hincapié en la arquitectura que presenta este tipo de sistema, comenzando por la etapa de captura de datos y terminando en la normalización de puntuaciones. Una vez entendido el estado del arte desde el punto de vista teórico, el siguiente paso ha sido definir y describir el diseño de la base de datos. Esta base de datos es multisesión, multimodal, y lo suficientemente grande como para dar resultados fiables. Se han recogido firmas genuinas, muestras de escritura e imitaciones. Los usuarios que han realizado estas falsificaciones lo han hecho mediante distintos procedimientos, siendo unos más realistas que otros. En el momento en el que la base de datos fue finalmente obtenida, se procedió a realizar la parte experimental. Este desarrollo experimental se ha llevado a cabo en dos etapas. Durante la primera etapa el objetivo fue evaluar el rendimiento del sistema de verificación de firma dinámica sin interoperabilidad. En este punto, se distinguen distintos tipos de comparaciones a la hora de evaluar el rendimiento del sistema, siendo la comparación de lápiz contra dedo una de las destacadas. En la segunda etapa, se estudió de nuevo el rendimiento del sistema pero en este caso, aplicando interoperabilidad entre los dispositivos, con el objetivo de conseguir un rendimiento lo más parecido posible al sistema sin interoperabilidad. Finalmente, se presentan las conclusiones extraídas a lo largo de este trabajo, así como el posible trabajo futuro.This project is based on the acquisition and evaluation of a dynamic signature database with several types of devices, and in two sessions in time. The devices used to capture this database are a Smartphone and tablet with Android Operating System and general purpose, and Wacom tablet specifically designed to acquire dynamic signatures using a pen stylus. To start up, we study the general architecture of a biometric recognition system, considering the different operational modes of identification and verification. In this project we consider a system working in a verification mode, and we pay attention to all the stages from the data capture to the scores normalization. The next step was to define and describe the design of the database. This database is multisession, multi-modal, and large enough to provide reliable results. Samples of genuine signatures and handwriting names together with skilled forgeries. These skilled forgeries have been done by users utilizing several methods, being ones more realistic than others. At the time the database was finally acquired, we proceeded to do the experimental part. This experimental development is carried out in two stages. During the first stage, the objective was to evaluate the performance of the verification system for dynamic signatures without interoperability. At this point, several types of comparisons can be distinguished when evaluating the system performance, being the comparison pencil against finger one of the leading ones. In the second stage, the system performance was studied again but in this case, applying interoperability between devices, with the aim of achieving the closest performance possible to the system in a no interoperability case. Finally, the conclusions drawn throughout this work as well as possible future work are presented

Validation of dynamic signature for identity verification

Machine based identity validation is extremely important to determine the authenticity of documents, for financial transactions, and for e-communication. Recent explosion of frauds have demonstrated the ineffectiveness of password, personal identification numbers and biometrics. This thesis presents a signature verification technique which is inexpensive, user friendly, robust against impostors and is reliable, and insensitive to factors such as users’ exposure to emotional stimuli. This work has addressed three important issues which are: • The selection of appropriate features for dynamic and static signatures. • The suitable classifier for classification of the features. • The impact of emotional stimuli on the natural handwriting and signatures of the subjects. The thesis reports a comparison of the dynamic and static signatures and demonstrates that while the dynamic signature technique has a small increase in the rejection of the authentic user (92% compared with 94%), the system is far more discerning regarding the acceptance of the impostors (1% compared with 21%). The work also demonstrates that the use of ’unknown’ as a class reduces the rejection to zero, by putting those into a class who would be asked to repeat the experiment. This thesis has also studied the impact of emotional stimuli on peoples’ handwriting and signatures and has determined that while the signatures are insensitive to these stimuli, the handwriting is affected by these stimuli. This outcome may be of importance for people who conduct graphology analysis on people because this suggests that while general handwriting is affected by short term emotional changes of people, signatures are a more robust indicator of the person and hence their personality

Analyse de la qualité des signatures manuscrites en-ligne par la mesure d'entropie

Cette thèse s'inscrit dans le contexte de la vérification d'identité par la signature manuscrite en-ligne. Notre travail concerne plus particulièrement la recherche de nouvelles mesures qui permettent de quantifier la qualité des signatures en-ligne et d'établir des critères automatiques de fiabilité des systèmes de vérification. Nous avons proposé trois mesures de qualité faisant intervenir le concept d entropie. Nous avons proposé une mesure de qualité au niveau de chaque personne, appelée Entropie personnelle , calculée sur un ensemble de signatures authentiques d une personne. L originalité de l approche réside dans le fait que l entropie de la signature est calculée en estimant les densités de probabilité localement, sur des portions, par le biais d un Modèle de Markov Caché. Nous montrons que notre mesure englobe les critères habituels utilisés dans la littérature pour quantifier la qualité d une signature, à savoir: la complexité, la variabilité et la lisibilité. Aussi, cette mesure permet de générer, par classification non supervisée, des catégories de personnes, à la fois en termes de variabilité de la signature et de complexité du tracé. En confrontant cette mesure aux performances de systèmes de vérification usuels sur chaque catégorie de personnes, nous avons trouvé que les performances se dégradent de manière significative (d un facteur 2 au minimum) entre les personnes de la catégorie haute Entropie (signatures très variables et peu complexes) et celles de la catégorie basse Entropie (signatures les plus stables et les plus complexes). Nous avons ensuite proposé une mesure de qualité basée sur l entropie relative (distance de Kullback-Leibler), dénommée Entropie Relative Personnelle permettant de quantifier la vulnérabilité d une personne aux attaques (bonnes imitations). Il s agit là d un concept original, très peu étudié dans la littérature. La vulnérabilité associée à chaque personne est calculée comme étant la distance de Kullback-Leibler entre les distributions de probabilité locales estimées sur les signatures authentiques de la personne et celles estimées sur les imitations qui lui sont associées. Nous utilisons pour cela deux Modèles de Markov Cachés, l'un est appris sur les signatures authentiques de la personne et l'autre sur les imitations associées à cette personne. Plus la distance de Kullback-Leibler est faible, plus la personne est considérée comme vulnérable aux attaques. Cette mesure est plus appropriée à l analyse des systèmes biométriques car elle englobe en plus des trois critères habituels de la littérature, la vulnérabilité aux imitations. Enfin, nous avons proposé une mesure de qualité pour les signatures imitées, ce qui est totalement nouveau dans la littérature. Cette mesure de qualité est une extension de l Entropie Personnelle adaptée au contexte des imitations: nous avons exploité l information statistique de la personne cible pour mesurer combien la signature imitée réalisée par un imposteur va coller à la fonction de densité de probabilité associée à la personne cible. Nous avons ainsi défini la mesure de qualité des imitations comme étant la dissimilarité existant entre l'entropie associée à la personne à imiter et celle associée à l'imitation. Elle permet lors de l évaluation des systèmes de vérification de quantifier la qualité des imitations, et ainsi d apporter une information vis-à-vis de la résistance des systèmes aux attaques. Nous avons aussi montré l intérêt de notre mesure d Entropie Personnelle pour améliorer les performances des systèmes de vérification dans des applications réelles. Nous avons montré que la mesure d Entropie peut être utilisée pour : améliorer la procédure d enregistrement, quantifier la dégradation de la qualité des signatures due au changement de plateforme, sélectionner les meilleures signatures de référence, identifier les signatures aberrantes, et quantifier la pertinence de certains paramètres pour diminuer la variabilité temporelle.This thesis is focused on the quality assessment of online signatures and its application to online signature verification systems. Our work aims at introducing new quality measures quantifying the quality of online signatures and thus establishing automatic reliability criteria for verification systems. We proposed three quality measures involving the concept of entropy, widely used in Information Theory. We proposed a novel quality measure per person, called "Personal Entropy" calculated on a set of genuine signatures of such a person. The originality of the approach lies in the fact that the entropy of the genuine signature is computed locally, on portions of such a signature, based on local density estimation by a Hidden Markov Model. We show that our new measure includes the usual criteria of the literature, namely: signature complexity, signature variability and signature legibility. Moreover, this measure allows generating, by an unsupervised classification, 3 coherent writer categories in terms of signature variability and complexity. Confronting this measure to the performance of two widely used verification systems (HMM, DTW) on each Entropy-based category, we show that the performance degrade significantly (by a factor 2 at least) between persons of "high Entropy-based category", containing the most variable and the least complex signatures and those of "low Entropy-based category", containing the most stable and the most complex signatures. We then proposed a novel quality measure based on the concept of relative entropy (also called Kullback-Leibler distance), denoted Personal Relative Entropy for quantifying person's vulnerability to attacks (good forgeries). This is an original concept and few studies in the literature are dedicated to this issue. This new measure computes, for a given writer, the Kullback-Leibler distance between the local probability distributions of his/her genuine signatures and those of his/her skilled forgeries: the higher the distance, the better the writer is protected from attacks. We show that such a measure simultaneously incorporates in a single quantity the usual criteria proposed in the literature for writer categorization, namely signature complexity, signature variability, as our Personal Entropy, but also the vulnerability criterion to skilled forgeries. This measure is more appropriate to biometric systems, because it makes a good compromise between the resulting improvement of the FAR and the corresponding degradation of FRR. We also proposed a novel quality measure aiming at quantifying the quality of skilled forgeries, which is totally new in the literature. Such a measure is based on the extension of our former Personal Entropy measure to the framework of skilled forgeries: we exploit the statistical information of the target writer for measuring to what extent an impostor s hand-draw sticks to the target probability density function. In this framework, the quality of a skilled forgery is quantified as the dissimilarity existing between the target writer s own Personal Entropy and the entropy of the skilled forgery sample. Our experiments show that this measure allows an assessment of the quality of skilled forgeries of the main online signature databases available to the scientific community, and thus provides information about systems resistance to attacks. Finally, we also demonstrated the interest of using our Personal Entropy measure for improving performance of online signature verification systems in real applications. We show that Personal Entropy measure can be used to: improve the enrolment process, quantify the quality degradation of signatures due to the change of platforms, select the best reference signatures, identify the outlier signatures, and quantify the relevance of times functions parameters in the context of temporal variability.EVRY-INT (912282302) / SudocSudocFranceF