Proof-of-Concept

Biometry is an area in great expansion and is considered as possible solution to cases where high authentication parameters are required. Although this area is quite advanced in theoretical terms, using it in practical terms still carries some problems. The systems available still depend on a high cooperation level to achieve acceptable performance levels, which was the backdrop to the development of the following project. By studying the state of the art, we propose the creation of a new and less cooperative biometric system that reaches acceptable performance levels.A constante necessidade de parâmetros mais elevados de segurança, nomeadamente ao nível de autenticação, leva ao estudo biometria como possível solução. Actualmente os mecanismos existentes nesta área tem por base o conhecimento de algo que se sabe ”password” ou algo que se possui ”codigo Pin”. Contudo este tipo de informação é facilmente corrompida ou contornada. Desta forma a biometria é vista como uma solução mais robusta, pois garante que a autenticação seja feita com base em medidas físicas ou compartimentais que definem algo que a pessoa é ou faz (”who you are” ou ”what you do”). Sendo a biometria uma solução bastante promissora na autenticação de indivíduos, é cada vez mais comum o aparecimento de novos sistemas biométricos. Estes sistemas recorrem a medidas físicas ou comportamentais, de forma a possibilitar uma autenticação (reconhecimento) com um grau de certeza bastante considerável. O reconhecimento com base no movimento do corpo humano (gait), feições da face ou padrões estruturais da íris, são alguns exemplos de fontes de informação em que os sistemas actuais se podem basear. Contudo, e apesar de provarem um bom desempenho no papel de agentes de reconhecimento autónomo, ainda estão muito dependentes a nível de cooperação exigida. Tendo isto em conta, e tudo o que já existe no ramo do reconhecimento biometrico, esta área está a dar passos no sentido de tornar os seus métodos o menos cooperativos poss??veis. Possibilitando deste modo alargar os seus objectivos para além da mera autenticação em ambientes controlados, para casos de vigilância e controlo em ambientes não cooperativos (e.g. motins, assaltos, aeroportos). É nesta perspectiva que o seguinte projecto surge. Através do estudo do estado da arte, pretende provar que é possível criar um sistema capaz de agir perante ambientes menos cooperativos, sendo capaz de detectar e reconhecer uma pessoa que se apresente ao seu alcance.O sistema proposto PAIRS (Periocular and Iris Recognition Systema) tal como nome indica, efectua o reconhecimento através de informação extraída da íris e da região periocular (região circundante aos olhos). O sistema é construído com base em quatro etapas: captura de dados, pré-processamento, extração de características e reconhecimento. Na etapa de captura de dados, foi montado um dispositivo de aquisição de imagens com alta resolução com a capacidade de capturar no espectro NIR (Near-Infra-Red). A captura de imagens neste espectro tem como principal linha de conta, o favorecimento do reconhecimento através da íris, visto que a captura de imagens sobre o espectro visível seria mais sensível a variações da luz ambiente. Posteriormente a etapa de pré-processamento implementada, incorpora todos os módulos do sistema responsáveis pela detecção do utilizador, avaliação de qualidade de imagem e segmentação da íris. O modulo de detecção é responsável pelo desencadear de todo o processo, uma vez que esta é responsável pela verificação da exist?ncia de um pessoa em cena. Verificada a sua exist?ncia, são localizadas as regiões de interesse correspondentes ? íris e ao periocular, sendo também verificada a qualidade com que estas foram adquiridas. Concluídas estas etapas, a íris do olho esquerdo é segmentada e normalizada. Posteriormente e com base em vários descritores, é extraída a informação biométrica das regiões de interesse encontradas, e é criado um vector de características biométricas. Por fim, é efectuada a comparação dos dados biometricos recolhidos, com os já armazenados na base de dados, possibilitando a criação de uma lista com os níveis de semelhança em termos biometricos, obtendo assim um resposta final do sistema. Concluída a implementação do sistema, foi adquirido um conjunto de imagens capturadas através do sistema implementado, com a participação de um grupo de voluntários. Este conjunto de imagens permitiu efectuar alguns testes de desempenho, verificar e afinar alguns parâmetros, e proceder a optimização das componentes de extração de características e reconhecimento do sistema. Analisados os resultados foi possível provar que o sistema proposto tem a capacidade de exercer as suas funções perante condições menos cooperativas

Fusion Iris and Periocular Recognitions in Non-Cooperative Environment

The performance of iris recognition in non-cooperative environment can be negatively impacted when the resolution of the iris images is low which results in failure to determine the eye center, limbic and pupillary boundary of the iris segmentation. Hence, a combination with periocular features is suggested to increase the authenticity of the recognition system. However, the texture feature of periocular can be easily affected by a background complication while the colour feature of periocular is still limited to spatial information and quantization effects. This happens due to different distances between the sensor and the subject during the iris acquisition stage as well as image size and orientation. The proposed method of periocular feature extraction consists of a combination of rotation invariant uniform local binary pattern to select the texture features and a method of color moment to select the color features. Besides, a hue-saturation-value channel is selected to avoid loss of discriminative information in the eye image. The proposed method which consists of combination between texture and colour features provides the highest accuracy for the periocular recognition with more than 71.5% for the UBIRIS.v2 dataset and 85.7% for the UBIPr dataset. For the fusion recognitions, the proposed method achieved the highest accuracy with more than 85.9% for the UBIRIS.v2 dataset and 89.7% for the UBIPr dataset

Artificial Pupil Dilation for Data Augmentation in Iris Semantic Segmentation

Biometrics is the science of identifying an individual based on their intrinsic anatomical or behavioural characteristics, such as fingerprints, face, iris, gait, and voice. Iris recognition is one of the most successful methods because it exploits the rich texture of the human iris, which is unique even for twins and does not degrade with age. Modern approaches to iris recognition utilize deep learning to segment the valid portion of the iris from the rest of the eye, so it can then be encoded, stored and compared. This paper aims to improve the accuracy of iris semantic segmentation systems by introducing a novel data augmentation technique. Our method can transform an iris image with a certain dilation level into any desired dilation level, thus augmenting the variability and number of training examples from a small dataset. The proposed method is fast and does not require training. The results indicate that our data augmentation method can improve segmentation accuracy up to 15% for images with high pupil dilation, which creates a more reliable iris recognition pipeline, even under extreme dilation.Comment: 6 pages, 7 figures, 2 table

Machine Learning Techniques and Optical Systems for Iris Recognition from Distant Viewpoints

Vorhergehende Studien konnten zeigen, dass es im Prinzip möglich ist die Methode der Iriserkennung als biometrisches Merkmal zur Identifikation von Fahrern zu nutzen. Die vorliegende Arbeit basiert auf den Resultaten von [35], welche ebenfalls als Ausgangspunkt dienten und teilweise wiederverwendet wurden. Das Ziel dieser Dissertation war es, die Iriserkennung in einem automotiven Umfeld zu etablieren. Das einzigartige Muster der Iris, welches sich im Laufe der Zeit nicht verändert, ist der Grund, warum die Methode der Iriserkennung eine der robustesten biometrischen Erkennungsmethoden darstellt. Um eine Datenbasis für die Leistungsfähigkeit der entwickelten Lösung zu schaffen, wurde eine automotive Kamera benutzt, die mit passenden NIR-LEDs vervollständigt wurde, weil Iriserkennung am Besten im nahinfraroten Bereich (NIR) durchgeführt wird. Da es nicht immer möglich ist, die aufgenommenen Bilder direkt weiter zu verabeiten, werden zu Beginn einige Techniken zur Vorverarbeitung diskutiert. Diese verfolgen sowohl das Ziel die Qualität der Bilder zu erhöhen, als auch sicher zu stellen, dass lediglich Bilder mit einer akzeptablen Qualität verarbeitet werden. Um die Iris zu segmentieren wurden drei verschiedene Algorithmen implementiert. Dabei wurde auch eine neu entwickelte Methode zur Segmentierung in der polaren Repräsentierung eingeführt. Zusätzlich können die drei Techniken von einem "Snake Algorithmus", einer aktiven Kontur Methode, unterstützt werden. Für die Entfernung der Augenlider und Wimpern aus dem segmentierten Bereich werden vier Ansätze präsentiert. Um abzusichern, dass keine Segmentierungsfehler unerkannt bleiben, sind zwei Optionen eines Segmentierungsqualitätschecks angegeben. Nach der Normalisierung mittels "Rubber Sheet Model" werden die Merkmale der Iris extrahiert. Zu diesem Zweck werden die Ergebnisse zweier Gabor Filter verglichen. Der Schlüssel zu erfolgreicher Iriserkennung ist ein Test der statistischen Unabhängigkeit. Dabei dient die Hamming Distanz als Maß für die Unterschiedlichkeit zwischen der Phaseninformation zweier Muster. Die besten Resultate für die benutzte Datenbasis werden erreicht, indem die Bilder zunächst einer Schärfeprüfung unterzogen werden, bevor die Iris mittels der neu eingeführten Segmentierung in der polaren Repräsentierung lokalisiert wird und die Merkmale mit einem 2D-Gabor Filter extrahiert werden. Die zweite biometrische Methode, die in dieser Arbeit betrachtet wird, benutzt die Merkmale im Bereich der die Iris umgibt (periokular) zur Identifikation. Daher wurden mehrere Techniken für die Extraktion von Merkmalen und deren Klassifikation miteinander verglichen. Die Erkennungsleistung der Iriserkennung und der periokularen Erkennung, sowie die Fusion der beiden Methoden werden mittels Quervergleichen der aufgenommenen Datenbank gemessen und übertreffen dabei deutlich die Ausgangswerte aus [35]. Da es immer nötig ist biometrische Systeme gegen Manipulation zu schützen, wird zum Abschluss eine Technik vorgestellt, die es erlaubt, Betrugsversuche mittels eines Ausdrucks zu erkennen. Die Ergebnisse der vorliegenden Arbeit zeigen, dass es zukünftig möglich ist biometrische Merkmale anstelle von Autoschlüsseln einzusetzen. Auch wegen dieses großen Erfolges wurden die Ergebnisse bereits auf der Consumer Electronics Show (CES) im Jahr 2018 in Las Vegas vorgestellt

A Multimodal Biometric Authentication for Smartphones

Title from PDF of title page, viewed on October 18, 2016Dissertation advisor: Reza DerakhshaniVitaIncludes bibliographical references (pages 119-127)Thesis (Ph.D.)--School of Computing and Engineering. University of Missouri--Kansas City, 2015Biometrics is seen as a viable solution to ageing password based authentication on smartphones. Fingerprint biometric is leading the biometric technology for smartphones, however, owing to its high cost, major players in mobile industry are introducing fingerprint sensors only on their flagship devices, leaving most of their other devices without a fingerprint sensor. Cameras on the other hand have been seeing a constant upgrade in sensor and supporting hardware, courtesy of ‘selfies’ on all smartphones. Face, iris and visible vasculature are three biometric traits that can be captured in visible spectrum using existing cameras on smartphone. Current biometric recognition systems on smartphones rely on a single biometric trait for faster authentication thereby increasing the probability of failure to enroll, affecting the usability of the biometric system for practical purposes. While multibiometric system mitigates this problem, computational models for multimodal biometrics recognition on smartphones have scarcely been studied. This dissertation provides a practical multimodal biometric solution for existing smartphones using iris, periocular and eye vasculature biometrics. In this work, computational methods for quality analysis and feature detection of biometric data that are suitable for deployment on smartphones have been introduced. A fast, efficient feature detection algorithm (Vascular Point Detector) for identifying interest points on images garnered from both rear and front facing camera has been developed. It was observed that the retention ratio of VPD for final similarity score calculation was at least 10% higher than state of art interest point detectors such as FAST, over various datasets. An interest point suppression algorithm based on local histograms was introduced, reducing the computational footprint of matching algorithm by at least 30%. Further, experiments are presented which successfully combine multiple samples of eye vasculature, iris and periocular biometrics obtained from a single smartphone camera sensor. Several methods are explored to test the effectiveness of multi-modal and multi algorithm fusion at various levels of biometric recognition process, with the best algorithms performing under 2 second on an IPhone 5s. It is noted that the multimodal biometric system outperforms the unimodal biometric systems in terms of both performance and failure to enroll rates.Introduction -- Biometric systems -- Database -- Eye vaculature recognition -- Iris recognition in visible wavelength on smartphones -- Periocular recognition on smartphones -- Conclusions and future wor

QUIS-CAMPI: Biometric Recognition in Surveillance Scenarios

The concerns about individuals security have justified the increasing number of surveillance cameras deployed both in private and public spaces. However, contrary to popular belief, these devices are in most cases used solely for recording, instead of feeding intelligent analysis processes capable of extracting information about the observed individuals. Thus, even though video surveillance has already proved to be essential for solving multiple crimes, obtaining relevant details about the subjects that took part in a crime depends on the manual inspection of recordings. As such, the current goal of the research community is the development of automated surveillance systems capable of monitoring and identifying subjects in surveillance scenarios. Accordingly, the main goal of this thesis is to improve the performance of biometric recognition algorithms in data acquired from surveillance scenarios. In particular, we aim at designing a visual surveillance system capable of acquiring biometric data at a distance (e.g., face, iris or gait) without requiring human intervention in the process, as well as devising biometric recognition methods robust to the degradation factors resulting from the unconstrained acquisition process. Regarding the first goal, the analysis of the data acquired by typical surveillance systems shows that large acquisition distances significantly decrease the resolution of biometric samples, and thus their discriminability is not sufficient for recognition purposes. In the literature, diverse works point out Pan Tilt Zoom (PTZ) cameras as the most practical way for acquiring high-resolution imagery at a distance, particularly when using a master-slave configuration. In the master-slave configuration, the video acquired by a typical surveillance camera is analyzed for obtaining regions of interest (e.g., car, person) and these regions are subsequently imaged at high-resolution by the PTZ camera. Several methods have already shown that this configuration can be used for acquiring biometric data at a distance. Nevertheless, these methods failed at providing effective solutions to the typical challenges of this strategy, restraining its use in surveillance scenarios. Accordingly, this thesis proposes two methods to support the development of a biometric data acquisition system based on the cooperation of a PTZ camera with a typical surveillance camera. The first proposal is a camera calibration method capable of accurately mapping the coordinates of the master camera to the pan/tilt angles of the PTZ camera. The second proposal is a camera scheduling method for determining - in real-time - the sequence of acquisitions that maximizes the number of different targets obtained, while minimizing the cumulative transition time. In order to achieve the first goal of this thesis, both methods were combined with state-of-the-art approaches of the human monitoring field to develop a fully automated surveillance capable of acquiring biometric data at a distance and without human cooperation, designated as QUIS-CAMPI system. The QUIS-CAMPI system is the basis for pursuing the second goal of this thesis. The analysis of the performance of the state-of-the-art biometric recognition approaches shows that these approaches attain almost ideal recognition rates in unconstrained data. However, this performance is incongruous with the recognition rates observed in surveillance scenarios. Taking into account the drawbacks of current biometric datasets, this thesis introduces a novel dataset comprising biometric samples (face images and gait videos) acquired by the QUIS-CAMPI system at a distance ranging from 5 to 40 meters and without human intervention in the acquisition process. This set allows to objectively assess the performance of state-of-the-art biometric recognition methods in data that truly encompass the covariates of surveillance scenarios. As such, this set was exploited for promoting the first international challenge on biometric recognition in the wild. This thesis describes the evaluation protocols adopted, along with the results obtained by the nine methods specially designed for this competition. In addition, the data acquired by the QUIS-CAMPI system were crucial for accomplishing the second goal of this thesis, i.e., the development of methods robust to the covariates of surveillance scenarios. The first proposal regards a method for detecting corrupted features in biometric signatures inferred by a redundancy analysis algorithm. The second proposal is a caricature-based face recognition approach capable of enhancing the recognition performance by automatically generating a caricature from a 2D photo. The experimental evaluation of these methods shows that both approaches contribute to improve the recognition performance in unconstrained data.A crescente preocupação com a segurança dos indivíduos tem justificado o crescimento do número de câmaras de vídeo-vigilância instaladas tanto em espaços privados como públicos. Contudo, ao contrário do que normalmente se pensa, estes dispositivos são, na maior parte dos casos, usados apenas para gravação, não estando ligados a nenhum tipo de software inteligente capaz de inferir em tempo real informações sobre os indivíduos observados. Assim, apesar de a vídeo-vigilância ter provado ser essencial na resolução de diversos crimes, o seu uso está ainda confinado à disponibilização de vídeos que têm que ser manualmente inspecionados para extrair informações relevantes dos sujeitos envolvidos no crime. Como tal, atualmente, o principal desafio da comunidade científica é o desenvolvimento de sistemas automatizados capazes de monitorizar e identificar indivíduos em ambientes de vídeo-vigilância. Esta tese tem como principal objetivo estender a aplicabilidade dos sistemas de reconhecimento biométrico aos ambientes de vídeo-vigilância. De forma mais especifica, pretende-se 1) conceber um sistema de vídeo-vigilância que consiga adquirir dados biométricos a longas distâncias (e.g., imagens da cara, íris, ou vídeos do tipo de passo) sem requerer a cooperação dos indivíduos no processo; e 2) desenvolver métodos de reconhecimento biométrico robustos aos fatores de degradação inerentes aos dados adquiridos por este tipo de sistemas. No que diz respeito ao primeiro objetivo, a análise aos dados adquiridos pelos sistemas típicos de vídeo-vigilância mostra que, devido à distância de captura, os traços biométricos amostrados não são suficientemente discriminativos para garantir taxas de reconhecimento aceitáveis. Na literatura, vários trabalhos advogam o uso de câmaras Pan Tilt Zoom (PTZ) para adquirir imagens de alta resolução à distância, principalmente o uso destes dispositivos no modo masterslave. Na configuração master-slave um módulo de análise inteligente seleciona zonas de interesse (e.g. carros, pessoas) a partir do vídeo adquirido por uma câmara de vídeo-vigilância e a câmara PTZ é orientada para adquirir em alta resolução as regiões de interesse. Diversos métodos já mostraram que esta configuração pode ser usada para adquirir dados biométricos à distância, ainda assim estes não foram capazes de solucionar alguns problemas relacionados com esta estratégia, impedindo assim o seu uso em ambientes de vídeo-vigilância. Deste modo, esta tese propõe dois métodos para permitir a aquisição de dados biométricos em ambientes de vídeo-vigilância usando uma câmara PTZ assistida por uma câmara típica de vídeo-vigilância. O primeiro é um método de calibração capaz de mapear de forma exata as coordenadas da câmara master para o ângulo da câmara PTZ (slave) sem o auxílio de outros dispositivos óticos. O segundo método determina a ordem pela qual um conjunto de sujeitos vai ser observado pela câmara PTZ. O método proposto consegue determinar em tempo-real a sequência de observações que maximiza o número de diferentes sujeitos observados e simultaneamente minimiza o tempo total de transição entre sujeitos. De modo a atingir o primeiro objetivo desta tese, os dois métodos propostos foram combinados com os avanços alcançados na área da monitorização de humanos para assim desenvolver o primeiro sistema de vídeo-vigilância completamente automatizado e capaz de adquirir dados biométricos a longas distâncias sem requerer a cooperação dos indivíduos no processo, designado por sistema QUIS-CAMPI. O sistema QUIS-CAMPI representa o ponto de partida para iniciar a investigação relacionada com o segundo objetivo desta tese. A análise do desempenho dos métodos de reconhecimento biométrico do estado-da-arte mostra que estes conseguem obter taxas de reconhecimento quase perfeitas em dados adquiridos sem restrições (e.g., taxas de reconhecimento maiores do que 99% no conjunto de dados LFW). Contudo, este desempenho não é corroborado pelos resultados observados em ambientes de vídeo-vigilância, o que sugere que os conjuntos de dados atuais não contêm verdadeiramente os fatores de degradação típicos dos ambientes de vídeo-vigilância. Tendo em conta as vulnerabilidades dos conjuntos de dados biométricos atuais, esta tese introduz um novo conjunto de dados biométricos (imagens da face e vídeos do tipo de passo) adquiridos pelo sistema QUIS-CAMPI a uma distância máxima de 40m e sem a cooperação dos sujeitos no processo de aquisição. Este conjunto permite avaliar de forma objetiva o desempenho dos métodos do estado-da-arte no reconhecimento de indivíduos em imagens/vídeos capturados num ambiente real de vídeo-vigilância. Como tal, este conjunto foi utilizado para promover a primeira competição de reconhecimento biométrico em ambientes não controlados. Esta tese descreve os protocolos de avaliação usados, assim como os resultados obtidos por 9 métodos especialmente desenhados para esta competição. Para além disso, os dados adquiridos pelo sistema QUIS-CAMPI foram essenciais para o desenvolvimento de dois métodos para aumentar a robustez aos fatores de degradação observados em ambientes de vídeo-vigilância. O primeiro é um método para detetar características corruptas em assinaturas biométricas através da análise da redundância entre subconjuntos de características. O segundo é um método de reconhecimento facial baseado em caricaturas automaticamente geradas a partir de uma única foto do sujeito. As experiências realizadas mostram que ambos os métodos conseguem reduzir as taxas de erro em dados adquiridos de forma não controlada

IRIS IMAGE KEY POINTS DESCRIPTORS BASED ON PHASE CONGRUENCY

In this article the new method for iris image features extraction based on phase congruency is proposed. Iris image key points are calculated using the convolutions with Hermite transform functions. At each key point the feature vector characterizing this key point is obtained based on the phase congruency method. Iris key point descriptor contains phase congruency values at points located on concentric circles around the key point. To compare the key points, Euclidean metric between the key points descriptors is calculated. The distance between the iris images is equal to the number of matched iris key points. The proposed method was tested using the images from CASIA−IrisV4−Interval database and the value of EER = 0.226% was obtained