142 research outputs found
Cross-Spectral Full and Partial Face Recognition: Preprocessing, Feature Extraction and Matching
Cross-spectral face recognition remains a challenge in the area of biometrics. The problem arises from some real-world application scenarios such as surveillance at night time or in harsh environments, where traditional face recognition techniques are not suitable or limited due to usage of imagery obtained in the visible light spectrum. This motivates the study conducted in the dissertation which focuses on matching infrared facial images against visible light images. The study outspreads from aspects of face recognition such as preprocessing to feature extraction and to matching.;We address the problem of cross-spectral face recognition by proposing several new operators and algorithms based on advanced concepts such as composite operators, multi-level data fusion, image quality parity, and levels of measurement. To be specific, we experiment and fuse several popular individual operators to construct a higher-performed compound operator named GWLH which exhibits complementary advantages of involved individual operators. We also combine a Gaussian function with LBP, generalized LBP, WLD and/or HOG and modify them into multi-lobe operators with smoothed neighborhood to have a new type of operators named Composite Multi-Lobe Descriptors. We further design a novel operator termed Gabor Multi-Levels of Measurement based on the theory of levels of measurements, which benefits from taking into consideration the complementary edge and feature information at different levels of measurements.;The issue of image quality disparity is also studied in the dissertation due to its common occurrence in cross-spectral face recognition tasks. By bringing the quality of heterogeneous imagery closer to each other, we successfully achieve an improvement in the recognition performance. We further study the problem of cross-spectral recognition using partial face since it is also a common problem in practical usage. We begin with matching heterogeneous periocular regions and generalize the topic by considering all three facial regions defined in both a characteristic way and a mixture way.;In the experiments we employ datasets which include all the sub-bands within the infrared spectrum: near-infrared, short-wave infrared, mid-wave infrared, and long-wave infrared. Different standoff distances varying from short to intermediate and long are considered too. Our methods are compared with other popular or state-of-the-art methods and are proven to be advantageous
Object Detection and Classification in the Visible and Infrared Spectrums
The over-arching theme of this dissertation is the development of automated detection and/or classification systems for challenging infrared scenarios. The six works presented herein can be categorized into four problem scenarios. In the first scenario, long-distance detection and classification of vehicles in thermal imagery, a custom convolutional network architecture is proposed for small thermal target detection. For the second scenario, thermal face landmark detection and thermal cross-spectral face verification, a publicly-available visible and thermal face dataset is introduced, along with benchmark results for several landmark detection and face verification algorithms. Furthermore, a novel visible-to-thermal transfer learning algorithm for face landmark detection is presented. The third scenario addresses near-infrared cross-spectral periocular recognition with a coupled conditional generative adversarial network guided by auxiliary synthetic loss functions. Finally, a deep sparse feature selection and fusion is proposed to detect the presence of textured contact lenses prior to near-infrared iris recognition
Periocular Biometrics: A Modality for Unconstrained Scenarios
Periocular refers to the region of the face that surrounds the eye socket.
This is a feature-rich area that can be used by itself to determine the
identity of an individual. It is especially useful when the iris or the face
cannot be reliably acquired. This can be the case of unconstrained or
uncooperative scenarios, where the face may appear partially occluded, or the
subject-to-camera distance may be high. However, it has received revived
attention during the pandemic due to masked faces, leaving the ocular region as
the only visible facial area, even in controlled scenarios. This paper
discusses the state-of-the-art of periocular biometrics, giving an overall
framework of its most significant research aspects
Proof-of-Concept
Biometry is an area in great expansion and is considered as possible solution to cases where high
authentication parameters are required. Although this area is quite advanced in theoretical
terms, using it in practical terms still carries some problems. The systems available still depend
on a high cooperation level to achieve acceptable performance levels, which was the backdrop
to the development of the following project. By studying the state of the art, we propose the
creation of a new and less cooperative biometric system that reaches acceptable performance
levels.A constante necessidade de parâmetros mais elevados de segurança, nomeadamente ao nível
de autenticação, leva ao estudo biometria como possível solução. Actualmente os mecanismos
existentes nesta área tem por base o conhecimento de algo que se sabe ”password” ou algo
que se possui ”codigo Pin”. Contudo este tipo de informação é facilmente corrompida ou contornada.
Desta forma a biometria é vista como uma solução mais robusta, pois garante que a
autenticação seja feita com base em medidas físicas ou compartimentais que definem algo que
a pessoa é ou faz (”who you are” ou ”what you do”).
Sendo a biometria uma solução bastante promissora na autenticação de indivíduos, é cada vez
mais comum o aparecimento de novos sistemas biométricos. Estes sistemas recorrem a medidas
físicas ou comportamentais, de forma a possibilitar uma autenticação (reconhecimento) com
um grau de certeza bastante considerável. O reconhecimento com base no movimento do corpo
humano (gait), feições da face ou padrões estruturais da íris, são alguns exemplos de fontes
de informação em que os sistemas actuais se podem basear. Contudo, e apesar de provarem
um bom desempenho no papel de agentes de reconhecimento autónomo, ainda estão muito
dependentes a nível de cooperação exigida. Tendo isto em conta, e tudo o que já existe no
ramo do reconhecimento biometrico, esta área está a dar passos no sentido de tornar os seus
métodos o menos cooperativos poss??veis. Possibilitando deste modo alargar os seus objectivos
para além da mera autenticação em ambientes controlados, para casos de vigilância e controlo
em ambientes não cooperativos (e.g. motins, assaltos, aeroportos).
É nesta perspectiva que o seguinte projecto surge. Através do estudo do estado da arte, pretende
provar que é possível criar um sistema capaz de agir perante ambientes menos cooperativos,
sendo capaz de detectar e reconhecer uma pessoa que se apresente ao seu alcance.O
sistema proposto PAIRS (Periocular and Iris Recognition Systema) tal como nome indica, efectua
o reconhecimento através de informação extraída da íris e da região periocular (região circundante
aos olhos). O sistema é construído com base em quatro etapas: captura de dados,
pré-processamento, extração de características e reconhecimento. Na etapa de captura de
dados, foi montado um dispositivo de aquisição de imagens com alta resolução com a capacidade
de capturar no espectro NIR (Near-Infra-Red). A captura de imagens neste espectro tem
como principal linha de conta, o favorecimento do reconhecimento através da íris, visto que
a captura de imagens sobre o espectro visível seria mais sensível a variações da luz ambiente.
Posteriormente a etapa de pré-processamento implementada, incorpora todos os módulos do
sistema responsáveis pela detecção do utilizador, avaliação de qualidade de imagem e segmentação
da íris. O modulo de detecção é responsável pelo desencadear de todo o processo, uma
vez que esta é responsável pela verificação da exist?ncia de um pessoa em cena. Verificada
a sua exist?ncia, são localizadas as regiões de interesse correspondentes ? íris e ao periocular,
sendo também verificada a qualidade com que estas foram adquiridas. Concluídas estas
etapas, a íris do olho esquerdo é segmentada e normalizada. Posteriormente e com base em
vários descritores, é extraída a informação biométrica das regiões de interesse encontradas,
e é criado um vector de características biométricas. Por fim, é efectuada a comparação dos
dados biometricos recolhidos, com os já armazenados na base de dados, possibilitando a criação
de uma lista com os níveis de semelhança em termos biometricos, obtendo assim um resposta
final do sistema. Concluída a implementação do sistema, foi adquirido um conjunto de imagens capturadas através do sistema implementado, com a participação de um grupo de voluntários.
Este conjunto de imagens permitiu efectuar alguns testes de desempenho, verificar e afinar
alguns parâmetros, e proceder a optimização das componentes de extração de características e
reconhecimento do sistema. Analisados os resultados foi possível provar que o sistema proposto
tem a capacidade de exercer as suas funções perante condições menos cooperativas
LBP-based periocular recognition on challenging face datasets
This work develops a novel face-based matcher composed of a multi-resolution hierarchy of patch-based feature descriptors for periocular recognition - recognition based on the soft tissue surrounding the eye orbit. The novel patch-based framework for periocular recognition is compared against other feature descriptors and a commercial full-face recognition system against a set of four uniquely challenging face corpora. The framework, hierarchical three-patch local binary pattern, is compared against the three-patch local binary pattern and the uniform local binary pattern on the soft tissue area around the eye orbit. Each challenge set was chosen for its particular non-ideal face representations that may be summarized as matching against pose, illumination, expression, aging, and occlusions. The MORPH corpora consists of two mug shot datasets labeled Album 1 and Album 2. The Album 1 corpus is the more challenging of the two due to its incorporation of print photographs (legacy) captured with a variety of cameras from the late 1960s to 1990s. The second challenge dataset is the FRGC still image set. Corpus three, Georgia Tech face database, is a small corpus but one that contains faces under pose, illumination, expression, and eye region occlusions. The final challenge dataset chosen is the Notre Dame Twins database, which is comprised of 100 sets of identical twins and 1 set of triplets. The proposed framework reports top periocular performance against each dataset, as measured by rank-1 accuracy: (1) MORPH Album 1, 33.2%; (2) FRGC, 97.51%; (3) Georgia Tech, 92.4%; and (4) Notre Dame Twins, 98.03%. Furthermore, this work shows that the proposed periocular matcher (using only a small section of the face, about the eyes) compares favorably to a commercial full-face matcher
- …