Embedded system for individual recognition based on ECG biometrics

Biometric recognition is emerging has an alternative solution for applications where the privacy of the information is crucial. This paper presents an embedded biometric recognition system based on the Electrocardiographic signals (ECG) for individual identification and authentication. The proposed system implements a real-time state-of-the-art recognition algorithm, which extracts information from the frequency domain. The system is based on a ARM Cortex 4. Preliminary results show that embedded platforms are a promising path for the implementation of ECG-based applications in real-world scenario

Embedded platform for ECG biometric recognition

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia de Electrónica e TelecomunicaçõesMuitas das tarefas diárias do ser humano requerem processos que validem a identidade do utilizador. Cartões de identificação, chapas de identificação militar, senhas e códigos são as estratégias mais usuais no campo da validação e identificação de utilizador. Apesar do amplo uso de tais mecanismos, os meios de autenticação baseados na entidade ou no conhecimento do sujeito levantam graves problemas de segurança no que diz respeito ao risco de fraude e roubo de identidade. O uso de características físicas ou comportamentais dos seres vivos como forma de identificálos unicamente, é o tópico da Biometria [bio (vida) + metria (medida)]. A principal vantagem destes sistemas é a dependência completa no individuo, não existindo nenhuma sujeição a objetos ou à memorização de códigos, como ocorre nas estratégias tradicionais. Isto leva a uma maior utilização de sistemas biométricos a fim de aumentar a dificuldade de falsificação de credencias, visto este ser a principal falha dos sistemas de reconhecimento pessoal tradicionais. Por exemplo, uma foto pode fingir um rosto, a íris do olho pode ser falsificada por lentes de contacto e até mesmo a impressão digital pode ser trocada por um dedo de gel. Este trabalho propõe um sistema de reconhecimento biométrico baseado em sinais electrocardiográficos (ECG). As diferenças de potencial podem ser obtidas pela colocação de elétrodos sobre a superfície do corpo e medindo a tensão entre eles. O sistema de aquisição dos sinais ECG deste trabalho é constituído por dois elétrodos colocados um em cada membro superior do utilizador, preferencialmente nas mãos, para um aquisição mais cómoda. A fim de tornar esta solução móvel e facilmente transportável para qualquer local, é proposto um sistema embebido autónomo para autenticação humana baseada no ECG de cada indivíduo. Normalmente, os sistemas baseados em ECG usam hardware capaz de adquirir o sinal e um micro-controlador para enviar os sinais para um computador onde é realizado o tratamento dos dados. Em alternativa, o objetivo deste trabalho é conceber de um prototipo capaz de adquirir e processar o sinal ECG de diferentes indivíduos e, através de um algoritmo de extração e classificação de padrões, autenticar ou identificar as pessoas em questão. Este prototipo será baseado num sistema embebidos capaz de autenticar ou identificar indivíduos em tempo real sem recurso a um computador pessoal ou a qualquer plataforma de processamento externa. O problema do reconhecimento humano com base em biometria, é tipicamente dividido em várias fases (independentemente do tipo de biométrica) típicas de um sistema de reconhecimento de padrões: • Aquisição do sinal biométrico por sensores; • Pré-processamento do sinal de acordo com o sistema adotado; • Extração das características necessárias ao reconhecimento; • Seleção das características mais discriminativas do sujeito; • Classificação das características escolhidas e decisão de qual a correspondência da mesma na base de dados. Nesta abordagem o sinal ECG obtido é segmentado por batimento cardíaco, usando o pico R (complexo R, incluído no complexo QRS, nomes dados às ondas características constituintes do ECG) como ponto de pesquisa para a segmentação. Dois algoritmos de segmentação são estudados, Hamilton e Slope Sum Function (SSF), sendo o SSF a solução implementada no sistema embebido pelas suas propriedades de execução em tempo real. Outra particularidade da implementação do algoritmo SSF é que este foi desenvolvido para detetar pulsos de pressão arterial e é aqui adaptado para a deteção do complexo R, constituinte do sinal ECG. A extração de características do sinal ECG segmentado é baseada na análise do sinal no domínio da frequência e segue um algoritmo proposto por Odinaka. Cada batimento cardíaco é analisado por troços obtidos pela segmentação do sinal em várias janelas sobrepostas. É calculada a transformada de Fourier de cada janela segmentada (em que normalmente é usada uma janela de Hamming para melhor estimativa) e estimada uma distribuição de gaussiana (caracterizada por uma média e desvio padrão) para cada intervalo de frequência que caracteriza o batimento cardíaco típico em analise. Posteriormente, para treino, é estimada a distribuição gaussiana para as janelas extraídas de cada segmento e calculada a sua média entre todos os segmentos. São estas as características guardadas na base de dados para futura comparação com novas aquisições para se efetuar o reconhecimento dos batimentos. A cada nova aquisição, é confirmada a veracidade do utilizador, e é feita uma atualização dos valores da base de dados com os novos adquiridos, através de uma média ponderada. Com este método é possível contornar o efeito temporal nos sinais ECG. É de conhecimento comum que com a evolução da idade do individuo, os seus sinais fisiológicos sofrem pequenas alterações e o ECG não é exceção. Para a transformada de Fourier foi aumentado a dimensão do array para aumentar a definição nas baixas frequências, onde a informação requerida para o reconhecimento pessoal é preponderante. Neste trabalho, o sistema foi implementado para garantir uma execução em tempo real. As amostras do sinal ECG não podem ser perdidas e o processo de autenticação tem que ser realizado de forma muito eficiente de modo a permitir o funcionamento em tempo real. Para isto é necessária a escolha de hardware capaz de concretizar este objetivo. A possibilidade do uso de um microprocessador foi descartada pela sua baixa versatilidade e alto custo de desenvolvimento. Os sistema ASIC e FPGA, também foram descartados pelos elevados custos de desenvolvimento e aquisição. Foi escolhido então, um sistema de desenvolvimento baseado num micro-controlador (MCU) com arquitetura ARM Cortex 4. O MCU escolhido, STM32F4-Discovery, conta com uma grande versatilidade, baixo consumo de energia (100mA), grande velocidade de processamento (168MHz), integração de DSP e unidade de virgula flutuante. Memoria interna não volátil também é necessária, a fim de conservar as características de treino de cada individuo. O sistema é projetado para ser autónomo, não-intrusivo e fácil de usar em diferentes cenários. Isto é conseguido combinando a facil utilização de apenas dois elétrodos, um em cada membro superior, com um sistema embebido alimentado por bateria com processamento em tempo real e capacidade de visualização de resultados. O sistema foi validado em duas fases. Em primeiro lugar os algoritmos foram validados usando uma base de dados já testada em estudos anteriores, e foi comprovado que o sistema tem uma percentagem de identificação de 89% e 10% de taxa de erros em autenticação. Finalmente foram realizadas novas aquisições que comprovaram a eficiência do sistema. Com 11 sujeitos na base de dados o sistema conta com uma taxa de identificação de 100% e um taxa de erros de autenticação de 9.3%. Utilizando as propriedades dos sinais ECG, este sistema torna-se um plataforma fiável, eficaz e eficiente. Problemas cardíacos humanos, como arritmias são um problema que fazem descer o rendimento do sistema. O sistema realizado é uma prova de conceito que ilustra como os sistemas embebidos podem mudar o mundo dos sistemas de autenticação pois proporcionam segurança e uma utilização muito fácil para toda a população.Abstract: Traditional strategies for authentication are either entity-based or knowledge-based, like PIN numbers, passwords and ID cards. This raises serious security problems, concerning the risk of identity theft as these mechanisms are widely spread. They are a part of many daily tasks and they are dependent on objects or memories. This work prompts to change these mechanisms for a secure and ubiquitous biometric reckoning system based on the electrocardiographic (ECG) signal. It includes the study of all the steps required for the development of a biometric system, namely: acquisition, processing and classification. In the acquisition, the ECG signal is obtained from two electrodes placed at each limb to a electronic device that filters and amplifies the raw signal to be able to be converted to digital in the microcontroller, using the internal Analogue-to-Digital Converter; In the processing phase, the signal is digitally filtered and segmented in heartbeats. Features are selected and extracted using one algorithm created by Odinaka and herein modified to increase performance in low bandwidth ECG signals; In classification, extracted features are compared, using nearest neighbour algorithm, with data stored in the database in order to classify each heartbeat. The work develop and implement a working prototype based on an embedded system (ARMBased Cortex4 32 bit RISC STM32F407VGT6). Acquisition modules, processing units and algorithms are studied and developed on a prototype for identification and authentication mobile system based on the ECG. The lack of mobile real-time reckoning systems makes this thesis a challenging and self-motivated work. Unique, continuous acquisition and non-intrusive are the main characteristics of the ECG signals. These properties make ECG based reckoning system a reliable and effective platform. Preliminary evaluation showed a 100% identification rate and a 9.3% equal error rate at the authentication procedure. These results came form an acquired database of 11 subjects, with test and train sequences acquired in different procedures. Human heart problems, like arrhythmias are a challenging problem that drop the reckoning performance of the system. This kind of embedded solutions can change the world of authentication systems in order to provide security and be easy-to-use for the general population

Biometric authentication and identification through electrocardiogram signals

Tese de Mestrado Integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), 2021, Universidade de Lisboa, Faculdade de CiênciasO reconhecimento biométrico tem sido alvo de diversas investigações ao longo dos anos, sendo a impressão digital, a face e a iris, os traços biométricos mais explorados. Apesar do seu elevado potencial no que diz respeito a possíveis aplicações tecnológicas, alguns estudos apresentam limitações a estes traços biométricos, nomeadamente a falta de fiabilidade e praticidade num sistema biométrico. Recentemente, vários estudos exploraram o potencial do uso do electrocardiograma (ECG) como traço biométrico, por ser único e singular para cada indivíduo, e dificilmente roubado por outrem, por ser um sinal fisiológico. Nesta dissertação, foi investigada a possibilidade de usar sinais ECG como traço biométrico para sistemas de identificação e autenticação biométrica. Para tal, recorreu-se a uma base de dados pública chamada Check Your Biosignals Here initiative (CYBHi), criada com o intuito de propiciar investigações biométricas. As sessões de aquisição contaram com 63 participantes e ocorreram em dois momentos distintos separados por três meses, numa modalidade “off-the-person”, com recurso a um elétrodo na palma da mão e eletrolicras nos dedos. Os sinais da primeira aquisição correspondem, num sistema biométrico, aos dados armazenados na base de dados, enquanto que os sinais da segunda aquisição correspondem aos dados que serão identificados ou autenticados pelo sistema. Os sistemas de identificação e autenticação biométrica propostos nesta dissertação incluem diferentes fases: o pré-processamento, o processamento e a classificação. O pré-processamento consistiu na aplicação de um filtro passa-banda IIR de 4ª ordem, para eliminar ruídos e artefactos provenientes de atividade muscular e da impedância elétrica dos aparelhos de aquisição. A fase de processamento consistiu em extrair e gerar os templates biométricos, que serão os inputs dos algoritmos de classificação. Primeiramente, extraíram-se os ciclos cardíacos através do Neurokit2 disponível no Python. Para tal, foram localizados os picos R dos sinais ECG e, posteriormente, estes foram segmentados em ciclos cardíacos, com 200 amostras antes e 400 amostras depois dos picos. Com o objetivo de remover os segmentos mais ruidosos, os ciclos cardíacos foram submetidos a um algoritmo de eliminação de segmentos que consistiu em encontrar, para cada sujeito, os 20 e 60 ciclos mais próximos entre si, designados de Set 1 e Set 2, respetivamente. A partir desses dois conjuntos de ciclos, criaram-se dois tipos de templates: 1) os ciclos cardíacos, e 2) escalogramas gerados a partir dos ciclos, através da transformada de wavelet contínua, com dois tamanhos distintos: 56x56 e 224x224, denominados por Size 56 e Size 224, respetivamente. Devido ao elevado tamanho dos escalogramas, foi utilizada a analise de componentes independentes para reduzir a dimensionalidade. Assim, os sistemas biométricos propostos na presente investigação, foram testados com os conjuntos de 20 e 60 templates, quer para ciclos quer para escalogramas, de forma a avaliar o desempenho do sistema quando usados mais ou menos templates para os processos de identificação e autenticação. Os templates foram também testados com e sem normalização, para que pudessem ser analisados os benefícios deste processo. A classificação foi feita através de diferentes métodos, testados numa modalidade “entre-sessões”, isto é, os dados da 2ª aquisição, considerados os dados de teste, foram comparados com os dados da 1ª aquisição, denominados dados de treino, de forma a serem classificados. Quanto ao sistema de identificação com ciclos cardíacos, foram testados diferentes classificadores, nomeadamente LDA, kNN, DT e SVM. Para o kNN e SVM, foi feita uma otimização para encontrar o valor de “k” e os valores de γ e C, respetivamente, que permitem o sistema alcançar o melhor desempenho possível. A melhor performance foi obtida através do LDA, alcançando uma taxa de identificação de 79,37% para a melhor configuração, isto é, usando 60 ciclos normalizados. Os templates com base em escalogramas foram testados como inputs para dois métodos distintos: 1) redes neuronais e 2) algoritmo baseado em distâncias. A melhor performance foi uma taxa de identificação de 69,84%, obtida quando usados 60 escalogramas de tamanho 224, não normalizados. Deste modo, os resultados relativos a identificação provaram que utilizar mais templates (60) para identificar um indivíduo otimiza a performance do sistema biométrico, independentemente do tipo de template utilizado. Para alem disto, a normalização mostrou-se um processo essencial para a identificação com ciclos cardíacos, contudo, tal não se verificou para escalogramas. Neste estudo, demonstrou-se que a utilização de ciclos tem mais potencial para tornar um sistema de identificação biométrica eficiente, do que a utilização de escalogramas. No que diz respeito ao sistema de autenticação biométrica, foi utilizado um algoritmo baseado em distâncias, testado com os dois tipos de templates numa configuração concatenada, isto é, uma configuração na qual cada sujeito e representado por um sinal que contém uma sequência de todos os seus templates, seguidos uns dos outros. A avaliação da performance do sistema foi feita com base nos valores de taxa de autenticação e taxa de impostores, que indicam o número de indivíduos corretamente autenticados face ao número total de indivíduos, e o número de impostores autenticados face ao número total de indivíduos, respetivamente. Os ciclos cardíacos foram testados com e sem redução de dimensionalidade, sendo que a melhor performance foi obtida usando 60 ciclos não normalizados sem redução de dimensionalidade. Para esta configuração, obteve-se uma taxa de autenticação de 90,48% e uma taxa de impostores de 13,06%. Desta forma, concluiu-se que reduzir a dimensionalidade dos ciclos cardíacos prejudica o desempenho do sistema, uma vez que se perdem algumas características indispensáveis para a distinção entre sujeitos. Para os escalogramas, a melhor configuração, que corresponde ao uso de 60 escalogramas normalizados de tamanho 56, atingiu uma taxa de autenticação de 98,42% e uma taxa de impostores de 14,34%. Sendo que a dimensionalidade dos escalogramas foi reduzida com recurso a ICA, foi ainda avaliada a performance do sistema quando reduzido o número de componentes independentes. Os resultados mostraram que um número de componentes igual ao número de sujeitos otimiza o desempenho do sistema, uma vez que se verificou um decréscimo da taxa de autenticação quando reduzido o número de componentes. Assim, concluiu-se que são necessárias 63 componentes independentes para distinguir corretamente os 63 sujeitos. Para a autenticação através de ciclos cardíacos, a normalização e a redução de dimensionalidade são dois processos que degradam a performance do sistema, enquanto que, quando utilizados escalogramas, a normalização e vantajosa. Os resultados obtidos provaram ainda que, contrariamente ao que acontece para processos de identificação, a utilização de escalogramas e uma abordagem mais eficiente e eficaz para a autenticação de indivíduos, do que a utilização de ciclos. Esta investigação comprovou o potencial do ECG enquanto traço biométrico para identificação e autenticação de indivíduos, fazendo uma análise comparativa entre diferentes templates extraídos dos sinais ECG e diferentes metodologias na fase de classificação, e avaliando o desempenho do sistema em cada uma das configurações testadas. Estudos anteriores apresentaram algumas limitações, nomeadamente, o uso de aquisições “on-the-person”, ˜ que apresentam pouco potencial para serem integradas em sistemas biométricos devido à baixa praticidade, e à classificação numa modalidade “intra-sessão”, na qual os dados classificados e os dados armazenados foram adquiridos numa só sessão. Este estudo preenche essas lacunas, visto que utilizou dados adquiridos “off-the-person”, dados esses que foram testados numa modalidade “entre-sessões”. Apesar das aquisições ˜ “off-the-person” estarem sujeitas a mais ruídos e, consequentemente, dificultarem processos de identificação ou autenticação, estas abordagens são as mais adequadas para sistemas biométricos, dada a sua possível integração nas mais diversas aplicações tecnológicas. A modalidade “entre-sessões” resulta também numa pior performance relativamente a utilização de sinais de uma só sessão. No entanto, permite comprovar a estabilidade do ECG ao longo do tempo, o que é um fator indispensável para o funcionamento adequado de um sistema biométrico, uma vez que o mesmo terá que comparar diversas vezes o ECG apresentado no momento de identificação ou autenticação, com o ECG armazenado uma única vez na base de dados. Apesar dos bons resultados apresentados nesta dissertação, no futuro devem ser exploradas bases de dados que contenham mais participantes, com uma faixa etária mais alargada, incluindo participantes com diversas condições de saúde, com aquisições separadas por um período de tempo mais longo, de forma a simular o melhor possível a realidade de um sistema biométrico.Biometrics is a rapidly growing field with applications in personal identification and authentication. Over the recent years, several studies have demonstrated the potential of Electrocardiogram (ECG) to be used as a physiological signature for biometric systems. In this dissertation, the possibility of using the ECG signal as an unequivocal biometric trait for identification and authentication purposes has been presented. The ECG data used was from a publicly available database, the Check Your Biosignals Here initiative (CHBYi) database, developed for biometric purposes, containing records of 63 participants. Data was collected through an off-the-person approach, in two different moments, separated by three months, resulting in two acquisitions per subject. Signals from the first acquisition represent, in a biometric system, the data stored in the database, whereas signals from the second acquisition represent the data to be authenticated or identified. The proposed identification and authentication systems included several steps: signal pre-processing, signal processing, and classification. In the pre-processing phase, signals were filtered in order to remove noises, while the signal processing consisted of extracting and generating the biometric templates. For that, firstly, the cardiac cycles were extracted from the ECG signals, and segment elimination was performed to find the segments more similar to one another, resulting in two sets of templates, with 20 and 60 templates per participant, respectively. After that, two types of templates were generated: 1) templates based on cardiac cycles, and 2) templates based on scalograms generated from the cardiac cycles, with two different sizes, 56x56 and 224x224. Due to the large size of the scalograms, ICA was applied to reduce their dimensionality. Thus, the biometric systems were evaluated with two sets of each type of template in order to analyze the advantages of using more or fewer templates per subject, and the templates were also tested with and without normalization. For the identification system using cardiac cycles, LDA, kNN, DT, and SVM were tested as classifiers in an “across-session” modality, reaching an accuracy of 79.37% for the best model (LDA) in the best configuration (60 normalized cardiac cycles). When using scalograms, two different methodologies were tested: 1) neural network, and 2) a distance-based algorithm. The best accuracy was 69.84% for 60 not-normalized scalograms of Size 224, using NN. Thus, results suggested that the templates based on cardiac cycles are a more promising approach for identification tasks. For the authentication, a distance-based algorithm was used for both templates. Cardiac cycles were tested with and without dimensionality reduction, and the best configuration (60 not-normalized cardiac cycles without dimensionality reduction) reached an accuracy of 90.48% and an impostor score of 13.06%. For the scalograms, the best configuration (60 normalized scalograms of Size 56) reached an accuracy of 98.42% and an impostor score of 14.34%. Therefore, using scalograms for the authentication task proved to be a more efficient and accurate approach. The results from this work support the claim that ECG-based biometrics can be successfully used for personal identification and authentication. This study brings novelty by exploring different templates and methodologies in order to perform a comparative analysis and find the approaches that optimize the performance of the biometric system. Moreover, this represents a step forward towards a real-world application of an ECG-based biometric system, mainly due to the use of data from off-the-person acquisitions in an across-session modality

Information Theoretic Methods For Biometrics, Clustering, And Stemmatology

This thesis consists of four parts, three of which study issues related to theories and applications of biometric systems, and one which focuses on clustering. We establish an information theoretic framework and the fundamental trade-off between utility of biometric systems and security of biometric systems. The utility includes person identification and secret binding, while template protection, privacy, and secrecy leakage are security issues addressed. A general model of biometric systems is proposed, in which secret binding and the use of passwords are incorporated. The system model captures major biometric system designs including biometric cryptosystems, cancelable biometrics, secret binding and secret generating systems, and salt biometric systems. In addition to attacks at the database, information leakage from communication links between sensor modules and databases is considered. A general information theoretic rate outer bound is derived for characterizing and comparing the fundamental capacity, and security risks and benefits of different system designs. We establish connections between linear codes to biometric systems, so that one can directly use a vast literature of coding theories of various noise and source random processes to achieve good performance in biometric systems. We develop two biometrics based on laser Doppler vibrometry: LDV) signals and electrocardiogram: ECG) signals. For both cases, changes in statistics of biometric traits of the same individual is the major challenge which obstructs many methods from producing satisfactory results. We propose a ii robust feature selection method that specifically accounts for changes in statistics. The method yields the best results both in LDV and ECG biometrics in terms of equal error rates in authentication scenarios. Finally, we address a different kind of learning problem from data called clustering. Instead of having a set of training data with true labels known as in identification problems, we study the problem of grouping data points without labels given, and its application to computational stemmatology. Since the problem itself has no true answer, the problem is in general ill-posed unless some regularization or norm is set to define the quality of a partition. We propose the use of minimum description length: MDL) principle for graphical based clustering. In the MDL framework, each data partitioning is viewed as a description of the data points, and the description that minimizes the total amount of bits to describe the data points and the model itself is considered the best model. We show that in synthesized data the MDL clustering works well and fits natural intuition of how data should be clustered. Furthermore, we developed a computational stemmatology method based on MDL, which achieves the best performance level in a large dataset

Robust ECG based person identification system

Identity theft is a burgeoning issue. Gaining unauthorized access to computer network tends to compromise the system which could potentially cause undetected fatal destruction and disastrous consequences for individuals and the nation. It is to the extent of taking down communication networks, paralyzing transportation systems and crippling power grids. If security system are burdensome, people may avoid using them, preferring functionality and convenience. For these reasons, an effective security mechanism needs to be deployed in combating identity crimes. Therefore, this thesis proposes of implementing biometric technology as a viable solution for the aforementioned problems. In the recent years, the electrocardiogram (ECG) signal was introduced as a potential biometric modality to overcome issues of currently available biometric attributes which could be falsified by gummy fingerprints, static iris and face images, voice mimics and fake signatures. When a person is having a heartbeat, automatically it proclaims that the person exist and is alive. Thus, the advantage as a life indicator mechanism verifies the presence of a person during the time of recognition. For the past decade, preliminary investigations on the validity of using ECG based biometric have been manifested with different person recognition methods to support its usability in security and privacy applications. Even though, ECG based biometric has set its ground in recognizing people, however, the underlying issues that governs a practical biometric system have not been properly addressed. Basic problems which require further attention are fundamental issues which touch the aspects of reliability and robustness of an ECG based biometric system in a real life scenario. Thus, in this thesis, we have identified four main research problems which are essentially important to increase user acceptability of ECG based biometric recognition covering different aspects of a practical biometric system such as distinctiveness, permanence, collectability and performance. The research issues being posed in this thesis are the selection of extracted biometric features, subject recognition with different pathological and physiological conditions, performing biometric with low sampling frequency signals and applying ECG based biometric in mobile surroundings. This thesis suggests of solving ECG based biometric recognition raised problems in a holistic perspective which does not limit the implementations to certain groups of users but looking at the issue as a whole and in a boarder avenue so that it could be applicable to almost all walks of life. A single optimum biometric system that supersedes others does not exist as each biometric modality is based on the nature of the implementation and application. Nevertheless, ECG based biometric features give a strong indication that it would be well accepted by users in the future due to the automatic liveness detection factor which is available in every human being that further expands to people with disabilities such as amputees and those who are visually impaired. Therefore, this thesis is substantial and vital as to assist and provide alternative person identification mechanism to present security and privacy applications in the quest to combat identity crimes