Data-driven design of intelligent wireless networks: an overview and tutorial

Data science or "data-driven research" is a research approach that uses real-life data to gain insight about the behavior of systems. It enables the analysis of small, simple as well as large and more complex systems in order to assess whether they function according to the intended design and as seen in simulation. Data science approaches have been successfully applied to analyze networked interactions in several research areas such as large-scale social networks, advanced business and healthcare processes. Wireless networks can exhibit unpredictable interactions between algorithms from multiple protocol layers, interactions between multiple devices, and hardware specific influences. These interactions can lead to a difference between real-world functioning and design time functioning. Data science methods can help to detect the actual behavior and possibly help to correct it. Data science is increasingly used in wireless research. To support data-driven research in wireless networks, this paper illustrates the step-by-step methodology that has to be applied to extract knowledge from raw data traces. To this end, the paper (i) clarifies when, why and how to use data science in wireless network research; (ii) provides a generic framework for applying data science in wireless networks; (iii) gives an overview of existing research papers that utilized data science approaches in wireless networks; (iv) illustrates the overall knowledge discovery process through an extensive example in which device types are identified based on their traffic patterns; (v) provides the reader the necessary datasets and scripts to go through the tutorial steps themselves

Principles of Neural Network Architecture Design - Invertibility and Domain Knowledge

Neural networks architectures allow a tremendous variety of design choices. In this work, we study two principles underlying these architectures: First, the design and application of invertible neural networks (INNs). Second, the incorporation of domain knowledge into neural network architectures. After introducing the mathematical foundations of deep learning, we address the invertibility of standard feedforward neural networks from a mathematical perspective. These results serve as a motivation for our proposed invertible residual networks (i-ResNets). This architecture class is then studied in two scenarios: First, we propose ways to use i-ResNets as a normalizing flow and demonstrate the applicability for high-dimensional generative modeling. Second, we study the excessive invariance of common deep image classifiers and discuss consequences for adversarial robustness. We finish with a study of convolutional neural networks for tumor classification based on imaging mass spectrometry (IMS) data. For this application, we propose an adapted architecture guided by our knowledge of the domain of IMS data and show its superior performance on two challenging tumor classification datasets

Sparse Proteomics Analysis - A compressed sensing-based approach for feature selection and classification of high-dimensional proteomics mass spectrometry data

Background: High-throughput proteomics techniques, such as mass spectrometry (MS)-based approaches, produce very high-dimensional data-sets. In a clinical setting one is often interested in how mass spectra differ between patients of different classes, for example spectra from healthy patients vs. spectra from patients having a particular disease. Machine learning algorithms are needed to (a) identify these discriminating features and (b) classify unknown spectra based on this feature set. Since the acquired data is usually noisy, the algorithms should be robust against noise and outliers, while the identified feature set should be as small as possible. Results: We present a new algorithm, Sparse Proteomics Analysis (SPA), based on the theory of compressed sensing that allows us to identify a minimal discriminating set of features from mass spectrometry data-sets. We show (1) how our method performs on artificial and real-world data-sets, (2) that its performance is competitive with standard (and widely used) algorithms for analyzing proteomics data, and (3) that it is robust against random and systematic noise. We further demonstrate the applicability of our algorithm to two previously published clinical data-sets

Can my chip behave like my brain?

Many decades ago, Carver Mead established the foundations of neuromorphic systems. Neuromorphic systems are analog circuits that emulate biology. These circuits utilize subthreshold dynamics of CMOS transistors to mimic the behavior of neurons. The objective is to not only simulate the human brain, but also to build useful applications using these bio-inspired circuits for ultra low power speech processing, image processing, and robotics. This can be achieved using reconfigurable hardware, like field programmable analog arrays (FPAAs), which enable configuring different applications on a cross platform system. As digital systems saturate in terms of power efficiency, this alternate approach has the potential to improve computational efficiency by approximately eight orders of magnitude. These systems, which include analog, digital, and neuromorphic elements combine to result in a very powerful reconfigurable processing machine.Ph.D

Design Space Exploration of DNNs for Autonomous Systems

Indiana University-Purdue University Indianapolis (IUPUI)Developing intelligent agents that can perceive and understand the rich visualworld around us has been a long-standing goal in the field of AI. Recently, asignificant progress has been made by the CNNs/DNNs to the incredible advances& in a wide range of applications such as ADAS, intelligent cameras surveillance,autonomous systems, drones, & robots. Design space exploration (DSE) of NNs andother techniques have made CNN/DNN memory & computationally efficient. Butthe major design hurdles for deployment are limited resources such as computation,memory, energy efficiency, and power budget. DSE of small DNN architectures forADAS emerged with better and efficient architectures such as baseline SqueezeNetand SqueezeNext. These architectures are exclusively known for their small modelsize, good model speed & model accuracy.In this thesis study, two new DNN architectures are proposed. Before diving intothe proposed architectures, DSE of DNNs explores the methods to improveDNNs/CNNs.Further, understanding the different hyperparameters tuning &experimenting with various optimizers and newly introduced methodologies. First,High Performance SqueezeNext architecture ameliorate the performance of existingDNN architectures. The intuition behind this proposed architecture is to supplantconvolution layers with a more sophisticated block module & to develop a compactand efficient architecture with a competitive accuracy. Second, Shallow SqueezeNextarchitecture is proposed which achieves better model size results in comparison tobaseline SqueezeNet and SqueezeNext is presented. It illustrates the architecture is xviicompact, efficient and flexible in terms of model size and accuracy.Thestate-of-the-art SqueezeNext baseline and SqueezeNext baseline are used as thefoundation to recreate and propose the both DNN architectures in this study. Dueto very small model size with competitive model accuracy and decent model testingspeed it is expected to perform well on the ADAS systems.The proposedarchitectures are trained and tested from scratch on CIFAR-10 [30] & CIFAR-100[34] datasets. All the training and testing results are visualized with live loss andaccuracy graphs by using livelossplot. In the last, both of the proposed DNNarchitectures are deployed on BlueBox2.0 by NXP

Target detection and classification using seismic signal processing in unattended ground sensor systems

This thesis studies the problem of target detection and classification in Unat-tended Ground Sensor (UGS) systems. One of the most challenging problems faced by target identification process is the design of a robust feature vector which is sta-ble and specific to a certain type of vehicle. UGS systems have been used to detect and classify a variety of vehicles. In these systems, acoustic and seismic signals are the most popularly used resources. This thesis studies recent development of target detection and classification techniques using seismic signals. Based on these studies, a new feature extraction algorithm. Spectral Statistics and Wavelet Coef-ficients Characterization (SSWCC), is proposed. This algorithm obtains a robust feature vector extracted from the spectrum, the power spectral density (BSD) and the wavelet coefficients of the signals. Shape statistics is used in both spectral and PSD analysis. These features not only describe the frequency distribution in the spectrum and PSD, but also shows the closeness of the magnitude of spectrum to the normal distribution. Furthermore, the wavelet coefficients are calculated to present the signal in the time-frequency domain. The energy and the distribution of the wavelet coefficients are used in feature extraction as well. After the features are obtained, principal component analysis (PGA) is used to reduce the dimension of the features and optimize the feature vector. Minimum-distance classifier and k-nearest neighbor (kNN) classifier are used to carry out the classification. Experimental results show that SSWCC provides a robust feature set for target identification. The overall performance level can reach as high as 90%

Biometric authentication and identification through electrocardiogram signals

Tese de Mestrado Integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), 2021, Universidade de Lisboa, Faculdade de CiênciasO reconhecimento biométrico tem sido alvo de diversas investigações ao longo dos anos, sendo a impressão digital, a face e a iris, os traços biométricos mais explorados. Apesar do seu elevado potencial no que diz respeito a possíveis aplicações tecnológicas, alguns estudos apresentam limitações a estes traços biométricos, nomeadamente a falta de fiabilidade e praticidade num sistema biométrico. Recentemente, vários estudos exploraram o potencial do uso do electrocardiograma (ECG) como traço biométrico, por ser único e singular para cada indivíduo, e dificilmente roubado por outrem, por ser um sinal fisiológico. Nesta dissertação, foi investigada a possibilidade de usar sinais ECG como traço biométrico para sistemas de identificação e autenticação biométrica. Para tal, recorreu-se a uma base de dados pública chamada Check Your Biosignals Here initiative (CYBHi), criada com o intuito de propiciar investigações biométricas. As sessões de aquisição contaram com 63 participantes e ocorreram em dois momentos distintos separados por três meses, numa modalidade “off-the-person”, com recurso a um elétrodo na palma da mão e eletrolicras nos dedos. Os sinais da primeira aquisição correspondem, num sistema biométrico, aos dados armazenados na base de dados, enquanto que os sinais da segunda aquisição correspondem aos dados que serão identificados ou autenticados pelo sistema. Os sistemas de identificação e autenticação biométrica propostos nesta dissertação incluem diferentes fases: o pré-processamento, o processamento e a classificação. O pré-processamento consistiu na aplicação de um filtro passa-banda IIR de 4ª ordem, para eliminar ruídos e artefactos provenientes de atividade muscular e da impedância elétrica dos aparelhos de aquisição. A fase de processamento consistiu em extrair e gerar os templates biométricos, que serão os inputs dos algoritmos de classificação. Primeiramente, extraíram-se os ciclos cardíacos através do Neurokit2 disponível no Python. Para tal, foram localizados os picos R dos sinais ECG e, posteriormente, estes foram segmentados em ciclos cardíacos, com 200 amostras antes e 400 amostras depois dos picos. Com o objetivo de remover os segmentos mais ruidosos, os ciclos cardíacos foram submetidos a um algoritmo de eliminação de segmentos que consistiu em encontrar, para cada sujeito, os 20 e 60 ciclos mais próximos entre si, designados de Set 1 e Set 2, respetivamente. A partir desses dois conjuntos de ciclos, criaram-se dois tipos de templates: 1) os ciclos cardíacos, e 2) escalogramas gerados a partir dos ciclos, através da transformada de wavelet contínua, com dois tamanhos distintos: 56x56 e 224x224, denominados por Size 56 e Size 224, respetivamente. Devido ao elevado tamanho dos escalogramas, foi utilizada a analise de componentes independentes para reduzir a dimensionalidade. Assim, os sistemas biométricos propostos na presente investigação, foram testados com os conjuntos de 20 e 60 templates, quer para ciclos quer para escalogramas, de forma a avaliar o desempenho do sistema quando usados mais ou menos templates para os processos de identificação e autenticação. Os templates foram também testados com e sem normalização, para que pudessem ser analisados os benefícios deste processo. A classificação foi feita através de diferentes métodos, testados numa modalidade “entre-sessões”, isto é, os dados da 2ª aquisição, considerados os dados de teste, foram comparados com os dados da 1ª aquisição, denominados dados de treino, de forma a serem classificados. Quanto ao sistema de identificação com ciclos cardíacos, foram testados diferentes classificadores, nomeadamente LDA, kNN, DT e SVM. Para o kNN e SVM, foi feita uma otimização para encontrar o valor de “k” e os valores de γ e C, respetivamente, que permitem o sistema alcançar o melhor desempenho possível. A melhor performance foi obtida através do LDA, alcançando uma taxa de identificação de 79,37% para a melhor configuração, isto é, usando 60 ciclos normalizados. Os templates com base em escalogramas foram testados como inputs para dois métodos distintos: 1) redes neuronais e 2) algoritmo baseado em distâncias. A melhor performance foi uma taxa de identificação de 69,84%, obtida quando usados 60 escalogramas de tamanho 224, não normalizados. Deste modo, os resultados relativos a identificação provaram que utilizar mais templates (60) para identificar um indivíduo otimiza a performance do sistema biométrico, independentemente do tipo de template utilizado. Para alem disto, a normalização mostrou-se um processo essencial para a identificação com ciclos cardíacos, contudo, tal não se verificou para escalogramas. Neste estudo, demonstrou-se que a utilização de ciclos tem mais potencial para tornar um sistema de identificação biométrica eficiente, do que a utilização de escalogramas. No que diz respeito ao sistema de autenticação biométrica, foi utilizado um algoritmo baseado em distâncias, testado com os dois tipos de templates numa configuração concatenada, isto é, uma configuração na qual cada sujeito e representado por um sinal que contém uma sequência de todos os seus templates, seguidos uns dos outros. A avaliação da performance do sistema foi feita com base nos valores de taxa de autenticação e taxa de impostores, que indicam o número de indivíduos corretamente autenticados face ao número total de indivíduos, e o número de impostores autenticados face ao número total de indivíduos, respetivamente. Os ciclos cardíacos foram testados com e sem redução de dimensionalidade, sendo que a melhor performance foi obtida usando 60 ciclos não normalizados sem redução de dimensionalidade. Para esta configuração, obteve-se uma taxa de autenticação de 90,48% e uma taxa de impostores de 13,06%. Desta forma, concluiu-se que reduzir a dimensionalidade dos ciclos cardíacos prejudica o desempenho do sistema, uma vez que se perdem algumas características indispensáveis para a distinção entre sujeitos. Para os escalogramas, a melhor configuração, que corresponde ao uso de 60 escalogramas normalizados de tamanho 56, atingiu uma taxa de autenticação de 98,42% e uma taxa de impostores de 14,34%. Sendo que a dimensionalidade dos escalogramas foi reduzida com recurso a ICA, foi ainda avaliada a performance do sistema quando reduzido o número de componentes independentes. Os resultados mostraram que um número de componentes igual ao número de sujeitos otimiza o desempenho do sistema, uma vez que se verificou um decréscimo da taxa de autenticação quando reduzido o número de componentes. Assim, concluiu-se que são necessárias 63 componentes independentes para distinguir corretamente os 63 sujeitos. Para a autenticação através de ciclos cardíacos, a normalização e a redução de dimensionalidade são dois processos que degradam a performance do sistema, enquanto que, quando utilizados escalogramas, a normalização e vantajosa. Os resultados obtidos provaram ainda que, contrariamente ao que acontece para processos de identificação, a utilização de escalogramas e uma abordagem mais eficiente e eficaz para a autenticação de indivíduos, do que a utilização de ciclos. Esta investigação comprovou o potencial do ECG enquanto traço biométrico para identificação e autenticação de indivíduos, fazendo uma análise comparativa entre diferentes templates extraídos dos sinais ECG e diferentes metodologias na fase de classificação, e avaliando o desempenho do sistema em cada uma das configurações testadas. Estudos anteriores apresentaram algumas limitações, nomeadamente, o uso de aquisições “on-the-person”, ˜ que apresentam pouco potencial para serem integradas em sistemas biométricos devido à baixa praticidade, e à classificação numa modalidade “intra-sessão”, na qual os dados classificados e os dados armazenados foram adquiridos numa só sessão. Este estudo preenche essas lacunas, visto que utilizou dados adquiridos “off-the-person”, dados esses que foram testados numa modalidade “entre-sessões”. Apesar das aquisições ˜ “off-the-person” estarem sujeitas a mais ruídos e, consequentemente, dificultarem processos de identificação ou autenticação, estas abordagens são as mais adequadas para sistemas biométricos, dada a sua possível integração nas mais diversas aplicações tecnológicas. A modalidade “entre-sessões” resulta também numa pior performance relativamente a utilização de sinais de uma só sessão. No entanto, permite comprovar a estabilidade do ECG ao longo do tempo, o que é um fator indispensável para o funcionamento adequado de um sistema biométrico, uma vez que o mesmo terá que comparar diversas vezes o ECG apresentado no momento de identificação ou autenticação, com o ECG armazenado uma única vez na base de dados. Apesar dos bons resultados apresentados nesta dissertação, no futuro devem ser exploradas bases de dados que contenham mais participantes, com uma faixa etária mais alargada, incluindo participantes com diversas condições de saúde, com aquisições separadas por um período de tempo mais longo, de forma a simular o melhor possível a realidade de um sistema biométrico.Biometrics is a rapidly growing field with applications in personal identification and authentication. Over the recent years, several studies have demonstrated the potential of Electrocardiogram (ECG) to be used as a physiological signature for biometric systems. In this dissertation, the possibility of using the ECG signal as an unequivocal biometric trait for identification and authentication purposes has been presented. The ECG data used was from a publicly available database, the Check Your Biosignals Here initiative (CHBYi) database, developed for biometric purposes, containing records of 63 participants. Data was collected through an off-the-person approach, in two different moments, separated by three months, resulting in two acquisitions per subject. Signals from the first acquisition represent, in a biometric system, the data stored in the database, whereas signals from the second acquisition represent the data to be authenticated or identified. The proposed identification and authentication systems included several steps: signal pre-processing, signal processing, and classification. In the pre-processing phase, signals were filtered in order to remove noises, while the signal processing consisted of extracting and generating the biometric templates. For that, firstly, the cardiac cycles were extracted from the ECG signals, and segment elimination was performed to find the segments more similar to one another, resulting in two sets of templates, with 20 and 60 templates per participant, respectively. After that, two types of templates were generated: 1) templates based on cardiac cycles, and 2) templates based on scalograms generated from the cardiac cycles, with two different sizes, 56x56 and 224x224. Due to the large size of the scalograms, ICA was applied to reduce their dimensionality. Thus, the biometric systems were evaluated with two sets of each type of template in order to analyze the advantages of using more or fewer templates per subject, and the templates were also tested with and without normalization. For the identification system using cardiac cycles, LDA, kNN, DT, and SVM were tested as classifiers in an “across-session” modality, reaching an accuracy of 79.37% for the best model (LDA) in the best configuration (60 normalized cardiac cycles). When using scalograms, two different methodologies were tested: 1) neural network, and 2) a distance-based algorithm. The best accuracy was 69.84% for 60 not-normalized scalograms of Size 224, using NN. Thus, results suggested that the templates based on cardiac cycles are a more promising approach for identification tasks. For the authentication, a distance-based algorithm was used for both templates. Cardiac cycles were tested with and without dimensionality reduction, and the best configuration (60 not-normalized cardiac cycles without dimensionality reduction) reached an accuracy of 90.48% and an impostor score of 13.06%. For the scalograms, the best configuration (60 normalized scalograms of Size 56) reached an accuracy of 98.42% and an impostor score of 14.34%. Therefore, using scalograms for the authentication task proved to be a more efficient and accurate approach. The results from this work support the claim that ECG-based biometrics can be successfully used for personal identification and authentication. This study brings novelty by exploring different templates and methodologies in order to perform a comparative analysis and find the approaches that optimize the performance of the biometric system. Moreover, this represents a step forward towards a real-world application of an ECG-based biometric system, mainly due to the use of data from off-the-person acquisitions in an across-session modality