Biosignal‐based human–machine interfaces for assistance and rehabilitation : a survey

As a definition, Human–Machine Interface (HMI) enables a person to interact with a device. Starting from elementary equipment, the recent development of novel techniques and unobtrusive devices for biosignals monitoring paved the way for a new class of HMIs, which take such biosignals as inputs to control various applications. The current survey aims to review the large literature of the last two decades regarding biosignal‐based HMIs for assistance and rehabilitation to outline state‐of‐the‐art and identify emerging technologies and potential future research trends. PubMed and other databases were surveyed by using specific keywords. The found studies were further screened in three levels (title, abstract, full‐text), and eventually, 144 journal papers and 37 conference papers were included. Four macrocategories were considered to classify the different biosignals used for HMI control: biopotential, muscle mechanical motion, body motion, and their combinations (hybrid systems). The HMIs were also classified according to their target application by considering six categories: prosthetic control, robotic control, virtual reality control, gesture recognition, communication, and smart environment control. An ever‐growing number of publications has been observed over the last years. Most of the studies (about 67%) pertain to the assistive field, while 20% relate to rehabilitation and 13% to assistance and rehabilitation. A moderate increase can be observed in studies focusing on robotic control, prosthetic control, and gesture recognition in the last decade. In contrast, studies on the other targets experienced only a small increase. Biopotentials are no longer the leading control signals, and the use of muscle mechanical motion signals has experienced a considerable rise, especially in prosthetic control. Hybrid technologies are promising, as they could lead to higher performances. However, they also increase HMIs’ complex-ity, so their usefulness should be carefully evaluated for the specific application

Integration of body sensor networks and vehicular ad-hoc networks for traffic safety

The emergence of Body Sensor Networks (BSNs) constitutes a new and fast growing trend for the development of daily routine applications. However, in the case of heterogeneous BSNs integration with Vehicular ad hoc Networks (VANETs) a large number of difficulties remain, that must be solved, especially when talking about the detection of human state factors that impair the driving of motor vehicles. The main contributions of this investigation are principally three: (1) an exhaustive review of the current mechanisms to detect four basic physiological behavior states (drowsy, drunk, driving under emotional state disorders and distracted driving) that may cause traffic accidents is presented; (2) A middleware architecture is proposed. This architecture can communicate with the car dashboard, emergency services, vehicles belonging to the VANET and road or street facilities. This architecture seeks on the one hand to improve the car driving experience of the driver and on the other hand to extend security mechanisms for the surrounding individuals; and (3) as a proof of concept, an Android real-time attention low level detection application that runs in a next-generation smartphone is developed. The application features mechanisms that allow one to measure the degree of attention of a driver on the base of her/his EEG signals, establish wireless communication links via various standard wireless means, GPRS, Bluetooth and WiFi and issue alarms of critical low driver attention levels.Peer ReviewedPostprint (author's final draft

DESIGNING EYE TRACKING ALGORITHM FOR PARTNER-ASSISTED EYE SCANNING KEYBOARD FOR PHYSICALLY CHALLENGED PEOPLE

The proposed research work focuses on building a keyboard through designing an algorithm for eye movement detection using the partner-assisted scanning technique. The study covers all stages of gesture recognition, from data acquisition to eye detection and tracking, and finally classification. With the presence of many techniques to implement the gesture recognition stages, the main objective of this research work is implementing the simple and less expensive technique that produces the best possible results with a high level of accuracy. The results, finally, are compared with similar works done recently to prove the efficiency in implementation of the proposed algorithm. The system starts with the calibration phase, where a face detection algorithm is designed to detect the user‟s face by a trained support vector machine. Then, features are extracted, after which tracking of the eyes is possible by skin-colour segmentation. A couple of other operations were performed. The overall system is a keyboard that works by eye movement, through the partner-assisted scanning technique. A good level of accuracy was achieved, and a couple of alternative methods were implemented and compared. This keyboard adds to the research field, with a new and novel combination of techniques for eye detection and tracking. Also, the developed keyboard helps bridge the gap between physical paralysis and leading a normal life. This system can be used as comparison with other proposed algorithms for eye detection, and might be used as a proof for the efficiency of combining a number of different techniques into one algorithm. Also, it strongly supports the effectiveness of machine learning and appearance-based algorithms

SleepyWheels: An Ensemble Model for Drowsiness Detection leading to Accident Prevention

Around 40 percent of accidents related to driving on highways in India occur due to the driver falling asleep behind the steering wheel. Several types of research are ongoing to detect driver drowsiness but they suffer from the complexity and cost of the models. In this paper, SleepyWheels a revolutionary method that uses a lightweight neural network in conjunction with facial landmark identification is proposed to identify driver fatigue in real time. SleepyWheels is successful in a wide range of test scenarios, including the lack of facial characteristics while covering the eye or mouth, the drivers varying skin tones, camera placements, and observational angles. It can work well when emulated to real time systems. SleepyWheels utilized EfficientNetV2 and a facial landmark detector for identifying drowsiness detection. The model is trained on a specially created dataset on driver sleepiness and it achieves an accuracy of 97 percent. The model is lightweight hence it can be further deployed as a mobile application for various platforms.Comment: 20 page

EEG source analysis during circular rhythmic human arm movements

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2017Decoding arm movement trajectory from brain signals would allow motor impaired people to control an arm prosthetic. Studies show that we can estimate a vector that points in the direction of arm movements based on single motor neuron activity - the population vector. This type of recording requires the surgical insertion of electrodes in the cerebral cortex. Although such invasive recordings would offer high spatial resolution, noninvasive recording have the advantage of high temporal resolution and no need for surgery. Researchers have managed to decode movement properties from noninvasive brain signals with similar accuracy as from invasive recordings. But can we find a noninvasive analogous of the population vector, a vector that points in the direction of the arm movement? This was the motivation for this thesis. To approach this question we acquired EEG, EOG and kinematic data from 12 healthy subjects while they performed a rhythmic circular right arm movement. We analyzed the data in the time and frequency domains. In the time domain we explored mainly the data averaged over cycles. We found a pattern that looked as if the potentials in the scalp rotated with the arm. To better visualize this rotation, we fit one dipole per time-stamp in the averaged cycle data of each subject to describe the scalp’s potentials. The dipoles rotated along the cycle for all subjects, most of them in the same direction and plane of rotation, with exception for two subjects whose rotation was opposite and three subjects with a slightly different rotation plan. In the frequency domain, we used the Source Power Comodulation algorithm (SPoC), an algorithm that searches for components whose power correlates with a target variable, in our case, the arm kinematics. By applying this algorithm to 20-24 Hz band-pass filtered data, we found two components per subject, each calculated with different kinematic target variables. The results show components that when applied to the non band-pass filtered data, created signals whose power spectrum highly correlated with the given targets (the average of the absolute correlations being 85.5%). The physiological reason for both these phenomena is not entirely understood. To find the analogous of the population vector there is still a long way to go, and we hope this thesis was a first step towards it.O cérebro controla direta ou indiretamente todas as ações do corpo humano, entre elas o nosso movimento. O movimento é uma capacidade fundamental ao ser humano e, por essa mesma razão, indivíduos que sofram de incapacidades motoras têm uma redução considerável da sua qualidade de vida. Uma interface cérebro-computador (mais conhecida pelo seu nome em inglês brain-computer interface (BCI)) é um sistema que permite o controlo de dispositivos externos usando sinais cerebrais. Esta tecnologia é particularmente interessante para pessoas com incapacidade motora uma vez que não necessita de input físico e poderia ser usada para controlar uma neuroprótese ou um braço robótico. Existem várias estratégias que possibilitam o controlo destes sistemas, mas para o controlo de uma prótese do braço seria preferível usar uma estratégia natural, que não implicasse uma aprendizagem exaustiva por parte do utilizador. Para esse fim, é necessário descodificar vários parâmetros motores de acordo com a intenção do utilizador, como por exemplo, a direção do braço. A possibilidade de um dia conseguir descodificar sinais cerebrais para o controlo de dispositivos externos já começa a ganhar forma, mas ainda não é possível a um nível suficientemente eficaz. Usando métodos invasivos de aquisição de sinais cerebrais que requerem cirurgia para implantar elétrodos no córtex cerebral, Georgopoulos et al. conseguiram distinguir entre movimentos direcionais (em 8 direções num plano horizontal) em macacos. Nessas experiências criou o conceito de vetor de população (population vector) que é um vetor calculado a partir da atividade de neurónios motores que tem a particularidade de apontar na direção do movimento executado. Já no campo dos métodos de aquisição não-invasivos podemos destacar o eletroencefalograma (EEG) e o magnetoencefalograma (MEG) que adquirem sinais elétricos e magnéticos (respetivamente) com sensores colocados fora do crânio. Vários investigadores usaram estes métodos de aquisição para descodificar sinais cerebrais durante tarefas de movimento direcionais usando regressões lineares em sinais de baixa frequência, e modulações em frequência para sinais na gama dos 50-90 Hz (banda de frequência ϒ) e em frequência mais baixas para os 10-30 Hz (bandas de frequência α e β). Algo que ainda não foi estudado é a possibilidade de encontrar um análogo ao vetor população usando métodos não-invasivos. Este não teria os mesmos princípios do vetor de Georgopoulos, uma vez que nos é impossível inferir a atividade de neurónios singulares em métodos não-invasivos, mas teria o mesmo objetivo: apontar na direção do movimento executado. Para explorar este conceito realizámos aquisição de dados EEG, eletrooculograma (EOG) e dados cinéticos do braço direito de 12 sujeitos saudáveis, enquanto estes executavam um movimento rítmico, circular, no sentido dos ponteiros do relógio num plano vertical à sua frente. Durante a aquisição, os sujeitos focaram o seu olhar numa cruz mostrada através de um monitor colocado a sua frente, de forma a minimizar os movimentos oculares. Adicionalmente, uma divisória foi colocada perto do lado direito da face de cada sujeito impedindo os mesmos de observarem o seu braço enquanto realizavam o movimento requisitado, não obtendo assim qualquer feedback visual do seu membro superior. Os dados cinéticos foram adquiridos com um sensor Kinect para a Xbox 360 que ao longo da experiência localizou as junções do braço direito dos sujeitos. Os dados cinéticos foram filtrados com um passa-banda 0.3-0.8 Hz e, ao longo dos ciclos do braço, os pontos extremos do braço (i.e., os máximos e mínimos nas coordenadas vertical e horizontal) foram anotados nos dados para possibilitar a associação dos sinais cerebrais com a trajetória do braço em cada ciclo. Para cada sujeito os canais EEG ruidosos foram interpolados, os dados foram referenciados à média comum de todos os canais, e os sinais foram filtrados numa banda de frequência 0.25-100 Hz e com um filtro tapa banda nos 50 e nos 100 Hz, este último para rejeitar o ruído de fundo. Os sinais de EEG e EOG foram separados em épocas conforme a posição do braço, sendo que cada época passou então a consistir num ciclo do braço completo que começa no ponto mais alto da coordenada vertical. Cada época foi depois temporalmente distorcida para que todas tivessem a mesma duração. As épocas com artefactos foram rejeitadas da análise usando métodos automáticos de rejeição. Independent Component Analysis (ICA) foi utilizada para identificar e posteriormente rejeitar componentes independentes referentes a movimentos musculares e oculares. Por fim, os dados foram explorados em ambos os domínios de tempo e frequência. No domínio do tempo, estudámos mais especificamente a média das épocas de EEG e EOG durante os ciclos do braço. Uma vez que sinais não-invasivos são muito sujeitos a ruído, a média elimina artefactos singulares e acentua os sinais que aparecem constantemente nos dados. Os sinais do ciclo médio mostraram um padrão interessante para todos os sujeitos; um comportamento rotacional ao longo da rotação do braço direito. Para acompanhar a rotação dos potenciais, procurámos por um dipolo que descrevesse a distribuição topográfica a cada ponto do tempo. A rotação dos potenciais do EEG ao longo do ciclo médio foram verificados com a rotação da direção do dipolo ao longo do ciclo. A grande maioria dos sujeitos obteve um dipolo a rodar no mesmo sentido no mesmo plano (segundo a regra da mão direita, com um vetor de rotação a apontar para a zona frontal esquerda do cérebro). Cinco sujeitos foram a exceção, 2 desses cujo dipolo rodava no sentido contrário, e os restantes 3 sujeitos cujo dipolo rodava no mesmo sentido, mas num plano ligeiramente diferente. Em todos os sujeitos o dipolo ajustado rodava, de forma relativamente uniforme. No domínio da frequência, estudámos em particular a banda de frequência dos 20 aos 24 Hz. Escolheuse esta banda de frequência pois demonstrou os resultados mais interessantes e já tinha sido utilizada em estudos prévios. Usámos um algoritmo chamado SPoC (Source Power Comodulation) que encontra componentes de atividade cerebral cuja amplitude em frequência correlacione com uma variável alvo. Como variável alvo usámos os dados cinéticos do braço direito, e como input os dados cerebrais filtrados por um filtro passa-banda (20-24 Hz). Os resultados traduziram-se numa série de componentes cuja amplitude correlacionava ou anti-correlacionava com o movimento do braço, muitas delas com projecções topográficas consistentes com as áreas cerebrais motoras. Encontraram-se algumas semelhanças entre os padrões de ativação das componentes do SPoC dos vários sujeitos, ainda que os resultados variassem entre cada um. Ao projetar as componentes aos dados não-filtrados pelo passa-banda, verificamos que as modelações em frequência de facto correlacionam com as variáveis-alvo como esperado, com uma média da norma das correlações de todos os sujeitos a 85,5%. No domínio temporal, ainda que recorrendo à média de todos os ciclos (épocas), este é o primeiro estudo que demonstra de forma não-invasiva, a existência de um dipolo com comportamento rotacional ao longo da rotação do braço. Para o seu uso em tecnologias de BCI, é necessário encontrar o mesmo fenómeno em épocas únicas, tornando possível uma classificação em single-trial e em tempo real. No que toca aos resultados no domínio da frequência, a procura por componentes cuja fonte poderia estar envolvida na criação do movimento circular foi também bem-sucedida. Este estudo abriu portas para uma série de investigações futuras. Para trabalhos posteriores destaco a necessidade de uma análise estatística, de usar mais do que um dipolo para descrever a distribuição de potenciais no domínio temporal, de explorar os dados em cada movimento e não apenas a sua média, e de explorar paradigmas semelhantes durante o movimento do braço esquerdo. Os resultados desta tese serviram, portanto, como primeiro passo na direção de encontrar o análogo não-invasivo do vetor de população

Hand Gesture to Control Virtual Keyboard using Neural Network

Disability is one of a person's physical and mental conditions that can inhibit normal daily activities. One of the disabilities that can be found in disability is speech without fingers. Persons with disabilities have obstacles in communicating with people around both verbally and in writing. Communication tools to help people with disabilities without finger fingers continue to be developed, one of them is by creating a virtual keyboard using a Leap Motion sensor. The hand gestures are captured using the Leap Motion sensor so that the direction of the hand gesture in the form of pitch, yaw, and roll is obtained. The direction values are grouped into normal, right, left, up, down, and rotating gestures to control the virtual keyboard. The amount of data used for gesture recognition in this study was 5400 data consisting of 3780 training data and 1620 test data. The results of data testing conducted using the Artificial Neural Network method obtained an accuracy value of 98.82%. This study also performed a virtual keyboard performance test directly by typing 20 types of characters conducted by 15 respondents three times. The average time needed by respondents in typing is 5.45 seconds per character

Contributions to the study of Austism Spectrum Brain conectivity

164 p.Autism Spectrum Disorder (ASD) is a largely prevalent neurodevelopmental condition with a big social and economical impact affecting the entire life of families. There is an intense search for biomarkers that can be assessed as early as possible in order to initiate treatment and preparation of the family to deal with the challenges imposed by the condition. Brain imaging biomarkers have special interest. Specifically, functional connectivity data extracted from resting state functional magnetic resonance imaging (rs-fMRI) should allow to detect brain connectivity alterations. Machine learning pipelines encompass the estimation of the functional connectivity matrix from brain parcellations, feature extraction and building classification models for ASD prediction. The works reported in the literature are very heterogeneous from the computational and methodological point of view. In this Thesis we carry out a comprehensive computational exploration of the impact of the choices involved while building these machine learning pipelines