MonitorMe: sistema de reconhecimento de atividades baseado em Android

Mestrado em Engenharia de Computadores e TelemáticaA monitorização de uma pessoa pode ser importante em várias situações do dia-a-dia. Um modo de monitorização é a identificação de atividades realizadas. Atualmente, vários sensores potencialmente úteis para o reconhecimento de atividades, são integrados em dispositivos móveis, o que os torna particularmente interessantes para este tipo de monitorização. Uma forma complementar de monitorização é a utilização da gravação de um vídeo do ambiente que rodeia a pessoa a ser monitorizada. No entanto, dado o tamanho elevado dos vídeos para transmissão por canais sem fios ou mesmo para gravação no dispositivo, torna-se necessário atuar na compressão e redução da informação associada. Uma forma de o conseguir é adaptar a cadência de imagens adquiridas à velocidade da pessoa que está ser monitorizada. Nesta dissertação é proposto um sistema de monitorização online, chamado MonitorMe, que permite o reconhecimento de atividades e a gravação de um vídeo do ambiente envolvente de uma pessoa. Este sistema inclui um smartphone Android, mantido num bolso de camisa, e um módulo MARG (Magnetic, Angular Rate and Gravity), colocado num bolso das calças. Foi desenvolvida uma aplicação para o smartphone, que obtém dados dos sensores integrados em ambos os dispositivos para a realização do reconhecimento online de 6 atividades diferentes (em pé, sentado, deitado, andar, correr e queda). Este reconhecimento é conseguido utilizando um algoritmo de baixo custo computacional, cujo desenvolvimento teve em consideração as restrições relativas à capacidade de processamento e à duração da bateria dos telemóveis. Paralelamente ao reconhecimento de atividades, a câmara do smartphone captura imagens com uma cadência que varia com a velocidade do utilizador, esta última estimada a partir dos dados dos sensores processados para o reconhecimento de atividades. Demonstra-se assim a possibilidade de, com baixo custo computacional, diminuir a largura de banda de transmissão ou o armazenamento no dispositivo móvel. O sistema MonitorMe foi treinado e depois testado com dados obtidos em duas experiências envolvendo 10 pessoas, num total de 440 eventos diferentes com uma duração total de 45 minutos (2/3 usados para treino e 1/3 para teste). Os resultados globais obtidos mostraram uma sensibilidade superior a 93% e uma especificidade superior a 98% para o reconhecimento de atividades, e um erro médio relativo de 8.6% para a estimativa de velocidade.The monitoring of a given person can be important in different day-to-day scenarios. Monitoring can be performed by detecting activities while being carried out. Presently, various sensors with potential for activity recognition are being included in mobile devices, so they are particularly interesting for this type of monitoring. A complementary way of monitoring consists in the use of a video recording of the subject’s surrounding environment. However, given the large size of the videos for transmission through wireless links or even for storage in the device, it is necessary to compress and reduce the corresponding information. This can be achieved by adapting the frame rate of the captured images to the speed of the user being monitored. In this dissertation an online monitoring system, MonitorMe, which performs activity recognition and video recording of the surrounding environment of a subject, is proposed. This system includes an Android smartphone, inserted in a shirt pocket, and an MARG (Magnetic, Angular Rate and Gravity) module, placed in a pants pocket. A smartphone application was developed, which collects data from the sensors integrated in both devices to perform the online recognition of 6 different activities (standing, sitting, lying, walking, running and fall). This was achieved by using an algorithm of low computational cost, which took into account the existing restrictions regarding processing power and battery life of mobile phones. In parallel with activity recognition, the smartphone camera captures images with a frame rate that varies with the user speed, the latter estimated from sensor data processed for activity recognition. This demonstrates the possibility of reducing the required transmission bandwidth or the storage in the mobile device, with a low computational cost. The MonitorMe system was trained and then tested using data collected in two experiments with a participation of 10 subjects, which resulted in a total of 440 different events with a total duration of 45 minutes (2/3 used for training and 1/3 for testing). The overall results have shown a sensibility greater than 93% and a specificity greater than 98% for activity recognition, and an average relative error of 8.6% for speed estimation

Novos métodos de reabilitação cognitiva e motora: desenvolvimento e validação clínica

Doutoramento em Ciências e Tecnologias da SaúdeNervous system disorders are associated with cognitive and motor deficits, and are responsible for the highest disability rates and global burden of disease. Their recovery paths are vulnerable and dependent on the effective combination of plastic brain tissue properties, with complex, lengthy and expensive neurorehabilitation programs. This work explores two lines of research, envisioning sustainable solutions to improve treatment of cognitive and motor deficits. Both projects were developed in parallel and shared a new sensible approach, where low-cost technologies were integrated with common clinical operative procedures. The aim was to achieve more intensive treatments under specialized monitoring, improve clinical decision-making and increase access to healthcare. The first project (articles I – III) concerned the development and evaluation of a web-based cognitive training platform (COGWEB), suitable for intensive use, either at home or at institutions, and across a wide spectrum of ages and diseases that impair cognitive functioning. It was tested for usability in a memory clinic setting and implemented in a collaborative network, comprising 41 centers and 60 professionals. An adherence and intensity study revealed a compliance of 82.8% at six months and an average of six hours/week of continued online cognitive training activities. The second project (articles IV – VI) was designed to create and validate an intelligent rehabilitation device to administer proprioceptive stimuli on the hemiparetic side of stroke patients while performing ambulatory movement characterization (SWORD). Targeted vibratory stimulation was found to be well tolerated and an automatic motor characterization system retrieved results comparable to the first items of the Wolf Motor Function Test. The global system was tested in a randomized placebo controlled trial to assess its impact on a common motor rehabilitation task in a relevant clinical environment (early post-stroke). The number of correct movements on a hand-to-mouth task was increased by an average of 7.2/minute while the probability to perform an error decreased from 1:3 to 1:9. Neurorehabilitation and neuroplasticity are shifting to more neuroscience driven approaches. Simultaneously, their final utility for patients and society is largely dependent on the development of more effective technologies that facilitate the dissemination of knowledge produced during the process. The results attained through this work represent a step forward in that direction. Their impact on the quality of rehabilitation services and public health is discussed according to clinical, technological and organizational perspectives. Such a process of thinking and oriented speculation has led to the debate of subsequent hypotheses, already being explored in novel research paths.As doenças do sistema nervoso estão associadas a défices cognitivos e motores, sendo responsáveis pelas maiores taxas de incapacidade e impacto global. A sua recuperação é difícil e depende em simultâneo da plasticidade cerebral e de programas de neurorreabilitação complexos, longos e dispendiosos. Este trabalho explora duas linhas de investigação, que visam soluções sustentáveis para melhoria do tratamento de défices cognitivos e motores. Ambos os projetos foram desenvolvidos em paralelo, partilhando uma abordagem assisada onde se combinam tecnologias de baixo custo com processos clínicos comuns. O objetivo era obter tratamentos mais intensivos e supervisionados, melhorar o processo de decisão clínica e eliminar barreiras no acesso aos cuidados de saúde. O primeiro projeto (artigos I – III) permitiu o desenvolvimento e avaliação de uma plataforma online para treino cognitivo (COGWEB), adequada para uso intensivo, em casa ou instituições, e num largo espectro de idades e doenças com envolvimento das funções cognitivas. A sua usabilidade foi testada numa consulta de memória, sendo de seguida implementada numa rede colaborativa que envolveu 41 centros e 60 profissionais. A taxa de adesão aos planos de treino cognitivo online foi 82,8% aos 6 meses, verificando-se uma intensidade média de 6 horas/semana. O segundo projeto (artigos IV – VI) originou a construção e validação de um dispositivo de reabilitação inteligente para doentes com acidente vascular cerebral (AVC). Permite estímulos proprioceptivos no lado hemiparético, enquanto caracteriza o movimento tridimensional em ambulatório (SWORD). A estimulação vibratória foi bem tolerada pelos doentes e um sistema automático de caracterização motora revelou resultados comparáveis aos de uma escala utilizada frequentemente na prática clínica. O sistema integrado foi testado num ensaio clínico randomizado e controlado com placebo para avaliação do impacto numa tarefa de reabilitação motora na fase subaguda após AVC. O número de movimentos correctos numa tarefa mão-boca aumentou em média 7,2/minuto, enquanto a probabilidade de ocorrência de erro se reduziu de 1:3 para 1:9. A neurorreabilitação e a neuroplasticidade têm incorporado abordagens de múltiplos domínios das neurociências. Em simultâneo, a sua utilidade para os doentes e sociedade está dependente do desenvolvimento de tecnologias mais eficazes que facilitem também a disseminação do conhecimento entretanto produzido. Os resultados obtidos através do presente trabalho representam um passo adicional nessa direcção. O seu impacto na qualidade dos serviços de reabilitação e saúde pública são discutidos segundo perspectivas clínica, tecnológica e organizacional. Este processo de reflexão foi gerador de novas hipóteses, algumas já em exploração através de linhas de investigação específicas

SWORD: um dispositivo vibratório vestível para uma rabilitação mais eficiente em doentes com AVC

Doutoramento em Engenharia ElectrotécnicaAnualmente ocorrem cerca de 16 milhões AVCs em todo o mundo. Cerca de metade dos sobreviventes irá apresentar défice motor que necessitará de reabilitação na janela dos 3 aos 6 meses depois do AVC. Nos países desenvolvidos, é estimado que os custos com AVCs representem cerca de 0.27% do Produto Interno Bruto de cada País. Esta situação implica um enorme peso social e financeiro. Paradoxalmente a esta situação, é aceite na comunidade médica a necessidade de serviços de reabilitação motora mais intensivos e centrados no doente. Na revisão do estado da arte, demonstra-se o arquétipo que relaciona metodologias terapêuticas mais intensivas com uma mais proficiente reabilitação motora do doente. Revelam-se também as falhas nas soluções tecnológicas existentes que apresentam uma elevada complexidade e custo associado de aquisição e manutenção. Desta forma, a pergunta que suporta o trabalho de doutoramento seguido inquire a possibilidade de criar um novo dispositivo de simples utilização e de baixo custo, capaz de apoiar uma recuperação motora mais eficiente de um doente após AVC, aliando intensidade com determinação da correcção dos movimentos realizados relativamente aos prescritos. Propondo o uso do estímulo vibratório como uma ferramenta proprioceptiva de intervenção terapêutica a usar no novo dispositivo, demonstra-se a tolerabilidade a este tipo de estímulos através do teste duma primeira versão do sistema apenas com a componente de estimulação num primeiro grupo de 5 doentes. Esta fase validará o subsequente desenvolvimento do sistema SWORD. Projectando o sistema SWORD como uma ferramenta complementar que integra as componentes de avaliação motora e intervenção proprioceptiva por estimulação, é descrito o desenvolvimento da componente de quantificação de movimento que o integra. São apresentadas as diversas soluções estudadas e o algoritmo que representa a implementação final baseada na fusão sensorial das medidas provenientes de três sensores: acelerómetro, giroscópio e magnetómetro. O teste ao sistema SWORD, quando comparado com o método de reabilitação tradicional, mostrou um ganho considerável de intensidade e qualidade na execução motora para 4 dos 5 doentes testados num segundo grupo experimental. É mostrada a versatilidade do sistema SWORD através do desenvolvimento do módulo de Tele-Reabilitação que complementa a componente de quantificação de movimento com uma interface gráfica de feedback e uma ferramenta de análise remota da evolução motora do doente. Finalmente, a partir da componente de quantificação de movimento, foi ainda desenvolvida uma versão para avaliação motora automatizada, implementada a partir da escala WMFT, que visa retirar o factor subjectivo da avaliação humana presente nas escalas de avaliação motora usadas em Neurologia. Esta versão do sistema foi testada num terceiro grupo experimental de cinco doentes.About 16 million first ever-strokes occur worldwide every year. Half of stroke survivors are left with some degree of physical impairment that needs rehabilitation in the 3 to 6 month after-stroke time window. This situation implies a high economic and social burden. In developed countries, stroke cost is estimated to represent an average of 0.27% of each country’s gross domestic product. Paradoxically, it is accepted in the medical community the need for more intensive and patient-centered rehabilitation services. In the state of art review, it is demonstrated the archetype that relates the intensity on rehabilitation with a proficient motor recovery of the patient. Additionally, it is shown that the major pitfalls in current technological solutions in the field of motor rehabilitation are due to their intrinsic complexity and associated cost. Given this state of the art, the research question that supports this thesis, inquiries the possibility of creating a novel low-cost device targeted at the motor rehabilitation of stroke patients, capable of providing a more efficient treatment through enabling higher intensity and automated determination of the correctness of the movements performed by the recovering patient. The validity of the vibratory stimulus is presented from an historic and neurophysiologic point of view. Furthermore, a state of art review of motion capture systems is presented. Intending the use of the vibratory stimulus as a proprioceptive therapeutic tool to be integrated in the new device, it is demonstrated the tolerability of the stimulus from the experimental test of a first version of the device, incorporating the stimulation component, in a first group of five patients. Projecting the SWORD device as a tool that combines both features of motor function evaluation with proprioceptive intervention through vibratory stimulation, it is described the development of the motion capture component. Several solutions were studied and the final algorithm, based on the sensory fusion of the measures from three sensors (accelerometer, gyroscope and magnetometer), is described in detail. The experimental test of the SWORD system on a second group of patients showed that, when compared with a typical treatment, it is capable of providing a more intensive intervention and with a higher quality in 4 out of 5 patients. To demonstrate the versatility of the SWORD system, it was developed the tele-rehabilitation module that complements the motion capture component with a graphical feedback interface and a remote tool for the clinician to evaluate the performance of the patient through out the time he uses the system in his home or any other remote environment. Finally, from the motion capture component, a motor function evaluation version of the system was deployed. Implemented from the WMFT scale, it aims to eliminate the human subjectivity present in the traditional evaluation scales used in the neurology medical area. This system was evaluated on a third group of five patients

Sistema para análise automatizada de movimento durante a marcha usando uma câmara RGB-D

Nowadays it is still common in clinical practice to assess the gait (or way of walking) of a given subject through the visual observation and use of a rating scale, which is a subjective approach. However, sensors including RGB-D cameras, such as the Microsoft Kinect, can be used to obtain quantitative information that allows performing gait analysis in a more objective way. The quantitative gait analysis results can be very useful for example to support the clinical assessment of patients with diseases that can affect their gait, such as Parkinson’s disease. The main motivation of this thesis was thus to provide support to gait assessment, by allowing to carry out quantitative gait analysis in an automated way. This objective was achieved by using 3-D data, provided by a single RGB-D camera, to automatically select the data corresponding to walking and then detect the gait cycles performed by the subject while walking. For each detected gait cycle, we obtain several gait parameters, which are used together with anthropometric measures to automatically identify the subject being assessed. The automated gait data selection relies on machine learning techniques to recognize three different activities (walking, standing, and marching), as well as two different positions of the subject in relation to the camera (facing the camera and facing away from it). For gait cycle detection, we developed an algorithm that estimates the instants corresponding to given gait events. The subject identification based on gait is enabled by a solution that was also developed by relying on machine learning. The developed solutions were integrated into a system for automated gait analysis, which we found to be a viable alternative to gold standard systems for obtaining several spatiotemporal and some kinematic gait parameters. Furthermore, the system is suitable for use in clinical environments, as well as ambulatory scenarios, since it relies on a single markerless RGB-D camera that is less expensive, more portable, less intrusive and easier to set up, when compared with the gold standard systems (multiple cameras and several markers attached to the subject’s body).Atualmente ainda é comum na prática clínica avaliar a marcha (ou o modo de andar) de uma certa pessoa através da observação visual e utilização de uma escala de classificação, o que é uma abordagem subjetiva. No entanto, existem sensores incluindo câmaras RGB-D, como a Microsoft Kinect, que podem ser usados para obter informação quantitativa que permite realizar a análise da marcha de um modo mais objetivo. Os resultados quantitativos da análise da marcha podem ser muito úteis, por exemplo, para apoiar a avaliação clínica de pessoas com doenças que podem afetar a sua marcha, como a doença de Parkinson. Assim, a principal motivação desta tese foi fornecer apoio à avaliação da marcha, permitindo realizar a análise quantitativa da marcha de forma automatizada. Este objetivo foi atingido usando dados em 3-D, fornecidos por uma única câmara RGB-D, para automaticamente selecionar os dados correspondentes a andar e, em seguida, detetar os ciclos de marcha executados pelo sujeito durante a marcha. Para cada ciclo de marcha identificado, obtemos vários parâmetros de marcha, que são usados em conjunto com medidas antropométricas para identificar automaticamente o sujeito que está a ser avaliado. A seleção automatizada de dados de marcha usa técnicas de aprendizagem máquina para reconhecer três atividades diferentes (andar, estar parado em pé e marchar), bem como duas posições diferentes do sujeito em relação à câmara (de frente para a câmara e de costas para ela). Para a deteção dos ciclos da marcha, desenvolvemos um algoritmo que estima os instantes correspondentes a determinados eventos da marcha. A identificação do sujeito com base na sua marcha é realizada usando uma solução que também foi desenvolvida com base em aprendizagem máquina. As soluções desenvolvidas foram integradas num sistema de análise automatizada de marcha, que demonstrámos ser uma alternativa viável a sistemas padrão de referência para obter vários parâmetros de marcha espácio-temporais e alguns parâmetros angulares. Além disso, o sistema é adequado para uso em ambientes clínicos, bem como em cenários ambulatórios, pois depende de apenas de uma câmara RGB-D que não usa marcadores e é menos dispendiosa, mais portátil, menos intrusiva e mais fácil de configurar, quando comparada com os sistemas padrão de referência (múltiplas câmaras e vários marcadores colocados no corpo do sujeito).Programa Doutoral em Informátic