Activity monitoring and behaviour analysis using RGB-depth sensors and wearable devices for ambient assisted living applications

Nei paesi sviluppati, la percentuale delle persone anziane è in costante crescita. Questa condizione è dovuta ai risultati raggiunti nel capo medico e nel miglioramento della qualità della vita. Con l'avanzare dell'età, le persone sono più soggette a malattie correlate con l'invecchiamento. Esse sono classificabili in tre gruppi: fisiche, sensoriali e mentali. Come diretta conseguenza dell'aumento della popolazione anziana ci sarà quindi una crescita dei costi nel sistema sanitario, che dovrà essere affrontata dalla UE nei prossimi anni. Una possibile soluzione a questa sfida è l'utilizzo della tecnologia. Questo concetto è chiamato Ambient Assisted living (AAL) e copre diverse aree quali ad esempio il supporto alla mobilità, la cura delle persone, la privacy, la sicurezza e le interazioni sociali. In questa tesi differenti sensori saranno utilizzati per mostrare, attraverso diverse applicazioni, le potenzialità della tecnologia nel contesto dell'AAL. In particolare verranno utilizzate le telecamere RGB-profondità e sensori indossabili. La prima applicazione sfrutta una telecamera di profondità per monitorare la distanza sensore-persona al fine di individuare possibili cadute. Un'implementazione alternativa usa l'informazione di profondità sincronizzata con l'accelerazione fornita da un dispositivo indossabile per classificare le attività realizzate dalla persona in due gruppi: Activity Daily Living e cadute. Al fine di valutare il fattore di rischio caduta negli anziani, la seconda applicazione usa la stessa configurazione descritta in precedenza per misurare i parametri cinematici del corpo durante un test clinico chiamato Timed Up and Go. Infine, la terza applicazione monitora i movimenti della persona durante il pasto per valutare se il soggetto sta seguendo una dieta corretta. L'informazione di profondità viene sfruttata per riconoscere particolari azioni mentre quella RGB per classificare oggetti di interesse come bicchieri o piatti presenti sul tavolo.Nowadays, in the developed countries, the percentage of the elderly is growing. This situation is a consequence of improvements in people's quality life and developments in the medical field. Because of ageing, people have higher probability to be affected by age-related diseases classified in three main groups physical, perceptual and mental. Therefore, the direct consequence is a growing of healthcare system costs and a not negligible financial sustainability issue which the EU will have to face in the next years. One possible solution to tackle this challenge is exploiting the advantages provided by the technology. This paradigm is called Ambient Assisted Living (AAL) and concerns different areas, such as mobility support, health and care, privacy and security, social environment and communication. In this thesis, two different type of sensors will be used to show the potentialities of the technology in the AAL scenario. RGB-Depth cameras and wearable devices will be studied to design affordable solutions. The first one is a fall detection system that uses the distance information between the target and the camera to monitor people inside the covered area. The application will trigger an alarm when recognizes a fall. An alternative implementation of the same solution synchronizes the information provided by a depth camera and a wearable device to classify the activities performed by the user in two groups: Activity Daily Living and fall. In order to assess the fall risk in the elderly, the second proposed application uses the previous sensors configuration to measure kinematic parameters of the body during a specific assessment test called Timed Up and Go. Finally, the third application monitor's the user's movements during an intake activity. Especially, the drinking gesture can be recognized by the system using the depth information to track the hand movements whereas the RGB stream is exploited to classify important objects placed on a table

Analyse des mouvements 3D en temps réel pour un dispositif médical destiné au maintien de l'indépendance fonctionnelle des personnes âgées à domicile

We propose in this manuscript a realtime3D movement analysis system for inhomefunctionalabilities assessment in aged adults. As a first step, the purpose is to maintain the functionalindependence of this population and to allow an earlier detection of a motor decompensation inorder to facilitate a rehabilitation process. To quantify the equilibrium quality of a subject, webuilt a system using the Kinect sensor in order to analyze a simple clinical test validated in geriatricrehabilitation: the Timed Up and Go (TUG). Three experiments conducted in heterogeneousenvironments (laboratory, day hospital and home) showed good measurement reliability of theidentified parameters. In particular, they allow to assign a motor control note indicating themotor frailty. Then, we proposed a video processing chain to increase the robustness of theanalysis of the various TUG phases: automatic detection of the sitting posture, patientsegmentation and three body joints extraction. The results of this work allow us to considerseveral perspectives. First, we believe conduct experiments on a larger population in order toconfirm the system reliability. Then, various technical and ergonomic improvements would benecessary to facilitate general public use. Finally, it would be interesting to extend the proposedmethodology for other clinical test to prolong the autonomy at home.Dans ce manuscrit, nous proposons un système d'analyse automatique des mouvements 3D entemps réel permettant l'évaluation des capacités fonctionnelles chez les personnes âgées àdomicile. Dans un premier temps, l'objectif est de contribuer à maintenir l'indépendancefonctionnelle de cette population et permettre une détection précoce d'une décompensationmotrice pour faciliter une démarche de rééducation. Pour quantifier la qualité d'équilibre d'unsujet en temps réel, nous avons conçu un système en utilisant le capteur Kinect et permettantd'analyser un test clinique simple et validé en rééducation gériatrique: le Timed Up and Go (TUG).Trois expériences, réalisées dans des environnements hétérogènes (laboratoire, hôpital de jouret domicile) ont montré une bonne fiabilité de la mesure des paramètres identifiés. Ellespermettent notamment d'attribuer une note de contrôle moteur indiquant la fragilité motrice.Dans un second temps, nous avons proposé une chaîne de traitement vidéo permettantd'augmenter la robustesse d'analyse de différentes phases du TUG : détection automatique de laposition assise, segmentation du patient et extraction de 3 articulations du corps. Les résultats deces travaux nous permettent d'envisager plusieurs perspectives. Tout d'abord, nous pensonseffectuer des expérimentations sur une population plus large afin de confirmer la fiabilité dusystème. Puis, différentes améliorations techniques et ergonomiques seraient nécessaires pourfaciliter l'utilisation grand public. Enfin, il serait intéressant d'étendre la méthodologie proposéepour d'autres tests cliniques en vue de prolonger l'autonomie à domicile