Human fall detection on videos using convolutional neural networks with multiple channels

Orientador: Hélio PedriniDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Baixas taxas de mortalidade infantil, avanços na medicina e mudanças culturais aumentaram a expectativa de vida nos países desenvolvidos para mais de 60 anos. Alguns países esperam que, até 2030, 20% da sua população tenham mais de 65 anos. A qualidade de vida nessa idade avançada é altamente determinada pela saúde do indivíduo, que ditará se o idoso pode se engajar em atividades importantes para o seu bem estar, independência e satisfação pessoal. O envelhecimento é acompanhado por problemas de saúde causados por limitações biológicas e fraqueza muscular. Esse enfraquecimento facilita a ocorrência de quedas, responsáveis pela morte de aproximadamente 646.000 pessoas em todo o mundo e, mesmo quando uma pequena queda ocorre, ela ainda pode fraturar ossos ou danificar tecidos moles, que não cicatrizam completamente. Lesões e danos dessa natureza, por sua vez, podem afetar a autoconfiança do indivíduo, diminuindo sua independência. Neste trabalho, propomos um método capaz de detectar quedas humanas em sequências de vídeo usando redes neurais convolucionais (CNNs) multicanais. Nós desenvolvemos dois métodos para detecção de quedas, o primeiro utilizando uma CNN 2D e o segundo utilizando uma CNN 3D. Nossos métodos utilizam características extraídas previamente de cada quadro do vídeo e as classificam. Após a etapa de classificação, uma máquina de vetores de suporte (SVM) é aplicada para ponderar os canais de entrada e indicar se houve ou não uma queda. Experimentamos quatro tipos de características, a saber: (i) fluxo óptico, (ii) ritmo visual, (iii) estimativa de pose e (iv) mapa de saliência. As bases de dados utilizadas (URFD e FDD) estão disponíveis publicamente e nossos resultados são comparados com os da literatura. As métricas selecionadas para avaliação são acurácia balanceada, acurácia, sensibilidade e especificidade. Nossos métodos apresentaram resultados competitivos com os obtidos pelo estado da arte na base de dados URFD e superam os obtidos na base de dados FDD. Ao conhecimento dos autores, nós somos os primeiros a realizar testes cruzados entre os conjuntos de dados em questão, e a reportar resultados de acurácia balanceada. Os métodos propostos são capazes de detectar quedas nas bases selecionadas. A detecção de quedas, bem como a classificação de atividades em vídeos, está fortemente relacionada à capacidade da rede de interpretar informações temporais e, como esperado, o fluxo óptico é a característica mais relevante para a detecção de quedasAbstract: Lower child mortality rates, advances in medicine, and cultural changes have increased life expectancy in developed countries over 60 years old. Some countries expect that, by 2030, 20% of their population will be over 65 years old. The quality of life at this advanced age is highly dictated by the individual's health, which will determine whether the elderly can engage in important activities to their well-being, independence, and personal satisfaction. Old age is accompanied by health problems caused by biological limitations and muscle weakness. This weakening facilitates the occurrence of falls, which are responsible for the deaths of approximately 646,000 people worldwide and, even when a minor fall occurs, it can still cause fractures, break bones or damage soft tissues, which will not heal completely. Injuries and damages of this nature, in turn, will consume the self-confidence of the individual, diminishing their independence. In this work, we propose a method capable of detecting human falls in video sequences using multichannel convolutional neural networks (CNN). We developed two methods for fall detection, the first using a 2D CNN and the second using a 3D CNN. Our method uses features previously extracted from each frame and classifies them with a CNN. After the classification step, a support vector machine (SVM) is applied to weight the input channels and indicate whether or not there was a fall. We experiment with four types of features, namely: (i) optical flow, (ii) visual rhythm, (iii) pose estimation, and (iv) saliency map. The benchmarks used (URFD and FDD) are publicly available and our results are compared to those in the literature. The metrics selected for evaluation are balanced accuracy, accuracy, sensitivity, and specificity. Our results are competitive with those obtained by the state of the art on the URFD data set and surpass those on the FDD data set. To the authors' knowledge, we are the first to perform cross-tests between the datasets in question and to report results for the balanced accuracy metric. The proposed method is able to detect falls in the selected benchmarks. Fall detection, as well as activity classification in videos, is strongly related to the network's ability to interpret temporal information and, as expected, optical flow is the most relevant feature for detecting fallsMestradoCiência da ComputaçãoMestre em Ciência da Computaçã

Detección de caídas mediante vídeo-monitorización

En este Proyecto Fin de Carrera se estudia desarrollar un sistema de detección de caídas mediante video-monitorización, destinado principalmente a su implementación en entornos domésticos para favorecer la vida independiente de las personas mayores. Teniendo en cuenta que las caídas son uno de los principales problemas de la población anciana, nos encontramos dentro un campo con un gran potencial todavía en desarrollo. En primer lugar se realiza un exhaustivo estudio del arte tanto de los métodos existentes dentro de la detección de caídas en general, así como de los algoritmos exclusivos del análisis de vídeo. Una vez detalladas las técnicas, se elige aquella que mejor se adapta a las necesidades de nuestro proyecto y ofrece unos resultados razonables en la detección de caídas. A continuación, se ha implementado un algoritmo que caracteriza la técnica elegida. El algoritmo es evaluado mediante un conjunto vídeos de distintas características y varios enfoques que nos permiten establecer conclusiones. Finalmente, se han enumerado las futuras líneas de trabajo para corregir los problemas existentes en la implementación y crear un algoritmo más robusto y eficiente.This Master Thesis Project consists on studying the development of a fall detection video-based system, primarily intended for implementation in home environments to promote independent living for the elderly. Due that falls are one of the main problems of the elderly population, we are in a field with great potential still developing. In the first place, we conducted a comprehensive study of the art of existing methods in the detection of falls in general, as well as exclusive video analysis algorithms. Once detailed the techniques, we chose the one that best fits the needs of our project and provides reasonable results in the detection of falls. Then, we have implemented an algorithm that characterizes the technique chosen. The algorithm is evaluated by a different set of video with different features and various approaches that allow us to draw conclusions. Finally, we have listed the future works to correct the problems in the implementation and create a more robust and efficient algorithm

Implantation d’un système de vidéosurveillance intelligente pour détecter les chutes en milieu de vie

Introduction. Le vieillissement de la population est associé à un risque accru de chute menaçant le maintien des aînés à domicile et dans la communauté. Les nombreuses conséquences néfastes des chutes sur la santé de l’aîné (ex : blessures) et sur son indépendance sont réduites lorsque la prise en charge postchute est rapide. Or les proches-aidants intervenant auprès des aînés en cas de chute ne sont pas assez nombreux et sont souvent conduits à l’épuisement en raison du fardeau lié aux soins apportés à l’aîné (Ducharme, 2006; Wolff et al., 2017; World Health Organization, 2015). L’élaboration d’alternatives pour détecter et alerter lors de chutes devient incontournable pour faciliter le maintien à domicile et dans la communauté en sécurité et pour maintenir une qualité de vie (van Hoof, Kort, Rutten, & Duijnstee, 2011). De nombreuses technologies de détection des chutes ont été développées. Cependant elles ont des limites (ex : l’enregistrement de données personnelles) que le système de vidéosurveillance intelligente (VSI) développé par notre équipe tente de compenser. La VSI est composée d’une caméra reliée à un ordinateur, lui-même relié à Internet. Basée sur une analyse informatisée de l’image, la VSI détecte automatiquement la chute et envoie une alerte au répondant choisi (ex : le proche-aidant) sur son cellulaire, son ordinateur ou sa tablette. Elle préserve la vie privée par son fonctionnement en circuit fermé : en absence de chute, les images sont détruites; lors d’une chute, une image de la chute est transmise au répondant, cette image peut être brouillée à la demande de l’aîné. Si l’aîné l’autorise, il est possible d’enregistrer les 30 secondes précédant la chute pour documenter ses causes. Les travaux antérieurs montrent que la VSI a le potentiel de répondre aux besoins des usagers (Lapierre et al., 2016, 2015; Londei et al., 2009; Rougier, St-Arnaud, Rousseau, & Meunier, 2011). Cependant, il importe de valider sa technologie et d’explorer la perception des usagers dans des conditions écologiques (à domicile auprès d’aînés chuteurs) (Atoyebi, Stewart, & Sampson, 2015). But de l’étude. Basé sur le Modèle de compétence expliquant les relations personne- environnement (Rousseau, 2017), cette thèse a pour but d’explorer la faisabilité de l’implantation de la VSI pour détecter les chutes à domicile afin d’améliorer la qualité de vie de l’aîné et diminuer le fardeau du proche-aidant. Méthodologie. La thèse suit un devis de recherche de développement (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) en quatre étapes. L’étape 1 consistait en deux revues de la portée (Daudt, Van Mossel, & Scott, 2013) traitant respectivement des technologies de détection des chutes et des technologies de gestion de l’errance. Plusieurs banques de données ont été explorées (ex: CINHAL, Medline, Embase). Chaque étape de sélection des études, puis d’extraction et d’analyse des données a été réalisée indépendamment par deux co-auteurs. Leurs résultats ont été comparés et les désaccords ont été résolus par consensus ou par l’intervention d’un tiers. Les données extraites ont été analysées de façon descriptive (Fortin & Gagnon, 2015). L’étape 2 était une étude de cas multiples (Yin, 2014) auprès de six aînées chuteuses vivant seules, concernant l’implantation à domicile d’une version préalable à la VSI, la vidéosurveillance programmable (VSP). La VSP a été installée durant sept nuits chez les participantes pour observer leurs déplacements lors des levés la nuit pour aller à la toilette. Des entrevues semi-structurées ont été réalisées avant puis après l’expérimentation. Les données ont été analysées qualitativement (Miles, Huberman, & Saldana, 2014; Yin, 2014). L’étape 3 était une preuve de concept en deux phases : 1) une étude de simulation en appartement-laboratoire (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) et 2) un pré-test au domicile de jeunes adultes. La phase 1 impliquait la simulation de scenarios de la vie quotidienne et de scenarios de chutes afin d’estimer la sensibilité, la spécificité, le taux d’erreur et la précision de la VSI. Le pré-test consistait en l’implantation de la VSI à domicile pendant 28 jours afin d’anticiper les difficultés technologiques liées à une implantation prolongée. Pour les deux phases, un journal de bord a été complété afin de documenter le fonctionnement de la VSI puis les données ont été analysées descriptivement. L’étape 4 était une étude de cas multiples (Yin, 2014) auprès de trois dyades aînés/proches-aidants. Les aînés inclus, présentant un risque de chute élevé, vivaient seuls à domicile. La VSI était implantée pour deux mois, avec le proche-aidant comme destinataire des alertes. Une entrevue semi-structurée était réalisée, avant, à mi-parcours et après l’expérimentation. Les données ont été analysées qualitativement (Miles, Huberman, & Saldana, 2014; Yin, 2014). Résultats. Les résultats ont abouti à l’adaptation de la VSI pour explorer la faisabilité de son implantation à domicile afin de détecter les chutes graves. L’étape 1 a souligné les lacunes dans la littérature, dont certaines ont été comblées par le projet de thèse (ex : manque d’étude explorant l’implantation de systèmes ambiants dans des domiciles variés). Cette étape a aussi permis d’identifier les façons de bonifier la VSI et sa procédure d’implantation. L’étape 2 a mis en évidence des facteurs pouvant faciliter ou freiner l’implantation de systèmes de caméras à domicile. L’étape 3 a permis de valider la technologie de la VSI dans un environnement similaire à celui de l’aîné et de résoudre les problèmes techniques liés à l’implantation prolongée du système. Enfin, l’étape 4 a permis d’explorer la faisabilité de l’implantation de la VSI au domicile d’aînés chuteurs pendant une période de deux mois. Discussion. Cette recherche de développement a permis d’adapter la VSI pour son implantation grâce à plusieurs étapes de recherche (des revues de la portée, une preuve de concept, étude de cas multiple) puis de montrer la faisabilité de son implantation. Les résultats ont abouti à l’identification de facteurs influençant l’implantation de la VSI à domicile et ont permis d’émettre des recommandations à cet égard. Cette recherche est originale notamment sur trois aspects: 1) l’implication d’une équipe multidisciplinaire, 2) une conception technologique centrée sur l’usager, 3) l’implantation à domicile de la technologie. Même si des défis persistent quant à son implantation à domicile (ex. réduire l’écart de performance du système entre l’appartement-laboratoire et le domicile), cette étude encourage la poursuite du développement de la VSI. Conclusion. Cette thèse visait à répondre à la problématique des chutes des aînés à domicile grâce à l’implantation d’un système de vidéosurveillance intelligente pour alerter automatiquement le proche-aidant. Les résultats de cette recherche de développement, soulignent que la VSI serait une avenue prometteuse pour détecter les chutes graves, alerter le proche et documenter la cause des chutes. Les futures recherches sur l’implantation de technologies similaires devraient impliquer des devis de recherche quantitatifs, avec notamment des profils plus variés de proches-aidants et une implantation plus longue pour démontrer les effets de la VSI. La VSI pourrait ensuite devenir accessible aux aînés afin de soutenir leur maintien à domicile et dans la communauté et soulager le fardeau des proches- aidants.Introduction. Aging is associated with an increased risk of fall, which threatens Aging in Place. The numerous and serious consequences of falls on the older adult’s health and independence are reduced with a quick intervention. Yet the informal caregivers, who often intervene in case of a fall are not numerous enough and are often worn out because of the burden related to the care provided for the older adult (Ducharme, 2006; Wolff et al., 2017; World Health Organization, 2015). The development of alternatives to detect and alert in case of a fall becomes essential to facilitate Aging in Place in safety and to maintain a quality of life (van Hoof, Kort, Rutten, & Duijnstee, 2011). Many fall detection systems have been developed. However, they have limits (eg. the recording of personal data), that the intelligent videomonitoring system (IVS) tries to compensate. The IVS is composed of one camera linked to a computer and to the Internet. Based on the computerized analysis of the images, the IVS automatically detects falls and sends an alert to the chosen recipient (eg. the informal caregiver) on his smartphone, computer or tablet. The IVS preserves privacy with its closed circuit functioning: without a fall, the images are destroyed; in case of a fall, an image of the fall can be sent to the recipient. This image can be blurred at the request of the older adult. The 30 seconds before the fall can be recorded to document its causes, if the older adult authorizes it. Previous studies on the IVS show that the IVS has the potential to answer the users’ needs (Lapierre et al., 2016, 2015; Londei et al., 2009; Rougier, St-Arnaud, Rousseau, & Meunier, 2011). However, it is important to validate its technology and explore users’ perception in ecological conditions (at home with older adults at risk of fall) (Atoyebi, Stewart, & Sampson, 2015). Purpose. Based on the Model of Competence explaining the person-environment interactions (Rousseau, 2017), the study aims to explore the feasibility of the IVS implementation to detect falls at home in order to improve the older adult’s quality of life and decrease the caregiver’s burden. Methodology. The thesis follows a development research design (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) in four steps. Step 1 was two scoping reviews (Daudt, Van Mossel, & Scott, 2013) on fall detection technology and on wandering management technology respectively. Many databases have been searched (eg. CINHAL, Medline, Embase). Each step of the study selection, data extraction and analysis have been independently realised by two co-authors. Results were compared and disagreements were solved by consensus or by a third part intervention. Extracted data were descriptively analysed (Fortin & Gagnon, 2015). Step 2 was a multiple case study (Yin, 2014) with six older adults living alone with a risk of fall, on the implementation of a previous version of the IVS, the programmable videomonitoring system. The programmable videomonitoring system was installed for seven nights at home to observe participants walk when they went to the bathroom at night. Semi- structured interviews were realised before and after the experiment. Data were qualitatively analysed (Miles, Huberman, & Saldana, 2014). Step 3 was a proof of concept in two phases: 1) a simulation study in an apartment- laboratory (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) and 2) a pre-test at home with young adults. Phase 1 implied a simulation of daily living scenarios and falls scenarios to estimate the sensitivity, specificity, error rate and accuracy of the IVS. The pre- test consisted in the implementation of the IVS at home for 28 days to anticipate the technological difficulties related to extended implementation. For the two phases, a logbook was completed to document the IVS functioning, then data were descriptively analysed. Step 4 was a multiple case study (Yin, 2014) with three dyads of older adults/caregivers. The included older adults had a high risk of fall and lived alone. The IVS was implemented for a two-month period with the informal caregiver as the alerts recipient. A semi-structured interview was realised before, at mid-term, and after the experiment. Data were qualitatively analysed (Miles, Huberman, & Saldana, 2014). Results. Results encompass the adaptation of the IVS to explore the feasibility of its implementation at home to detect serious falls. Step 1 highlighted the gaps in the literature, some of which were filled by the thesis project (eg. lack of studies exploring the implementation of ambient system in various homes). This step also enabled us to identify ways to improve the IVS and its implementation process. Step 2 highlighted factors facilitating or hindering the implementation of cameras system at home. Step 3 has enabled us to validate the technology in a similar environment to the older adult’s home and to solve technical difficulties related to the prolonged implementation. Finally, step 4 enabled us to explore the feasibility of the implementation of the IVS at older adults’ home for a two-month period. Discussion. This development research enabled us to adapt the IVS for its implementation by means of four research steps (scoping reviews, proof of concept, multiple case study), and then to show the feasibility of its implementation. Results led to the identification of factors influencing the IVS at home and enabled us to make recommendations in this regard. This thesis is original on three aspects: 1) the implication of a multidisciplinary team, 2) a user-based conception, 3) the implementation of the technology at home. Despite the remaining challenges regarding the implementation (eg. the performance discrepancy between the home and the apartment-laboratory), this study encourages the further development of the VSI. Conclusion. This thesis aimed to address the problematic of falls at home thanks to the implementation of the IVS to automatically alert the informal caregiver. Results from this development research highlight that the IVS may be a promising way to detect serious falls, to alert the caregiver and document the falls causes. Future researches should be involving quantitative designs, more specifically with more various profiles of informal caregivers and a longer period of implementation, to demonstrate the IVS outcomes. The IVS could then become accessible to the older adult to support Aging in place and relieve the caregiver’s burden