Representation and recognition of action in interactive spaces

Thesis (Ph.D.)--Massachusetts Institute of Technology, School of Architecture and Planning, Program in Media Arts and Sciences, 1999.Includes bibliographical references (p. 246-258).This thesis presents new theory and technology for the representation and recognition of complex, context-sensitive human actions in interactive spaces. To represent action and interaction a symbolic framework has been developed based on Roger Schank's conceptualizations, augmented by a mechanism to represent the temporal structure of the sub-actions based on Allen's interval algebra networks. To overcome the exponential nature of temporal constraint propagation in such networks, we have developed the PNF propagation algorithm based on the projection of IA-networks into simplified, 3-valued (past, now, future) constraint networks called PNF-networks. The PNF propagation algorithm has been applied to an action recognition vision system that handles actions composed of multiple, parallel threads of sub-actions, in situations that can not be efficiently dealt by the commonly used temporal representation schemes such as finite-state machines and HMMs. The PNF propagation algorithm is also the basis of interval scripts, a scripting paradigm for interactive systems that represents interaction as a set of temporal constraints between the individual components of the interaction. Unlike previously proposed non-procedural scripting methods, we use a strong temporal representation (allowing, for example, mutually exclusive actions) and perform control by propagating the temporal constraints in real-time. These concepts have been tested in the context of four projects involving story-driven interactive spaces. The action representation framework has been used in the Intelligent Studio project to enhance the control of automatic cameras in a TV studio. Interval scripts have been extensively employed in the development of "SingSong ", a short interactive performance that introduced the idea of live interaction with computer graphics characters; in "It/I", a full-length computer theater play; and in "It", an interactive art installation based on the play "It /I" that realizes our concept of immersive stages, that is, interactive spaces that can be used both by performers and public.by Claudio Santos Pinhanez.Ph.D

Neuromorphic stereo vision: A survey of bio-inspired sensors and algorithms

Any visual sensor, whether artificial or biological, maps the 3D-world on a 2D-representation. The missing dimension is depth and most species use stereo vision to recover it. Stereo vision implies multiple perspectives and matching, hence it obtains depth from a pair of images. Algorithms for stereo vision are also used prosperously in robotics. Although, biological systems seem to compute disparities effortless, artificial methods suffer from high energy demands and latency. The crucial part is the correspondence problem; finding the matching points of two images. The development of event-based cameras, inspired by the retina, enables the exploitation of an additional physical constraint—time. Due to their asynchronous course of operation, considering the precise occurrence of spikes, Spiking Neural Networks take advantage of this constraint. In this work, we investigate sensors and algorithms for event-based stereo vision leading to more biologically plausible robots. Hereby, we focus mainly on binocular stereo vision

NASA Tech Briefs, August 1992

Topics include: Electronic Components and Circuits; Electronic Systems; Physical Sciences; Materials; Computer Programs; Mechanics; Machinery; Fabrication Technology; Mathematics and Information Sciences; Life Sciences

Event-Driven Technologies for Reactive Motion Planning: Neuromorphic Stereo Vision and Robot Path Planning and Their Application on Parallel Hardware

Die Robotik wird immer mehr zu einem Schlüsselfaktor des technischen Aufschwungs. Trotz beeindruckender Fortschritte in den letzten Jahrzehnten, übertreffen Gehirne von Säugetieren in den Bereichen Sehen und Bewegungsplanung noch immer selbst die leistungsfähigsten Maschinen. Industrieroboter sind sehr schnell und präzise, aber ihre Planungsalgorithmen sind in hochdynamischen Umgebungen, wie sie für die Mensch-Roboter-Kollaboration (MRK) erforderlich sind, nicht leistungsfähig genug. Ohne schnelle und adaptive Bewegungsplanung kann sichere MRK nicht garantiert werden. Neuromorphe Technologien, einschließlich visueller Sensoren und Hardware-Chips, arbeiten asynchron und verarbeiten so raum-zeitliche Informationen sehr effizient. Insbesondere ereignisbasierte visuelle Sensoren sind konventionellen, synchronen Kameras bei vielen Anwendungen bereits überlegen. Daher haben ereignisbasierte Methoden ein großes Potenzial, schnellere und energieeffizientere Algorithmen zur Bewegungssteuerung in der MRK zu ermöglichen. In dieser Arbeit wird ein Ansatz zur flexiblen reaktiven Bewegungssteuerung eines Roboterarms vorgestellt. Dabei wird die Exterozeption durch ereignisbasiertes Stereosehen erreicht und die Pfadplanung ist in einer neuronalen Repräsentation des Konfigurationsraums implementiert. Die Multiview-3D-Rekonstruktion wird durch eine qualitative Analyse in Simulation evaluiert und auf ein Stereo-System ereignisbasierter Kameras übertragen. Zur Evaluierung der reaktiven kollisionsfreien Online-Planung wird ein Demonstrator mit einem industriellen Roboter genutzt. Dieser wird auch für eine vergleichende Studie zu sample-basierten Planern verwendet. Ergänzt wird dies durch einen Benchmark von parallelen Hardwarelösungen wozu als Testszenario Bahnplanung in der Robotik gewählt wurde. Die Ergebnisse zeigen, dass die vorgeschlagenen neuronalen Lösungen einen effektiven Weg zur Realisierung einer Robotersteuerung für dynamische Szenarien darstellen. Diese Arbeit schafft eine Grundlage für neuronale Lösungen bei adaptiven Fertigungsprozesse, auch in Zusammenarbeit mit dem Menschen, ohne Einbußen bei Geschwindigkeit und Sicherheit. Damit ebnet sie den Weg für die Integration von dem Gehirn nachempfundener Hardware und Algorithmen in die Industrierobotik und MRK

Implantation d’un système de vidéosurveillance intelligente pour détecter les chutes en milieu de vie

Introduction. Le vieillissement de la population est associé à un risque accru de chute menaçant le maintien des aînés à domicile et dans la communauté. Les nombreuses conséquences néfastes des chutes sur la santé de l’aîné (ex : blessures) et sur son indépendance sont réduites lorsque la prise en charge postchute est rapide. Or les proches-aidants intervenant auprès des aînés en cas de chute ne sont pas assez nombreux et sont souvent conduits à l’épuisement en raison du fardeau lié aux soins apportés à l’aîné (Ducharme, 2006; Wolff et al., 2017; World Health Organization, 2015). L’élaboration d’alternatives pour détecter et alerter lors de chutes devient incontournable pour faciliter le maintien à domicile et dans la communauté en sécurité et pour maintenir une qualité de vie (van Hoof, Kort, Rutten, & Duijnstee, 2011). De nombreuses technologies de détection des chutes ont été développées. Cependant elles ont des limites (ex : l’enregistrement de données personnelles) que le système de vidéosurveillance intelligente (VSI) développé par notre équipe tente de compenser. La VSI est composée d’une caméra reliée à un ordinateur, lui-même relié à Internet. Basée sur une analyse informatisée de l’image, la VSI détecte automatiquement la chute et envoie une alerte au répondant choisi (ex : le proche-aidant) sur son cellulaire, son ordinateur ou sa tablette. Elle préserve la vie privée par son fonctionnement en circuit fermé : en absence de chute, les images sont détruites; lors d’une chute, une image de la chute est transmise au répondant, cette image peut être brouillée à la demande de l’aîné. Si l’aîné l’autorise, il est possible d’enregistrer les 30 secondes précédant la chute pour documenter ses causes. Les travaux antérieurs montrent que la VSI a le potentiel de répondre aux besoins des usagers (Lapierre et al., 2016, 2015; Londei et al., 2009; Rougier, St-Arnaud, Rousseau, & Meunier, 2011). Cependant, il importe de valider sa technologie et d’explorer la perception des usagers dans des conditions écologiques (à domicile auprès d’aînés chuteurs) (Atoyebi, Stewart, & Sampson, 2015). But de l’étude. Basé sur le Modèle de compétence expliquant les relations personne- environnement (Rousseau, 2017), cette thèse a pour but d’explorer la faisabilité de l’implantation de la VSI pour détecter les chutes à domicile afin d’améliorer la qualité de vie de l’aîné et diminuer le fardeau du proche-aidant. Méthodologie. La thèse suit un devis de recherche de développement (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) en quatre étapes. L’étape 1 consistait en deux revues de la portée (Daudt, Van Mossel, & Scott, 2013) traitant respectivement des technologies de détection des chutes et des technologies de gestion de l’errance. Plusieurs banques de données ont été explorées (ex: CINHAL, Medline, Embase). Chaque étape de sélection des études, puis d’extraction et d’analyse des données a été réalisée indépendamment par deux co-auteurs. Leurs résultats ont été comparés et les désaccords ont été résolus par consensus ou par l’intervention d’un tiers. Les données extraites ont été analysées de façon descriptive (Fortin & Gagnon, 2015). L’étape 2 était une étude de cas multiples (Yin, 2014) auprès de six aînées chuteuses vivant seules, concernant l’implantation à domicile d’une version préalable à la VSI, la vidéosurveillance programmable (VSP). La VSP a été installée durant sept nuits chez les participantes pour observer leurs déplacements lors des levés la nuit pour aller à la toilette. Des entrevues semi-structurées ont été réalisées avant puis après l’expérimentation. Les données ont été analysées qualitativement (Miles, Huberman, & Saldana, 2014; Yin, 2014). L’étape 3 était une preuve de concept en deux phases : 1) une étude de simulation en appartement-laboratoire (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) et 2) un pré-test au domicile de jeunes adultes. La phase 1 impliquait la simulation de scenarios de la vie quotidienne et de scenarios de chutes afin d’estimer la sensibilité, la spécificité, le taux d’erreur et la précision de la VSI. Le pré-test consistait en l’implantation de la VSI à domicile pendant 28 jours afin d’anticiper les difficultés technologiques liées à une implantation prolongée. Pour les deux phases, un journal de bord a été complété afin de documenter le fonctionnement de la VSI puis les données ont été analysées descriptivement. L’étape 4 était une étude de cas multiples (Yin, 2014) auprès de trois dyades aînés/proches-aidants. Les aînés inclus, présentant un risque de chute élevé, vivaient seuls à domicile. La VSI était implantée pour deux mois, avec le proche-aidant comme destinataire des alertes. Une entrevue semi-structurée était réalisée, avant, à mi-parcours et après l’expérimentation. Les données ont été analysées qualitativement (Miles, Huberman, & Saldana, 2014; Yin, 2014). Résultats. Les résultats ont abouti à l’adaptation de la VSI pour explorer la faisabilité de son implantation à domicile afin de détecter les chutes graves. L’étape 1 a souligné les lacunes dans la littérature, dont certaines ont été comblées par le projet de thèse (ex : manque d’étude explorant l’implantation de systèmes ambiants dans des domiciles variés). Cette étape a aussi permis d’identifier les façons de bonifier la VSI et sa procédure d’implantation. L’étape 2 a mis en évidence des facteurs pouvant faciliter ou freiner l’implantation de systèmes de caméras à domicile. L’étape 3 a permis de valider la technologie de la VSI dans un environnement similaire à celui de l’aîné et de résoudre les problèmes techniques liés à l’implantation prolongée du système. Enfin, l’étape 4 a permis d’explorer la faisabilité de l’implantation de la VSI au domicile d’aînés chuteurs pendant une période de deux mois. Discussion. Cette recherche de développement a permis d’adapter la VSI pour son implantation grâce à plusieurs étapes de recherche (des revues de la portée, une preuve de concept, étude de cas multiple) puis de montrer la faisabilité de son implantation. Les résultats ont abouti à l’identification de facteurs influençant l’implantation de la VSI à domicile et ont permis d’émettre des recommandations à cet égard. Cette recherche est originale notamment sur trois aspects: 1) l’implication d’une équipe multidisciplinaire, 2) une conception technologique centrée sur l’usager, 3) l’implantation à domicile de la technologie. Même si des défis persistent quant à son implantation à domicile (ex. réduire l’écart de performance du système entre l’appartement-laboratoire et le domicile), cette étude encourage la poursuite du développement de la VSI. Conclusion. Cette thèse visait à répondre à la problématique des chutes des aînés à domicile grâce à l’implantation d’un système de vidéosurveillance intelligente pour alerter automatiquement le proche-aidant. Les résultats de cette recherche de développement, soulignent que la VSI serait une avenue prometteuse pour détecter les chutes graves, alerter le proche et documenter la cause des chutes. Les futures recherches sur l’implantation de technologies similaires devraient impliquer des devis de recherche quantitatifs, avec notamment des profils plus variés de proches-aidants et une implantation plus longue pour démontrer les effets de la VSI. La VSI pourrait ensuite devenir accessible aux aînés afin de soutenir leur maintien à domicile et dans la communauté et soulager le fardeau des proches- aidants.Introduction. Aging is associated with an increased risk of fall, which threatens Aging in Place. The numerous and serious consequences of falls on the older adult’s health and independence are reduced with a quick intervention. Yet the informal caregivers, who often intervene in case of a fall are not numerous enough and are often worn out because of the burden related to the care provided for the older adult (Ducharme, 2006; Wolff et al., 2017; World Health Organization, 2015). The development of alternatives to detect and alert in case of a fall becomes essential to facilitate Aging in Place in safety and to maintain a quality of life (van Hoof, Kort, Rutten, & Duijnstee, 2011). Many fall detection systems have been developed. However, they have limits (eg. the recording of personal data), that the intelligent videomonitoring system (IVS) tries to compensate. The IVS is composed of one camera linked to a computer and to the Internet. Based on the computerized analysis of the images, the IVS automatically detects falls and sends an alert to the chosen recipient (eg. the informal caregiver) on his smartphone, computer or tablet. The IVS preserves privacy with its closed circuit functioning: without a fall, the images are destroyed; in case of a fall, an image of the fall can be sent to the recipient. This image can be blurred at the request of the older adult. The 30 seconds before the fall can be recorded to document its causes, if the older adult authorizes it. Previous studies on the IVS show that the IVS has the potential to answer the users’ needs (Lapierre et al., 2016, 2015; Londei et al., 2009; Rougier, St-Arnaud, Rousseau, & Meunier, 2011). However, it is important to validate its technology and explore users’ perception in ecological conditions (at home with older adults at risk of fall) (Atoyebi, Stewart, & Sampson, 2015). Purpose. Based on the Model of Competence explaining the person-environment interactions (Rousseau, 2017), the study aims to explore the feasibility of the IVS implementation to detect falls at home in order to improve the older adult’s quality of life and decrease the caregiver’s burden. Methodology. The thesis follows a development research design (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) in four steps. Step 1 was two scoping reviews (Daudt, Van Mossel, & Scott, 2013) on fall detection technology and on wandering management technology respectively. Many databases have been searched (eg. CINHAL, Medline, Embase). Each step of the study selection, data extraction and analysis have been independently realised by two co-authors. Results were compared and disagreements were solved by consensus or by a third part intervention. Extracted data were descriptively analysed (Fortin & Gagnon, 2015). Step 2 was a multiple case study (Yin, 2014) with six older adults living alone with a risk of fall, on the implementation of a previous version of the IVS, the programmable videomonitoring system. The programmable videomonitoring system was installed for seven nights at home to observe participants walk when they went to the bathroom at night. Semi- structured interviews were realised before and after the experiment. Data were qualitatively analysed (Miles, Huberman, & Saldana, 2014). Step 3 was a proof of concept in two phases: 1) a simulation study in an apartment- laboratory (Contandriopoulos, Champagne, Potvin, Denis, & Boyle, 2005) and 2) a pre-test at home with young adults. Phase 1 implied a simulation of daily living scenarios and falls scenarios to estimate the sensitivity, specificity, error rate and accuracy of the IVS. The pre- test consisted in the implementation of the IVS at home for 28 days to anticipate the technological difficulties related to extended implementation. For the two phases, a logbook was completed to document the IVS functioning, then data were descriptively analysed. Step 4 was a multiple case study (Yin, 2014) with three dyads of older adults/caregivers. The included older adults had a high risk of fall and lived alone. The IVS was implemented for a two-month period with the informal caregiver as the alerts recipient. A semi-structured interview was realised before, at mid-term, and after the experiment. Data were qualitatively analysed (Miles, Huberman, & Saldana, 2014). Results. Results encompass the adaptation of the IVS to explore the feasibility of its implementation at home to detect serious falls. Step 1 highlighted the gaps in the literature, some of which were filled by the thesis project (eg. lack of studies exploring the implementation of ambient system in various homes). This step also enabled us to identify ways to improve the IVS and its implementation process. Step 2 highlighted factors facilitating or hindering the implementation of cameras system at home. Step 3 has enabled us to validate the technology in a similar environment to the older adult’s home and to solve technical difficulties related to the prolonged implementation. Finally, step 4 enabled us to explore the feasibility of the implementation of the IVS at older adults’ home for a two-month period. Discussion. This development research enabled us to adapt the IVS for its implementation by means of four research steps (scoping reviews, proof of concept, multiple case study), and then to show the feasibility of its implementation. Results led to the identification of factors influencing the IVS at home and enabled us to make recommendations in this regard. This thesis is original on three aspects: 1) the implication of a multidisciplinary team, 2) a user-based conception, 3) the implementation of the technology at home. Despite the remaining challenges regarding the implementation (eg. the performance discrepancy between the home and the apartment-laboratory), this study encourages the further development of the VSI. Conclusion. This thesis aimed to address the problematic of falls at home thanks to the implementation of the IVS to automatically alert the informal caregiver. Results from this development research highlight that the IVS may be a promising way to detect serious falls, to alert the caregiver and document the falls causes. Future researches should be involving quantitative designs, more specifically with more various profiles of informal caregivers and a longer period of implementation, to demonstrate the IVS outcomes. The IVS could then become accessible to the older adult to support Aging in place and relieve the caregiver’s burden