Smart kitchen for Ambient Assisted Living

El envejecimiento de la población es una realidad en todos los países desarrollados. Las predicciones de crecimiento de esta población son alarmantes, planteando un reto para los servicios sociales y sanitarios. Las personas ancianas padecen diversas discapacidades que se van acentuando con la edad, siendo más propensas a sufrir accidentes domésticos, presentando problemas para realizar tareas cotidianas, etc. Esta situación conlleva a una pérdida paulatina de capacidades que en muchas ocasiones acaba con la vida autónoma de la persona. En este contexto, las Tecnologías de la Información y Comunicación (TIC) aplicadas al entorno doméstico pueden jugar un papel importante, permitiendo que las personas ancianas vivan más tiempo, de forma independiente en su propio hogar, presentando, por tanto, una alternativa a la hospitalización o institucionalización de las mismas. Este trabajo da un paso más en este sentido, presentando el diseño y desarrollo de un Ambiente Inteligente en la cocina, que ayuda a las personas ancianas y/o con discapacidad a desempeñar sus actividades de la vida diaria de una forma más fácil y sencilla. Esta tesis realiza sus principales aportaciones en dos campos: El metodológico y el tecnológico. Por un lado se presenta una metodología sistemática para extraer necesidades de colectivos específicos a fin de mejorar la información disponible por el equipo de diseño del producto, servicio o sistema. Esta metodología se basa en el estudio de la interacción Hombre-Máquina en base a los paradigmas y modelos existentes y el modelado y descripción de las capacidades del usuario en la misma utilizado el lenguaje estandarizado propuesto en la Clasificación Internacional del Funcionamiento, de la Discapacidad y de la Salud (CIF). Adicionalmente, se plantea el problema de la evaluación tecnológica, diseñando la metodología de evaluación de la tecnología con la finalidad de conocer su accesibilidad, funcionalidad y usabilidad del sistema desarrollado y aplicándola a 61 usuarios y 31 profesionales de la gerontología. Desde un punto de vista técnico, se afronta el diseño de un ambiente asistido inteligente (Ambient Assisted Living, AAL) en la cocina, planteando y definiendo la arquitectura del sistema. Esta arquitectura, basada en OSGi (Open Services Gateway initiative), oferta un sistema modular, con altas capacidades de interoperabilidad y escalabilidad. Además, se diseña e implementa una red de sensores distribuida en el entorno con el fin de obtener la mayor información posible del contexto, presentando distintos algoritmos para obtener información de alto nivel: detección de caídas o localización. Todos los dispositivos presentes en el entorno han sido modelados utilizando la taxonomía propuesta en OSGi4AmI, extendiendo la misma a los electrodomésticos más habituales de la cocina. Finalmente, se presenta el diseño e implementación de la inteligencia del sistema, que en función de la información procedente del contexto y de las capacidades del usuario da soporte a las principales actividades de la vida diaria (AVD) en la cocina

Mapa de la recerca del Campus de Vilanova i la Geltrú

Postprint (author’s final draft

Behavioural modelling for ambient assisted living

Tese de doutoramento - MAP-i (University of Minho, Aveiro, and Porto)A mudança incomum na rotina diária ao nível da mobilidade de um idoso em sua casa, pode ser um sinal ou sintoma precoce para a possibilidade de vir a desenvolver um problema de saúde. O recurso a diferentes sensores pode ser um meio para complementar os sistemas de cuidados de saúde tradicionais, de forma a obter uma visão mais detalhada da mobilidade diária do individuo em sua casa, enquanto realiza as suas tarefas diárias. Acreditamos, que os dados recolhidos a partir de sensores de baixo custo, como sensores de presença e ocupação, podem ser utilizados para fornecer evidências sobre os hábitos diários de mobilidade dos idosos que vivem sozinhos em casa e detetar desta forma mudanças nas suas rotinas. Neste trabalho, validamos esta hipótese, desenvolvendo um sistema que aprende automaticamente as transições diárias entre divisões da habitação e hábitos de estadia em cada uma dessas divisões em cada momento do dia e consequentemente gera alarmes sempre que os desvios são detetados. Apresentamos neste trabalho um algoritmo que processa os fluxos de dados dos diferentes sensores e identifica características que descrevem a rotina diária de mobilidade de um idoso que vive sozinho em casa. Para isso foi definido um conjunto de dimensões baseadas nos dados extraídos dos sensores, como parte do nosso Behaviour Monitoring System (BMS). Fomos capazes de detetar com um atraso mínimo os comportamentos incomuns e ao mesmo tempo, durações de confirmação da deteção elevadas, de tal modo suficientes para um conjunto comum de situações anormais. Apresentamos e avaliamos o BMS com dados sintetizados, produzidos por um gerador de dados desenvolvido para este efeito e projetado para simular diferentes perfis de mobilidade de indivíduos em casa, e também com dados reais obtidos de trabalhos de investigação anteriores. Os resultados indicam que o BMS deteta várias mudanças de mobilidade que podem ser sintomas para problemas de saúde comuns. O sistema proposto é uma abordagem útil para a aprendizagem dos hábitos de mobilidade em ambientes domésticos, com potencial para detetar alterações comportamentais que ocorrem devido a problemas de saúde, e assim encorajar a monitorização dos comportamentos e dos cuidados de saúde dos idosos.Unusual changes in the regular daily mobility routine of an elderly at home can be an indicator or early symptoms for developing a health problem. Sensor technology can be utilised to complement the traditional healthcare systems to gain a more detailed view of the daily mobility of a person at home when performing everyday tasks. We hypothesise that data collected from low-cost sensors such as presence and occupancy sensors can be analysed to provide insights on the daily mobility habits of the elderly living alone at home and to detect routine changes. We validate this hypothesis by designing a system that automatically learns the daily room-to-room transitions and stays habits in each room at each time of the day and generates alarm notifications when deviations are detected. We present an algorithm to process the sensor data streams and compute features that describe the daily mobility routine of an elderly living alone at home. This was done by defining a set of sensor-driven dimensions extracted from the sensor data as part of our Behaviour Monitoring System (BMS). We are able to achieve low detection delay with confirmation time that is high enough to convey the detection of a set of common abnormal situations. We illustrate and evaluate BMS with synthetic data, generated by a developed data generator that was designed to mimic different users’ mobility profiles at home, and also with real-life dataset collected from prior research work. Results indicate BMS detects several mobility changes that can be symptoms of common health problems. The proposed system is a useful approach for learning the mobility habits at home environments, with the potential to detect behaviour changes that occur due to health problems, and therefore, motivating progress toward behaviour monitoring and elder’s care

Aktivitätserkennung in Privathaushalten auf Basis eines unüberwachten Lernalgorithmus

In diesem Buch wurde eine Übersicht und kritische Zusammenfassung des derzeitigen Forschungsstandes zu Human Activity Recognition (HAR), zu Deutsch Aktivitätserkennung bei Menschen, durchgeführt. Dabei ergab sich eine Forschungslücke im Rahmen der nicht überwachten Lernalgorithmen für HAR-Systeme. Für überwachte Lernalgorithmen muss je Anwendung ein annotierter Datensatz über mehrere Wochen mühselig erstellt werden, bevor das HAR-System zum Einsatz kommen kann. Dies entfällt mit dem neuen HAR-System. Des Weiteren ist das neue System in der Lage auch parallel laufende Aktivitäten des täglichen Lebens (ADL, aus dem Englischen Activity of Daily Living) zu erkennen. Viele HAR-Systeme aus dem aktuellen Stand der Forschung sind dazu nicht in der Lage, da sie z.B. sequenziell arbeiten. Beide Probleme wurden mit dem neuen HAR-System erfolgreich gelöst. Das in diesem Buch vorgestellte HAR-System ist eine neuartige Kombination aus einem stochastischen Modell und einem kognitiven Ansatz. Das HAR-System wird in drei Phasen angewandt. Die erste Phase ist die sogenannte Initialphase. In dieser ersten Phase wird a priori Wissen gesammelt. Das neue HAR-System benötigt im Gegensatz zu den Systemen der aktuellen Forschung nur sehr wenig a priori Wissen. Es wird die Art und Anzahl der Sensoren und der ADL benötigt, welche in eine sinnfällige initiale Verbindung miteinander gebracht werden. Diese Verbindung ist eine vorläufige und gleichverteilte Initialbelegung der Sensor-ADL-Beziehung, die in der Lernphase individuell an die jeweilige Person und Anwendungsfall angepasst wird. Es wird ein neuartiges Markov Modell (MM) und ein neu entwickeltes Impulsmodell (IM) erlernt. Das genutzte MM unterscheidet sich von den aktuellen MM durch dessen Zustandsdefinitionen, die die Sensorereigniskombinationen abbilden, wodurch das Segmentierungsproblem wegfällt. Dadurch können auch wichtige Strukturen aus dem MM extrahiert werden, die das menschliche Verhalten darstellen. Diese Strukturen werden durch neuartige Modellvergleiche bewertet. Das Resultat dieser Bewertung wird wiederum in Kombination mit dem neuen kognitiven IM in einem speziell dafür entwickelten iterativen Ansatz verwendet, um die initiale Sensor-ADL-Beziehung zu individualisieren. Diese neue Sensor-ADL-Beziehung ist Grundlage für die dritte und letzte Phase: der Anwendungsphase. Im IM wird die Sensor-ADL-Beziehung in Kombination mit neu entwickelten Regeln angewandt, um eine finale ADL-Wahrscheinlichkeitsverteilung der erkannten ADL zu berechnen. Diese besagt, welches ADL derzeit am wahrscheinlichsten ausgeführt wird und welche ADL gerade parallel zu anderen ADL ausgeführt werden. Das neue HAR-System wurde mit drei Datensätzen unterschiedlichen Anspruchs und einem Benchmark getestet. Dieser Benchmark beinhaltete vier verschiedene stochastische Modelle des aktuellen Stands der Forschung. Das neue HAR-System ist in der Lage eine höhere Erkennungsrate als der Benchmark zu leisten und war im Durchschnitt 3,2% akkurater. Es erzielte eine 95-97%-ige Wiedererkennung der ADL. Durch die erstellten Konfusionsmatrizen ergab sich eine durchschnittliche Verbesserung von 42% in den Metriken für Sensitivität, Wirksamkeit und F-Maß. Ein weiterer großer Unterschied zum Benchmark ist, dass das neue HAR-System unüberwacht lernt. Dadurch fällt die Datenakquise im Vergleich zum Benchmark sehr gering aus und das neue HAR-System wirkt attraktiver für den Markt in dessen Anwendbarkeit.:1 Einführung in die Domäne 1 1.1 Motivation 1 1.2 Ambient Assistive Living 2 1.2.1 Menschliches Verhalten und technische Assistenz 4 1.2.2 Aktivitäten des täglichen Lebens 5 1.3 Zielstellung und Abgrenzung 6 2 AAL-Systeme 9 2.1 Human Activity Recognition 9 2.1.1 Sensorik 11 2.1.2 Lernansatz 13 2.1.3 Ereignisstromanalyse 16 2.1.4 Abbildungsgrad menschlichen Verhaltens 18 2.1.5 Fazit und Anforderungen 19 3 Human Activity Recognition - Modelle 21 3.1 Datenbasierte Modelle 23 3.1.1 Deterministische Modelle 23 3.1.2 Stochastische Modelle 24 3.1.2.1 Bayes'sche Netze 25 3.1.2.2 Hidden Markov Modelle 26 3.1.2.3 Conditional Random Field 29 3.1.2.4 Neuronale Netze 30 3.1.2.5 Support Vector Machines 32 3.1.3 Vergleich und Fazit 34 3.2 Wissensbasierte Modelle 40 3.2.1 Datenbanken 40 3.2.2 Ontologien 41 3.2.3 Wahrscheinlichkeitsbasierte Ontologien 44 3.2.4 Fazit 45 3.3 Anforderungen und Forschungsfragen 46 3.4 Forschungsnaher Stand der Technik 49 3.4.1 Unüberwachter Klassifizierungsalgorithmus 49 3.4.2 Unüberwachtes Lernen mittels einer Ontologie 50 3.4.3 Wahrscheinlichkeitsbasierte Ontologie 51 3.4.4 Fazit 53 4 Lösungskonzept 57 4.1 Sensordatenschnittstelle und Definitionen 60 4.2 Initialphase 62 4.3 Lernphase 63 4.3.1 Markov Modell und menschliche Angewohnheiten 63 4.3.1.1 Das Markov Modell 63 4.3.1.2 Erlernen des Markov Modells 64 4.3.1.3 Lernen menschlicher Angewohnheiten 69 4.3.1.4 Schlussfolgerung 73 4.3.2 Abbildung des menschlichen Erinnerungsvermögen 74 4.3.2.1 Menschliches Lernen und Vergessen 74 4.3.2.2 Impulsmodell 75 4.3.2.3 Bestimmung der ADL für MM-Strukturen 78 4.3.2.4 Erlernen der Relevanzfaktoren 79 4.3.2.5 Schlussfolgerung 85 4.4 Anwendungsphase 85 4.4.1 Impulsmodell in der Anwendungsphase 85 4.4.2 ADL Erkennung 86 4.4.3 Wahrscheinlichkeitsverteilung der ADL 88 4.4.4 Schlussfolgerung und Zusammenfassung 90 5 Bewertung der Lösung 91 5.1 Testszenarien und Datensets 91 5.2 Datensätze des Benchmarks 93 5.3 Evaluierung 95 5.4 Komplexität der Lösung 107 5.5 Einschätzung der Vor- und Nachteile 108 6 Zusammenfassung und Ausblick 115 6.1 Zusammenfassung 115 6.2 Ausblick und Weiterentwicklung 116 A Fallbeispiel 119 B Evaluierung 123 B.1 Ergebnisse des Benchmarks 123 B.2 Datenschnittstelle 126 B.3 Markov Modell 129 B.4 Strukturen und deren Signifikanz 135 B.5 Ergebnisse der Relevanzfaktorenberechnung 138 B.6 ADL-Wahrscheinlichkeitsverteilung der Lösung 138 Tabellenverzeichnis 141 Abbildungsverzeichnis 143 Literaturverzeichnis 14