A situation-driven framework for relearning of activities of daily living in smart home environments

Activities of Daily Living (ADLs) are sine qua non for self-care and improved quality of life. Self-efficacy is major challenge for seniors with early-stage dementia (ED) when performing daily living activities. ED causes deterioration of cognitive functions and thus impacts aging adults’ functioning initiative and performance of instrumental activities of daily living (IADLs). Generally, IADLs requires certain skills in both planning and execution and may involve sequence of steps for aging adults to accomplish their goals. These intricate procedures in IADLs potentially predispose older adults to safety-critical situations with life-threatening consequences. A safety-critical situation is a state or event that potentially constitutes a risk with life-threatening injuries or accidents. To address this problem, a situation-driven framework for relearning of daily living activities in smart home environment is proposed. The framework is composed of three (3) major units namely: a) goal inference unit – leverages a deep learning model to infer human goal in a smart home, b) situation-context generator – responsible for risk mitigation in IADLs, and c) a recommendation unit – to support decision making of aging adults in safety-critical situations. The proposed framework was validated against IADLs dataset collected from a smart home research prototype and the results obtained are promising

Técnicas de computación evolutiva aplicadas a la clasificación a partir de monitores de actividad física

Actualmente, varios factores están haciendo que el campo de reconocimiento de actividades humanas cobre una mayor importancia, como por ejemplo, la proliferación de dispositivos “wearables” que permiten monitorizar la actividad física o la tendencia de la población mundial hacia un estilo de vida cada vez más sedentario. Este estilo de vida sedentario propio de la sociedad actual se traduce en insuficiente actividad física y se considera uno de los mayores factores de riesgo para la salud, estando entre los primeros puestos de factores de riesgo de mortalidad a nivel mundial, según la OMS [11]. De esta manera, dentro del ámbito de la salud y el bienestar, gracias al avance en la miniaturización de sensores, que incluso permite su uso incorporados a la ropa de las personas, el reconocimiento automático de actividades se presenta como una solución a problemas de diversa índole, como por ejemplo, prevención de enfermedades, envejecimiento activo, monitorización remota de enfermos, además de un amplio espectro de aplicaciones en el ámbito deportivo. Es por esto que se convierten en dispositivos de monitorización sumamente útiles en otras áreas de investigación, introduciendo el reconocimiento de actividades humanas en la computación ubicua, el entretenimiento, el registro de actividades diarias personales o el seguimiento del rendimiento deportivo o profesional. Con la principal motivación de explorar nuevos frentes de investigación del reconocimiento de actividades, con un enfoque distinto a los planteados hasta ahora, en este trabajo se propone un sistema de reconocimiento automático de actividades que integra un algoritmo evolutivo, para la tarea de clasificación de actividades, y un enjambre de partículas, para la realización de un clustering que mejore el aprendizaje automático. El sistema ha sido evaluado mediante validación cruzada del tipo leave-one-subject-out, para comprobar su rendimiento en situaciones de reconocimiento independiente del sujeto, obteniendo un 52,37% de acierto. También, se ha evaluado el sistema con validación cruzada estándar de 10-folds en cada sujeto, para analizar la capacidad del sistema en casos de clasificación dependiente del sujeto, alcanzando un 98,07% de acierto. Un resultado significativamente más positivo que el primero, que muestra que el sistema puede tender a la personalización del reconocimiento de actividades. Además, se ha llevado a cabo la evaluación del sistema con validación cruzada estándar de 10-folds en el conjunto de todos los sujetos, con un 70,2267% de acierto, abundándose en la conclusión expuesta más arriba, de que el sistema presenta un mejor funcionamiento en situaciones de personalización del reconocimiento de actividades.In the current time, various factors are making the field of activity recognition become more important, such as the proliferation of wearable devices that allow to monitor physical activity or global population’s tendency towards a more sendentary lifestyle. This sedentary lifestyle is turning into insufficient physical activity and is considered one of the factors with a highest risk for health, being among the leading risk factors of mortality, regarding the WHO [11]. This way, within health and wellness field, thanks to the advance in sensor miniaturization, which even allows sensor usage incorporated to people clothes, activity automatic recognition is presented as a solution to very diverse problems, such as diseases prevention, active aging, patient remote monitoring, as well as a wide range of applications in sports. For that reason, wearable sensors happen to be extremely useful monitorizing devices in other research areas, introducing human activity recognition to ubiquitous computing, entertainment industry, daily life activities logging and sportive and professional perfomance monitoring, among others. With the main motivation of exploring new research horizons, through a different approach to the previous works, in this project, an activity automatic recognition system that integrates an evolutionary algorithm, for the activity classification task, and a particle swarm, for a clustering that improves the automatic learning, is proposed. The system has been evaluated with leave-one-subject-out (LOSO) cross validation, in order to assess its performance in situations where the recognition is subject independent, obtaining an accuracy rate of 52,37%. Also, the system has been evaluated with 10-fold standard cross validation within each subject, to analyze the system’s capacity in subject dependent classification cases, reaching an accuracy rate of 98,07%. A significantly more positive result than the first one, that shows the system might tend to personalization of activity recognition. In addition, the system evaluation has been carried with 10-fold standard cross validation within the whole set of all the subjects, getting an accuracy rate of 70,2267%, which supports the conclusion presented above that the system works better in situations of personalization of the activity recognition.Grado en Ingeniería Informátic

Investigating the Perceptibility of Smartphone Notifications and Methods for Context-Aware Data Assessment in Experience Sampling Studies

Eine zentrale Aufgabe in der Mensch-Maschine-Interaktion ist die Durchführung von Nutzerstudien. Diese ermöglichen einen tieferen Einblick in das Verhalten von Nutzern, dienen aber auch dazu, Labels zum Annotieren von Daten zu sammeln. Die traditionelle Methode zum Erfassen von subjektivem Feedback ist die Experience Sampling Method (ESM). Durch das Beantworten von Fragebögen stellen Probanden nicht nur Informationen über sich selbst, sondern auch über ihre Umgebung zur Verfügung. Außerdem können ihre Antworten als Label für Daten, welche zeitgleich erhoben wurden, dienen. Inzwischen sind Smartphones zur Hauptplattform zum Durchführen von ESM Studien geworden. Sie werden genutzt, um ESM-Abfragen in Form von Benachrichtigungen auszusenden, um die gesammelten Labels zu speichern und um sie den Sensordaten zuzuweisen, welche im Hintergrund gesammelt wurden. In ESM-Studien wird angestrebt, möglichst viele und qualitativ hochwertige Daten zu sammeln. Um dieses Ziel zu erreichen, bedarf es einer großen Menge sorgfältig beantworteter ESM-Abfragen. Die Probanden wiederum wollen in der Regel so wenig Abfragen wie möglich erhalten. Es ist notwendig, einen Kompromiss zwischen Abfragehäufigkeit und Probandenzufriedenheit zu finden. Beim Erstellen von ESM-Studien ergeben sich verschiedene Herausforderungen. Einerseits sind diese mit der ESM-App und deren Funktionalität verbunden. Andererseits stehen sie aber auch mit dem Ausliefern von ESM-Abfragen und deren Wahrnehmung durch den Nutzer im Zusammenhang. ESM-Abfragen müssen in Situationen ausgesandt werden, welche für den Studiendesigner von Interesse sind. Dies bedarf eines akkuraten Erkennungssystems, welches in die ESM-App eingebunden werden muss. Sowohl die Anzahl und Häufigkeit der Abfragen als auch die Länge des Feedback-Fragebogens sollten auf ein Minimum reduziert werden. Beides sind Herausforderungen, welche die ESM-App, welche zur Durchführung der Studie genutzt wird, adressieren muss. Um das Erstellen von ESM-Anwendungen zu erleichtern, ist es empfehlenswert, auf ein primäres Entwicklungswerkzeug zurückzugreifen. Im besten Fall ist solch ein Werkzeug einfach zu nutzen und bietet Zugriff auf eine weitreichende Menge an Sensoren, aus denen kontextuelle Informationen abgeleitet werden können - beispielsweise, um ereignisbasiert Abfragen auszusenden. Im Rahmen dieser Dissertation stellen wir ESMAC vor, den ESM App Configurator. ESMAC stellt verschiedene Abfragetypen zur Verfügen, ebenso wie verschiedene Einstellungen, um die Anzahl an Abfragen pro Tag zu begrenzen (inquiry limit) oder um ein abfragefreies Zeitfenster zwischen zwei aufeinanderfolgenden Abfragen zu definieren (inter-notification time). Zudem bietet es Zugriff auf eine Vielzahl an Sensormesswerten und -Informationen.Diese Werte werden automatisch erfasst und benötigen keine Abfrage vom Nutzer, was zu einer reduzierten Fragebogenlänge führen kann. Um Informationen in Situationen zu sammeln, welche für den Studiendesigner von Interesse sind, bietet ESMAC eine Auswahl an ereignisbasierten Abfragen. Ereignisbasierte Abfragen fanden bereits in diversen ESM-Studien Anwendung. Dennoch wurde ihre Nützlichkeit bisher nicht explizit untersucht. Zwei Faktoren, welche für verschiedene Forschungsbereiche relevant sind, sind Ortswechsel und Aktivitätsänderungen des Nutzers. Diese können beispielsweise für die Erkennung der Unterbrechbarkeit eines Nutzers genutzt werden oder zum Überwachen von Zustandsänderungen bei Patienten, welche unter affektiven Störungen leiden. Am Beispiel einer Studie, welche auf die Erfassung dieser beiden Faktoren ausgerichtet ist, zeigen wir, dass ereignisbasierte Abfragen nützlich sind, vor allem wenn die ausgewählten ereignisbasierten Abfragen (hier: Ortswechsel) im Zusammenhang mit den zu erfassenden Daten stehen (hier: Feedback über die Mobilität und Aktivität des Nutzers). Die Erfassung von Datenlabels bedarf nicht nur ereignisbasierter Abfragen, sondern auch zeitnaher Antworten von den Probanden, um die Labels möglichst akkurat den gesammelten Daten zuweisen zu können. Hierzu ist es notwendig, dass die Probanden die eingehenden Abfragen rechtzeitig bemerken. Abfragen werden unter Umständen nicht wahrgenommen, weil eine zu unauffällige Benachrichtigungsmodalität gewählt wurde oder weil die ESM-Abfragen in einem überfüllten Notification Drawer des Smartphones untergehen. Die Wahrnehmbarkeit von Benachrichtigungen wird durch verschiedene kontextuelle Faktoren beeinflusst, z.B. die Position des Smartphones, den aktuellen Ort oder die (soziale) Aktivität des Nutzers. Aber auch inhaltliche Eigenschaften wie die empfundene Wichtigkeit einer Benachrichtigung können einen Einfluss haben. Als Grundlage für spätere Forschung untersuchen wir Methoden, um diese Einflussfaktoren zu erfassen. Zuerst stellen wir eine Methode zur Position-Transition-Korrektur vor, welche die Erkennung der aktuellen Smartphone-Position verbessert. Diese Methode basiert auf der Annahme, dass jeder Wechsel von einer Position zur nächsten über das Halten des Geräts in der Hand erfolgt. Als nächstes untersuchen wir verschiedene Methoden zur Ortserfassung, unter Achtung der Privatsphäre des Benutzers. Wir stellen vor, wie WLAN-Informationen und Ortstypen genutzt werden können, um den Aufenthaltsort eines Nutzers zu beschreiben und Ortswechsel zu erkennen, ohne den exakten Standort abzuspeichern. Basierend auf dem Ortstypen präsentieren wir eine Methode, um abzuschätzen, ob ein Smartphone-Nutzer in Begleitung ist. Abschließend untersuchen wir noch Smartphone-Features, welche mit der empfundenen Wichtigkeit einer Benachrichtigung in Zusammenhang stehen könnten. Nachdem wir Methoden zum Erfassen von Einflussfaktoren untersucht haben, betrachten wir Zusammenhänge zwischen der Wahrnehmung von eingehenden Benachrichtigungen und verschiedenen Benachrichtigungsmodalitäten. Diese Betrachtung erfolgt unter Berücksichtigung (a) der aktuellen Position des Smartphones und (b) des aktuellen Ortes des Smartphone-Nutzers und möglicher ortsbasierter Aktivitäten. Wir stellen eine Studie vor, welche Aufschluss darüber gibt, wie angenehm und wahrnehmbar verschiedene Benachrichtigungsmodalitäten sind - abhängig davon, wo das Smartphone vom Nutzer aufbewahrt wird. Für den aktuellen Ort und ortsbezogene Aktivitäten stellen wir passende Benachrichtigungsmodalitäten vor, über welche wir im Rahmen einer Onlineumfrage und einer Laborstudie Rückmeldung erhalten haben. Abschließend erstellen und evaluieren wir verschiedene Designs, um wichtige Benachrichtigungen - welche ESM-Abfragen einschließen - hervorzuheben, indem ihre Sichtbarkeit im Notification Drawer erhöht wird. Diese Designs basieren auf Feedback von Interviewprobanden als auch auf Erkenntnissen aus der Literatur. Wir stellen Eigenschaften von Benachrichtigungsdesigns vor, welche von Probanden einer Onlineumfrage als angenehm und nützlich empfunden wurden. Zudem empfehlen wir auch Kombinationen verschiedener Designeigenschaften. Die Beiträge dieser Dissertation können wie folgt zusammengefasst werden: - Vorstellung eines Tools, um kontextsensitive ESM-Apps zu erstellen - Bestätigung der Relevanz von ereignisbasierten Abfragen am Beispiel einer ESM-Studie mit Fokus auf Ortswechsel und Aktivitätsänderungen - Vorstellung eines Position-Transition-Korrekturmechanismus zum Verbessern der Erkennung der Smartphone-Position - Vorstellung zweier Methoden zur Ortserfassung ohne konkrete Offenlegung und Speicherung des konkreten Aufenthaltsortes - Vorstellung einer ortsbasierten Methode zum Abschätzen, ob sich ein Smartphone-Nutzer in Begleitung befindet oder nicht - Vorstellen von vier Typen von Wichtigkeit und von Smartphone-Features, welche mit der empfundenen Wichtigkeit von Benachrichtigungen in Zusammenhang stehen - Empfehlungen für die Auswahl von Benachrichtigungsmodalitäten abhängig von der (a) Smartphone-Position als auch (b) des aktuellen Ortes und möglicher ortsbasierter Aktivitäten - Empfehlungen für Designanpassungen von Smartphone-Benachrichtigungen, um solche von höherer Wichtigkeit hervorzuhebe