A framework for abstraction and virtualization of sensors in mobile context-aware computing

110 p.[EN] The latest mobile devices available nowadays are leading to the development of a new generation of mobile applications that are able to react to context. Context- awareness requires data from the environment, usually collected by means of sensors embedded in mobile devices or connected to them through wireless networks. Developers of mobile applications are faced with several challenges when it comes to the creation of context-aware applications. Sensor and device heterogeneity stand out among these challenges. In order to assist designers, we propose a layered conceptual framework for sensor abstraction and virtualization, called Igerri. Its main objective is to facilitate the development of context-aware applications independently of the specific sensors available in the user environment. To avoid the need to directly manage physical sensors, a layered structure of virtual and abstract sensors is conceived. Two software components, based on the proposed framework, have been designed in order to test Igerris robustness. The first one processes the information from the successive sensor layers and generates high-level context information. The second is responsible for managing network aspects and real time settings. This implementation has been tested using a representative context-aware application in different scenarios. The results obtained show that the implementation, and therefore the conceptual framework, is suitable for dealing with context information and hiding sensor programming.[EU] Gaur egungo gailu mugikor puntakoenek inguruneari erantzuteko gai diren aplikazio mugikorren garapenean oinarritzen dira. Testuingurua nabaritzeko ingurunearen informazioa behar da, zeina gailu mugikorretan txertatutako sentsoreen edo haririk gabeko sareen bitartez biltzen den. Aplikazio mugikorren garatzaileek erronka askori aurre egin behar izaten diete testuingurua kontuan hartzen duten aplikazioak garatzerakoan. Erronka na- gusien artean, sentsoreen eta gailuen heterogeneotasuna izaten dira. Garatzaileei laguntzeko asmoz, Igerri izeneko sentsoreen abstrakzio eta birtualizaziorako marko kontzeptual bat proposatzen dugu. Bere helburu nagusia, testuinguruaren aplikazio hautemangarrien garapena erraztea da, erabiltzailearen ingurunean dauden sentsore espezifikoak edozein direla ere. Sentsore fisikoak zuzenean ma- nipulatu behar izatea saihesteko, sentsore birtual eta abstraktuen egitura bat asmatu da. Igerri-ren sendotasuna egiaztatzeko, proposatutako markoan oinarritutako bi software osagai diseinatu dira. Lehenak, sentsore geruzen informazio geruzak prozesatu eta maila altuko testuinguru informazioa ematen du. Bigarrenak, sare aukerak kudeatu eta sentsoreen konfigurazioa denbora errealean burutzen ditu. Inplementazio hau testuingurua hautemateko gai eta adierazgarria den aplikazio batekin egoera desberdinetan frogatu da. Lortutako emaitzek erakusten dute inplementazioa, eta ondorioz marko kontzeptuala ere, aproposa dela testuinguruaren informazioa erabiltzeko eta sentsoreen programazioa ezkutatzeko.[ES] Los dispositivos móviles disponibles en la actualidad facilitan el desarrollo de una nueva generación de aplicaciones móviles que son capaces de reaccionar al contexto. La computación sensible al contexto requiere datos del entorno que normalmente se obtienen por medio de sensores embebidos en dispositivos móviles o conectados a ellos a través de redes inalámbricas. Los desarrolladores de aplicaciones móviles se enfrentan a varios retos para crear aplicaciones sensibles al contexto. Entre estos retos destaca la necesidad de tratar la heterogeneidad de los sensores y de los dispositivos móviles. Con el fin de ayudar a los desarrolladores, esta tesis propone un marco conceptual para la abstracción multinivel y la virtualización de sensores, llamado Igerri. Su principal objetivo es facilitar el desarrollo de aplicaciones sensibles al contexto independientemente de los sensores específicos que se encuentren en el entorno. Para evitar la necesidad de manipular directamente los sensores físicos, se ha concebido una estructura multinivel de sensores virtuales y abstractos. Se han diseñado dos componentes software basados en el marco propuesto para comprobar la robustez de Igerri. El primero procesa la información de la estructura multinivel de sensores y genera información de contexto de alto nivel. El segundo es responsable de administrar, en tiempo real, las opciones de red y la configuración de los sensores. Esta implementación ha sido probada en diferentes escenarios usando una aplicación representativa y sensible al contexto. Los resultados obtenidos muestran que la implementación, y por tanto el marco conceptual que le da soporte, es adecuada para tratar la información de contexto y ocultar los problemas de programación de los sensores.Borja Gamecho held a PhD scholarship from the Research Staff Training Programme of the Basque Government from 2011 to 2014. This work also has been supported by the Department of Education, Universities and Research of the Basque Government under Grant IT395-10, by the Ministry of Economy and Competitiveness of the Spanish Government and by the European Regional Development Fund (project TIN2014-52665-C2-1)

Distributed, Low-Cost, Non-Expert Fine Dust Sensing with Smartphones

Diese Dissertation behandelt die Frage, wie mit kostengünstiger Sensorik Feinstäube in hoher zeitlicher und räumlicher Auflösung gemessen werden können. Dazu wird ein neues Sensorsystem auf Basis kostengünstiger off-the-shelf-Sensoren und Smartphones vorgestellt, entsprechende robuste Algorithmen zur Signalverarbeitung entwickelt und Erkenntnisse zur Interaktions-Gestaltung für die Messung durch Laien präsentiert. Atmosphärische Aerosolpartikel stellen im globalen Maßstab ein gravierendes Problem für die menschliche Gesundheit dar, welches sich in Atemwegs- und Herz-Kreislauf-Erkrankungen äußert und eine Verkürzung der Lebenserwartung verursacht. Bisher wird Luftqualität ausschließlich anhand von Daten relativ weniger fester Messstellen beurteilt und mittels Modellen auf eine hohe räumliche Auflösung gebracht, so dass deren Repräsentativität für die flächendeckende Exposition der Bevölkerung ungeklärt bleibt. Es ist unmöglich, derartige räumliche Abbildungen mit den derzeitigen statischen Messnetzen zu bestimmen. Bei der gesundheitsbezogenen Bewertung von Schadstoffen geht der Trend daher stark zu räumlich differenzierenden Messungen. Ein vielversprechender Ansatz um eine hohe räumliche und zeitliche Abdeckung zu erreichen ist dabei Participatory Sensing, also die verteilte Messung durch Endanwender unter Zuhilfenahme ihrer persönlichen Endgeräte. Insbesondere für Luftqualitätsmessungen ergeben sich dabei eine Reihe von Herausforderungen - von neuer Sensorik, die kostengünstig und tragbar ist, über robuste Algorithmen zur Signalauswertung und Kalibrierung bis hin zu Anwendungen, die Laien bei der korrekten Ausführung von Messungen unterstützen und ihre Privatsphäre schützen. Diese Arbeit konzentriert sich auf das Anwendungsszenario Partizipatorischer Umweltmessungen, bei denen Smartphone-basierte Sensorik zum Messen der Umwelt eingesetzt wird und üblicherweise Laien die Messungen in relativ unkontrollierter Art und Weise ausführen. Die Hauptbeiträge hierzu sind: 1. Systeme zum Erfassen von Feinstaub mit Smartphones (Low-cost Sensorik und neue Hardware): Ausgehend von früher Forschung zur Feinstaubmessung mit kostengünstiger off-the-shelf-Sensorik wurde ein Sensorkonzept entwickelt, bei dem die Feinstaub-Messung mit Hilfe eines passiven Aufsatzes auf einer Smartphone-Kamera durchgeführt wird. Zur Beurteilung der Sensorperformance wurden teilweise Labor-Messungen mit künstlich erzeugtem Staub und teilweise Feldevaluationen in Ko-Lokation mit offiziellen Messstationen des Landes durchgeführt. 2. Algorithmen zur Signalverarbeitung und Auswertung: Im Zuge neuer Sensordesigns werden Kombinationen bekannter OpenCV-Bildverarbeitungsalgorithmen (Background-Subtraction, Contour Detection etc.) zur Bildanalyse eingesetzt. Der resultierende Algorithmus erlaubt im Gegensatz zur Auswertung von Lichtstreuungs-Summensignalen die direkte Zählung von Partikeln anhand individueller Lichtspuren. Ein zweiter neuartiger Algorithmus nutzt aus, dass es bei solchen Prozessen ein signalabhängiges Rauschen gibt, dessen Verhältnis zum Mittelwert des Signals bekannt ist. Dadurch wird es möglich, Signale die von systematischen unbekannten Fehlern betroffen sind auf Basis ihres Rauschens zu analysieren und das "echte" Signal zu rekonstruieren. 3. Algorithmen zur verteilten Kalibrierung bei gleichzeitigem Schutz der Privatsphäre: Eine Herausforderung partizipatorischer Umweltmessungen ist die wiederkehrende Notwendigkeit der Sensorkalibrierung. Dies beruht zum einen auf der Instabilität insbesondere kostengünstiger Luftqualitätssensorik und zum anderen auf der Problematik, dass Endbenutzern die Mittel für eine Kalibrierung üblicherweise fehlen. Bestehende Ansätze zur sogenannten Cross-Kalibrierung von Sensoren, die sich in Ko-Lokation mit einer Referenzstation oder anderen Sensoren befinden, wurden auf Daten günstiger Feinstaubsensorik angewendet sowie um Mechanismen erweitert, die eine Kalibrierung von Sensoren untereinander ohne Preisgabe privater Informationen (Identität, Ort) ermöglicht. 4. Mensch-Maschine-Interaktions-Gestaltungsrichtlinien für Participatory Sensing: Auf Basis mehrerer kleiner explorativer Nutzerstudien wurde empirisch eine Taxonomie der Fehler erstellt, die Laien beim Messen von Umweltinformationen mit Smartphones machen. Davon ausgehend wurden mögliche Gegenmaßnahmen gesammelt und klassifiziert. In einer großen summativen Studie mit einer hohen Teilnehmerzahl wurde der Effekt verschiedener dieser Maßnahmen durch den Vergleich vier unterschiedlicher Varianten einer App zur partizipatorischen Messung von Umgebungslautstärke evaluiert. Die dabei gefundenen Erkenntnisse bilden die Basis für Richtlinien zur Gestaltung effizienter Nutzerschnittstellen für Participatory Sensing auf Mobilgeräten. 5. Design Patterns für Participatory Sensing Games auf Mobilgeräten (Gamification): Ein weiterer erforschter Ansatz beschäftigt sich mit der Gamifizierung des Messprozesses um Nutzerfehler durch den Einsatz geeigneter Spielmechanismen zu minimieren. Dabei wird der Messprozess z.B. in ein Smartphone-Spiel (sog. Minigame) eingebettet, das im Hintergrund bei geeignetem Kontext die Messung durchführt. Zur Entwicklung dieses "Sensified Gaming" getauften Konzepts wurden Kernaufgaben im Participatory Sensing identifiziert und mit aus der Literatur zu sammelnden Spielmechanismen (Game Design Patterns) gegenübergestellt

Technology-enhanced Programs for Children with Autism: implementing Applied Behavior Analysis Intervention on Mobile Devices

Autism Spectrum Disorder (ASD) is a pervasive developmental disorder characterized by difficulties in communication and social integration. Many research studies provide evidence that early and intensive intervention (preschool age 4-6 hours/day) leads to great progress in skills, and in some cases brings the child to a developmental level equal to his/her peers. Since traditional educational methods are rarely effective in ASD, new teaching approaches aimed at better exploiting the subject’s abilities are currently adopted. Among these, early intervention based on Applied Behavior Analysis (ABA) offers children with autism the possibility of learning in an accessible structured way, adapting pace, format and feedback to the subject’s abilities. Considering technology-enhanced learning, several studies have shown the effectiveness of computer-assisted programs for special education of autistic children due to the intrinsic ‘distance’ between the PC and the child that does not require emotional involvement (a computer does not require interpretation of emotion) allowing the repeatability of answers (reducing anxiety). Although there is a great availability of educational software programs, few of them apply ABA principles. Most of them are commercial products having additional costs for families. Moreover, there are still no formal protocols for testing the learning software for autistic subjects and further studies are necessary in the field of human-computer interaction when the interaction is performed by an individual with autism. In this thesis, I describe the design and implementation of a set of software tools that comprise ABCD SW (Autistic Behavior & Computer-based Didactic SoftWare), an ABA compliant application, designed to support children and tutors in a 1-to-1 learning process. ABCD SW is an open-source adaptive software based on Augmentative and Alternative Communication (AAC) and Discrete Trial Training (DTT), specifically developed for an early intervention (2-6 years old). The software allows children to perform ABA trials, automatically storing all data of the sessions. The tutor must integrate the evaluation data (prompt provided, behavior) by pressing just one key. A learning analytic tool extracts data, offering real-time monitoring of children’s learning for assessing at a glance progress or problems experienced by each child. The effectiveness of ABA intervention supported by ABCD SW has been tested via a pilot study with seven autistic children. The efficacy was evaluated through two data sources: 1) subjective feedback collected through an online survey proposed to the ABA team of the children involved in the user test; 2) an objective assessment based on learning analytics trends highlighted by the ABCD software correlated with the children’s evaluations. These evaluations were made by a psychologist before and after the user test, through Vineland adaptive behavior scales for measuring personal and social skills. Results show that children manifested improvement in communication, especially in the expressive communication sub-category (p < 0.05). Furthermore, the ABA team observed that children improved in communication, socialization and behavior. The pilot study suggests effectiveness of rehabilitation of autistic children using this ABA technology-enhanced intervention

Uso da comunicação alternativa no autismo : um estudo sobre a mediação com baixa e alta tecnologia

Entre outras características, o autismo tem desdobramentos na habilidade de uma pessoa compreender e se expressar por meio de recursos simbólicos. O contexto desta tese é a Tecnologia Assistiva, área da Comunicação Aumentativa e Alternativa (CAA) aplicada aos processos de aprendizagem mediada de crianças com autismo. A CAA, por definição, consiste em um sistema integrado de símbolos, recursos, técnicas e estratégias. Para subsidiar a pesquisa, planejamos e implementamos uma intervenção junto a três mães para a orientação quanto à implementação de CAA com recursos de baixa e alta tecnologia junto a seus filhos, crianças de 5 a 8 anos, visando ao desenvolvimento da comunicação no cotidiano. O objetivo geral da pesquisa consistiu em analisar os processos de mediação para pôr em curso o desenvolvimento da linguagem e da comunicação dessas crianças. Tratou-se de uma pesquisa de natureza qualitativa baseada nos pressupostos da Teoria Sócio-Histórica e da metodologia de pesquisa-ação. Os materiais e instrumentos de pesquisa incluíram análise documental, observações, análises de registros em áudio e vídeo, diário de campo, materiais produzidos no período de intervenção além da Matriz de Comunicação (ROWLAND, 1996). Discutimos os dados gerados referentes a instrumentos de avaliação para definir o perfil da criança e nortear a definição de objetivos de intervenção; referentes a nosso programa de intervenção; referentes à mediação com CAA para desenvolvimento da comunicação e referentes à dimensão afetiva da mediação com CAA. Os resultados indicam que a Matriz de Comunicação é um instrumento adequado para avaliar o nível de desenvolvimento de habilidades de comunicação e nortear a definição de objetivos de intervenção com CAA com crianças com autismo que não falam. Um programa colaborativo para implementar CAA deve ser sensível ao contexto e a suas necessidades enquanto provê apoios onde são necessários para promover a aderência e a consecução dos objetivos. Durante o processo, percebemos o entrelaçamento da mediação simbólica, da mediação do desempenho e da mediação afetiva na implementação e uso da CAA. A partir de uma perspectiva epistêmica Sócio-Histórica, concluímos que a CAA, enquanto sistema, se configura como artefato cultural potente de mediação que engloba simultaneamente símbolos e instrumentos. No entanto, a mediação não existe per se, se realiza na e pela ação conjunta, de processos interpsicológicos rumo aos intrapsicológicos, na mediação da ação e também da afetividade. Uma vez que esse conjunto de elementos funcionam de modo sinérgico no uso da CAA, observamos o estabelecimento de sentidos mutuamente compartilhados, o desenvolvimento da função comunicativa bem como a regulação do comportamento da criança com autismo. No nível macro, reside o potencial da CAA para fornecer os apoios para o acesso à informação e a superação das barreiras de comunicação, à medida que se amplia a participação social de pessoas com autismo com limitações na fala.Among other features, autism has consequences on people’s ability to understand and express themselves through symbolic resources. The context of this thesis is in the Assistive Technology field of Augmentative and Alternative Communication (AAC) as applied to mediated learning processes children with autism. AAC, by definition, consists of an integrated system of symbols, resources, techniques and strategies. We planned and implemented an intervention with three mothers for guidance on the implementation of AAC with their 5-8 years old autistic children. The intervention aimed at the development of communication in daily life. The overall objective of the research was to analyze the mediation process to put language and communication development in progress. It is a qualitative research based on the principles of the Socio-Historical Theory and action research methodology. Materials and research strategies included document analysis, observations, analysis of audio and video recordings, field notes, materials produced during the intervention period as well as the Communication Matrix (ROWLAND, 1996). We discussed data related to assessment tools to define children’s profile and guide the definition of objectives for intervention; data from our intervention program; data from mediation with AAC to foster the development of communication and data from the affective dimension of mediation with AAC. According to results, the Communication Matrix proved to be an adequate tool to assess the level of development of communication skills and to guide the establishment of intervention objectives with AAC for children with autism who do not speak. A collaborative program for AAC implementation with the family should be sensitive to a family’s context and needs while providing support where needed to foster adherence and accomplishment of goals. During the process, we noticed an intertwining of three types of mediation: symbolic, performance and affect mediation in the implementation and use of AAC. From a Socio-Historical epistemic perspective, we conclude that, taken as a system, AAC consists of a powerful cultural artifact of mediation, which simultaneously encompasses symbols and instruments. However, mediation does not exist per se. Mediation takes place in and by joint action, from interpsychological through intrapsychological processes, where performance and affect mediation also play a role. Once that set of elements work synergistically in the use of AAC, we can expect the emergence of shared meanings, the development of communicative functions and the regulation of the child’s behavior in the micro level. In the macro level lies the potential of AAC for bridging gaps for access to information and overcoming communication barriers as social participation of people with autism with limited speech increases.Entre otras características, el autismo tiene consecuencias en la capacidad de una persona para comprender y expresarse a través de recursos simbólicos. El contexto de esta tesis es la Tecnología Asistida en el ámbito de la Comunicación Aumentativa y Alternativa (CAA) aplicada a los procesos de aprendizaje mediado en niños con autismo. CAA, por definición, consiste en un sistema integrado de símbolos, características, técnicas y estrategias. Para apoyar la investigación, planificamos e implementamos una intervención con tres madres para orientarlas sobre la aplicación de CAA con recursos de baja y alta tecnología a sus hijos de entre 5 y 8 años con objetivo de desarrollar la comunicación en la vida cotidiana. El objetivo general de la investigación fue analizar el proceso de mediación para poner en marcha el desarrollo del lenguaje y la comunicación de los niños. Esta fue una investigación cualitativa basada en los fundamentos de La teoría Socio-Histórico y metodología de investigación. Los materiales e instrumentos de investigación incluyen el análisis de documentos, observaciones, análisis de registros de audio y video, diario de campo e materiales producidos durante el período intervención, además de la Matriz de Comunicación (ROWLAND, 1996). Se discuten los datos producidos en relación a los instrumentos de evaluación para definir el perfil del niño y orientar a la definición de los objetivos de la intervención; en relación con el programa de intervención; en ilación a la mediación con la CAA para el desarrollo de la comunicación y la relación con la dimensión afectiva de la intercesión con la CAA. Los resultados indican que la Matriz de Comunicación es una herramienta apropiada para evaluar el nivel de desarrollo de las habilidades de comunicación y guiar el desarrollo de los objetivos para la con CAA en niños con autismo que no hablan. El programa de colaboración para poner en práctica CAA debe ser sensible al contexto y a las necesidades al mismo tiempo que proporciona apoyo donde sea necesario para promover la adhesión y el logro de las metas. Durante el proceso, nos dimos cuenta de la coorelación de la mediación simbólica, el rendimiento de la mediación y la mediación afectiva en la implementación y uso de la CAA. Desde una perspectiva epistémica socio-histórica, llegamos a la conclusión de que la CAA, como sistema, se configura como un poderoso artefacto de mediación cultural que abarca simultáneamente ambos símbolos e instrumentos. Sin embargo, la mediación no existe per se. La mediación se lleva a cabo en y por la acción conjunta de los procesos inter-psicológicos hacia los intra-psicológicos en la mediación de la acción y también la afectividad. Una vez que este conjunto de elementos trabajan de forma sinérgica en el uso de CAA, se pudo comprobar la creación de significados compartidos mutuamente, el desarrollo de la función comunicativa y la regulación del comportamiento del niño con autismo. A nivel macro, el potencial de la CAA es proporcionar apoyo para el acceso a la información y la superación de las barreras de comunicación, al extender la participación social de las personas con autismo con habla limitada

Ubiquitous mobile instrumentation

Mobile phones allow us to reach people anywhere, at anytime. In addition to the benefits for end users, researchers and developers can also benefit from the powerful devices that participants carry on a daily basis. Collectively, mobile phones form a ubiquitous computer. Ubiquitous Mobile Instrumentation (UbiMI) workshop focuses on using mobile devices as instruments to collect data and conduct mobile user studies, to understand human-behavior, routines and gathering users' context

UbiMI’17:ubiquitous mobile instrumentation

Abstract Mobile devices (smartphones, smartwatches, etc.) allow us to reach people anywhere, anytime. Collectively, these devices form a ubiquitous computer that offers valuable insights on the user. In addition to the benefits for researchers and developers, explored in previous UbiMI workshops, devices can also help individuals understand their own health, activities, and behaviour. The Ubiquitous Mobile Instrumentation (UbiMI) workshop focuses on using mobile devices as instruments to collect sensing data, to understand human-behaviour and routines, and to gather users’ context using sensor instrumentation