A Two-Level Approach to Characterizing Human Activities from Wearable Sensor Data

International audienceThe rapid emergence of new technologies in recent decades has opened up a world of opportunities for a better understanding of human mobility and behavior. It is now possible to recognize human movements, physical activity and the environments in which they take place. And this can be done with high precision, thanks to miniature sensors integrated into our everyday devices. In this paper, we explore different methodologies for recognizing and characterizing physical activities performed by people wearing new smart devices. Whether it's smartglasses, smartwatches or smartphones, we show that each of these specialized wearables has a role to play in interpreting and monitoring moments in a user's life. In particular, we propose an approach that splits the concept of physical activity into two sub-categories that we call micro-and macro-activities. Micro-and macro-activities are supposed to have functional relationship with each other and should therefore help to better understand activities on a larger scale. Then, for each of these levels, we show different methods of collecting, interpreting and evaluating data from different sensor sources. Based on a sensing system we have developed using smart devices, we build two data sets before analyzing how to recognize such activities. Finally, we show different interactions and combinations between these scales and demonstrate that they have the potential to lead to new classes of applications, involving authentication or user profiling

Mining app reviews to support software engineering

The thesis studies how mining app reviews can support software engineering. App reviews —short user reviews of an app in app stores— provide a potentially rich source of information to help software development teams maintain and evolve their products. Exploiting this information is however difficult due to the large number of reviews and the difficulty in extracting useful actionable information from short informal texts. A variety of app review mining techniques have been proposed to classify reviews and to extract information such as feature requests, bug descriptions, and user sentiments but the usefulness of these techniques in practice is still unknown. Research in this area has grown rapidly, resulting in a large number of scientific publications (at least 182 between 2010 and 2020) but nearly no independent evaluation and description of how diverse techniques fit together to support specific software engineering tasks have been performed so far. The thesis presents a series of contributions to address these limitations. We first report the findings of a systematic literature review in app review mining exposing the breadth and limitations of research in this area. Using findings from the literature review, we then present a reference model that relates features of app review mining tools to specific software engineering tasks supporting requirements engineering, software maintenance and evolution. We then present two additional contributions extending previous evaluations of app review mining techniques. We present a novel independent evaluation of opinion mining techniques using an annotated dataset created for our experiment. Our evaluation finds lower effectiveness than initially reported by the techniques authors. A final part of the thesis, evaluates approaches in searching for app reviews pertinent to a particular feature. The findings show a general purpose search technique is more effective than the state-of-the-art purpose-built app review mining techniques; and suggest their usefulness for requirements elicitation. Overall, the thesis contributes to improving the empirical evaluation of app review mining techniques and their application in software engineering practice. Researchers and developers of future app mining tools will benefit from the novel reference model, detailed experiments designs, and publicly available datasets presented in the thesis

The Internet of Things and The Web of Things

International audienceThe Internet of Things is creating a new world, a quantifiable and measureable world, where people and businesses can manage their assets in better informed ways, and can make more timely and better informed decisions about what they want or need to do. This new con-nected world brings with it fundamental changes to society and to consumers. This special issue of ERCIM News thus focuses on various relevant aspects of the Internet of Things and the Web of Things

Contributions aux systèmes répartis en environnements ubiquitaires : adaptation, sensibilité au contexte et tolérance aux fautes

D'années en années, nous observons l'arrivée sur le marche d'ordinateurs personnels de plus en plus petits pour des utilisateurs de plus en plus nombreux, ainsi des assistants personnels numériques et des objets dits connectés, en passant par les téléphones mobiles. Tous ces dispositifs tendent à être interchangeables du point de vue des ressources en mémoire, en calcul et en connectivité : par exemple, les téléphones mobiles sont devenus des équipements informatiques de moins en moins spécialisés ou de plus en plus universels et font dorénavant office en la matière de portails d'accès aux capteurs présents dans l'environnement immédiat de l'utilisateur. L'enjeu abordé dans nos travaux est la construction de systèmes répartis incluant ces nouveaux dispositifs matériels. L'objectif de mes recherches est la conception des paradigmes d'intermédiation génériques sous-jacents aux applications réparties de plus en plus ubiquitaires. Plus particulièrement, la problématique générale de mes travaux est la définition du rôle des intergiciels dans l'intégration des dispositifs mobiles et des objets connectés dans les architectures logicielles réparties. Ces architectures logicielles reposaient très majoritairement sur des infrastructures logicielles fixes au début des travaux présentés dans ce manuscrit. Dans ce manuscrit, je décris mes travaux sur trois sujets : 1) l'adaptation des applications réparties pour la continuité de service pendant les déconnexions, 2) la gestion des informations du contexte d'exécution des applications réparties pour leur sensibilité au contexte, et 3) les mécanismes de détection des entraves dans les environnements fortement dynamiques tels que ceux construits avec des réseaux mobiles spontanés. Sur le premier sujet, nous fournissons une couche intergicielle générique pour la gestion des aspects répartis de la gestion des déconnexions en utilisant une stratégie d'adaptation collaborative dans les architectures à base d'objets et de composants. Sur le deuxième sujet, nous étudions les paradigmes architecturaux pour la construction d'un service de gestion de contexte générique, afin d'adresser la diversité des traitements (fusion et agrégation, corrélation, détection de situation par apprentissage, etc.), puis nous adressons le problème de la distribution des informations de contexte aux différentes échelles de l'Internet des objets. Enfin, sur le troisième sujet, nous commençons par la détection des modes de fonctionnement pour l'adaptation aux déconnexions afin de faire la différence, lorsque cela est possible, entre une déconnexion et une défaillance, et ensuite nous spécifions et construisons un service de gestion de groupe partitionnable. Ce service est assez fort pour interdire la construction de partitions ne correspondant pas à la réalité de l'environnement à un instant donné et est assez faible pour être mis en oeuvre algorithmiquemen

Schutz der Privatsphäre in kontext- und ortsbezogenen Diensten

Mit der immensen Verbreitung von Smartphones als leistungsstarke, mobile Endgeräte nimmt auch die Nutzung kontext- und insbesondere ortsbezogener Dienste stetig zu. Derartige Anwendungen vereinfachen die Interaktion mit dem eigenen Endgerät oder externen Systemen, ermöglichen neuartige Nutzungserlebnisse und innovative Dienste, die auf den aktuellen Nutzungskontext zugeschnitten sind. Bei einem Großteil der hierfür an Dritte kommunizierten Informationen handelt es sich jedoch um persönliche Daten, deren unkontrollierte Herausgabe aus Sicht der Privatsphäre problematisch erscheint. In der vorliegenden Arbeit werden drei unterschiedliche Möglichkeiten zum Datenschutz von Kontextinformationen vorgestellt. Allen Verfahren ist gemein, dass sie im Gegensatz zu vielen bestehenden Systemen ohne die Existenz einer als vertrauenswürdig deklarierten dritten Partei auskommen. Stattdessen wird jeweils eine rein clientseitige Durchsetzung von Privatsphärepräferenzen angestrebt, wodurch eine personalisierte Dienstnutzung ermöglicht und die Gefahr eines zentralen Datenlecks vermieden wird. Der erste Ansatz beschäftigt sich damit, dem Benutzer ein effektives, allgemeingültiges Werkzeug zur feingranularen, situations- und rezipientenabhängigen Verwaltung von Kontextinformationen zur Verfügung zu stellen. Es wird ein Ontologie-basiertes Kontextmodell entwickelt, auf dessen Grundlage die Definition und konsistente Durchsetzung situationsabhängiger Freigaberegeln möglich ist. Zudem wird eine vollständige Systemarchitektur zur Kontextverwaltung sowie deren Integration in ein mobiles Betriebssystem beschrieben. Der zweite Ansatz ermöglicht die privatsphäreschonende Umsetzung der verkehrsadaptiven Online-Routenplanung. Unter Verwendung standardmäßig zur Verfügung stehender Dienstschnittstellen wird dafür gesorgt, dass keine externe Komponente den exakten Start- und Zielpunkt einer Routenanfrage in Erfahrung bringen kann. Anhand einer umfangreichen Evaluation werden der Trade-Off zwischen Privatsphäre, Kommunikationsaufwand und Dienstqualität untersucht und verschiedene Optimierungsmöglichkeiten aufgezeigt. Als drittes wird ein umfassendes Konzept zur Herstellung von Standortanonymität vorgestellt, das sich generisch für die privatsphärekonforme Positionsfreigabe in unterschiedlichen Ausprägungen ortsbezogener Dienste eignet. Hierfür werden die topologiebasierte Erstellung k-anonymer Verschleierungszonen sowie verschiedene Freigabestrategien entwickelt, die auch die zeitliche Korrelation aufeinanderfolgender Ortsangaben berücksichtigen. Dies ermöglicht den effektiven Schutz persönlicher Daten selbst bei kontinuierlichen Positionsupdates gegenüber einem Angreifer mit umfangreichem Kartenwissen.With the widespread prevalence of smartphones as powerful ultra-mobile devices, also the usage of context-aware applications and location-based services continually grows. Such applications improve the way a user interacts with his own device and external systems. Furthermore, they enable previously unknown user experiences and offer innovative services tailored to the user's current situation. The majority of context information that has to be communicated to external parties in order to use such services, however, is considered personal data. From a privacy oriented perspective, the release of this kind of information hence has to be controlled and leakage must be prevented. This work presents three different means for protecting a user's context information. In contrast to many existing approaches, each of the proposed systems has been designed to operate without the existence of an omniscient, trusted third party acting as an anonymizer. Instead, enforcement of a user's privacy preferences is executed locally on the user's device, which allows for personalized services and avoids the perils of a central privacy bottleneck. The first approach proposes an effective and generally applicable tool allowing the user to manage his context information in a fine-grained, context-aware and recipient-dependent way. To this end, a new ontology-based context model will be developed, which forms the foundation for the definition and assertion of situation-dependent access control rules set up by the user. Additionally, the overall system architecture as well as its integration into a modern mobile operating system will be described. The second approach presents a client-side implementation for using traffic-adaptive online route planning services in a privacy-preserving manner. Only using the unmodified standard query interfaces of existing services, the system assures that no external party is able to learn the exact endpoints of the user's route request. By means of empirical evaluation on the actual road network, the trade off between privacy, communication overhead, and quality of service will be analyzed. Also, different optimizations will be discusssed. Thirdly, a holistic concept for continuously protecting a user's location privacy will be presented, which is generally applicable to the release of location information and all different kinds of location-based services. A topology-aware creation of k-anonymous cloaking regions will be developed as well as different strategies for the release of location information, which also take into account the spatiotemporal correlation of successive location updates. These allow for an effective protection of a user's location privacy even for continuous location updates and in face of a strong attacker with extensive map knowledge

Recommending privacy preferences in location-sharing services

Location-sharing services have become increasingly popular with the proliferation of smartphones and online social networks. People share their locations with each other to record their daily lives or satisfy their social needs. At the same time, inappropriate disclosure of location information poses threats to people's privacy. One of the reasons why people fail to protect their location privacy is the difficulty of using the current mechanisms to manually configure location-privacy settings. Since people's location-privacy preferences are context-aware, manual configuration is cumbersome. People's incapability and unwillingness to do so lead to unexpected location disclosures that violate their location privacy. In this thesis, we investigate the feasibility of using recommender systems to help people protect their location privacy. We examine the performance of location-privacy recommender systems and compare it with the state-of-the-art. We also conduct online user studies to understand people's acceptance of such recommender systems and their concerns. We revise our design of the systems according to the results of the user studies. We find that user-based collaborative filtering can accurately recommend location-privacy preferences and outperform the state-of-the-art when training data are insufficient. From users' perspective, their acceptance of location-privacy recommender systems is affected by the openness and the context of recommendations and their privacy concerns about the systems. It is feasible to use data obfuscation or decentralisation to alleviate people's concerns and meanwhile keep the systems robust against malicious data attacks

Conception de protocoles cryptographiques préservant la vie privée pour les services mobiles sans contact

The increasing number of worldwide mobile platforms and the emergence of new technologies such as the NFC (Near Field Communication) lead to a growing tendency to build a user's life depending on mobile phones. This context brings also new security and privacy challenges. In this thesis, we pay further attention to privacy issues in NFC services as well as the security of the mobile applications private data and credentials namely in Trusted Execution Environments (TEE). We first provide two solutions for public transport use case: an m-pass (transport subscription card) and a m-ticketing validation protocols. Our solutions ensure users' privacy while respecting functional requirements of transport operators. To this end, we propose new variants of group signatures and the first practical set-membership proof that do not require pairing computations at the prover's side. These novelties significantly reduce the execution time of such schemes when implemented in resource constrained environments. We implemented the m-pass and m-ticketing protocols in a standard SIM card: the validation phase occurs in less than 300ms whilst using strong security parameters. Our solutions also work even when the mobile is switched off or the battery is flat. When these applications are implemented in TEE, we introduce a new TEE migration protocol that ensures the privacy and integrity of the TEE credentials and user's private data. We construct our protocol based on a proxy re-encryption scheme and a new TEE model. Finally, we formally prove the security of our protocols using either game-based experiments in the random oracle model or automated model checker of security protocols.Avec l'émergence de nouvelles technologies telles que le NFC (Communication à champ proche) et l'accroissement du nombre de plates-formes mobiles, les téléphones mobiles vont devenir de plus en plus indispensables dans notre vie quotidienne. Ce contexte introduit de nouveaux défis en termes de sécurité et de respect de la vie privée. Dans cette thèse, nous nous focalisons sur les problématiques liées au respect de la vie privée dans les services NFC ainsi qu’à la protection des données privées et secrets des applications mobiles dans les environnements d'exécution de confiance (TEE). Nous fournissons deux solutions pour le transport public: une solution utilisant des cartes d'abonnement (m-pass) et une autre à base de tickets électroniques (m-ticketing). Nos solutions préservent la vie privée des utilisateurs tout en respectant les exigences fonctionnelles établies par les opérateurs de transport. À cette fin, nous proposons de nouvelles variantes de signatures de groupe ainsi que la première preuve pratique d’appartenance à un ensemble, à apport nul de connaissance, et qui ne nécessite pas de calculs de couplages du côté du prouveur. Ces améliorations permettent de réduire considérablement le temps d'exécution de ces schémas lorsqu’ils sont implémentés dans des environnements contraints par exemple sur carte à puce. Nous avons développé les protocoles de m-passe et de m-ticketing dans une carte SIM standard : la validation d'un ticket ou d'un m-pass s'effectue en moins de 300ms et ce tout en utilisant des tailles de clés adéquates. Nos solutions fonctionnent également lorsque le mobile est éteint ou lorsque sa batterie est déchargée. Si les applications s'exécutent dans un TEE, nous introduisons un nouveau protocole de migration de données privées, d'un TEE à un autre, qui assure la confidentialité et l'intégrité de ces données. Notre protocole est fondé sur l’utilisation d’un schéma de proxy de rechiffrement ainsi que sur un nouveau modèle d’architecture du TEE. Enfin, nous prouvons formellement la sécurité de nos protocoles soit dans le modèle calculatoire pour les protocoles de m-pass et de ticketing soit dans le modèle symbolique pour le protocole de migration de données entre TEE

Accessibility of Health Data Representations for Older Adults: Challenges and Opportunities for Design

Health data of consumer off-the-shelf wearable devices is often conveyed to users through visual data representations and analyses. However, this is not always accessible to people with disabilities or older people due to low vision, cognitive impairments or literacy issues. Due to trade-offs between aesthetics predominance or information overload, real-time user feedback may not be conveyed easily from sensor devices through visual cues like graphs and texts. These difficulties may hinder critical data understanding. Additional auditory and tactile feedback can also provide immediate and accessible cues from these wearable devices, but it is necessary to understand existing data representation limitations initially. To avoid higher cognitive and visual overload, auditory and haptic cues can be designed to complement, replace or reinforce visual cues. In this paper, we outline the challenges in existing data representation and the necessary evidence to enhance the accessibility of health information from personal sensing devices used to monitor health parameters such as blood pressure, sleep, activity, heart rate and more. By creating innovative and inclusive user feedback, users will likely want to engage and interact with new devices and their own data