Supporting users in understanding intelligent everyday systems

Intelligent systems have permeated many areas of daily life like communication, search, decision-making, and navigation, and thus present an important meeting point of people and artificial intelligence in practice. These intelligent everyday systems are in focus of this thesis. Intelligent everyday systems exhibit the characteristics of so-called complex systems as defined in cognitive science: They serve ill-defined user goals, change dynamically over time, and comprise a large number of interrelated variables whose dependencies are not transparent to users. Due to this complexity, intelligent everyday systems can violate established usability guidelines of user interface design like transparency, controllability and easy error correction. This may introduce uncertainty to interaction that users have to overcome in order to reach a goal. I introduce a perspective from cognitive science, where users do so through knowledge. The work presented in this thesis aims at assisting users in gaining this knowledge, or supporting users in understanding intelligent everyday systems, for example, through explanation, control, correction or feedback. To this end, the work included in this thesis makes three main contributions: First, I present a method for eliciting user need for support and informing adequate solutions through practical user problems with intelligent everyday systems in daily interaction. In a first phase, the presented method uses passive data collection to extract user problems with intelligent everyday systems through a combination of automated and manual analyses. In the second phase, these problems are then enriched and validated through active data collection to derive solutions for support. In addition, I report on the application of this method to uncover user problems with four popular commercial intelligent everyday systems (Facebook, Netflix, Google Maps and Google Assistant). Second, I introduce a conceptual framework for categorising and differentiating prevailing notionsin the field of how users should be supported in understanding intelligent systems related to what users seek to know, how they acquire knowledge, and what kind of knowledge they acquire. The presented framework can be used to make these notions explicit and thus introduces an overarching structure that abstracts from the field’s fractured terminological landscape. It aims at helping other researchers become aware of existing approaches and locate and reflect on their own work. Third, I present a number of case studies and arguments as an exploration of how users can be supported in the face of real-world challenges and trade-offs. My research reflects two possible perspectives to approach this question, a normative and a pragmatic one. As part of a critical reflection on the normative perspective, the work shows that explanations without information can similarly foster user trust in a system compared to real explanations, and discusses how user support can be exploited to deceive users. From the pragmatic perspective emerges a stage-based participatory design process that incorporates different stakeholder needs and a study assessing how support can be interwoven with users’ primary tasks. In summary, this thesis adopts a perspective on interaction with intelligent everyday systems, where understanding is a fundamental process towards reaching a user-set goal. On this basis, I introduce a research agenda for future work that incorporates the presented contributions and also includes challenges beyond the scope of this work, such as considering user empowerment. I hope that this agenda, along with the presented method, framework and design exploration, will help future work to shape interaction with intelligent everyday systems in a way that allows people to use them better, and to better ends and outcomes.Intelligente Systeme haben Einzug in viele Bereiche des täglichen Lebens wie Kommunikation, Informationssuche, Entscheidungsfindung, und Navigation erhalten und stellen damit einen wichtigen Berührungspunkt von Menschen und künstlicher Intelligenz in der Praxis dar. Solche intelligenten Alltagssysteme stehen im Fokus dieser Arbeit. Intelligente Alltagssysteme weisen die Charakteristika von sogenannten komplexen Systemen aus der Kognitionsforschung auf: Sie dienen unscharfen Nutzerzielen, verändern sich dynamisch über die Zeit, und beinhalten eine große Anzahl an miteinander verknüpften Variablen, deren Wechselbeziehungen für Nutzer nicht erkennbar sind. Auf Grund dieser Komplexität können intelligente Alltagssysteme bewährte Richtlinien zur Gestaltung von nutzerfreundlichen Benutzeroberflächen verletzen, beispielsweise Transparenz, Kontrollierbarkeit, und einfache Fehlerbehebung. Dies kann bei der Interaktion zu Unsicherheit führen, die Nutzer auf dem Weg zu einem Ziel überwinden müssen. Ich führe eine Perspektive aus der Kognitionsforschung ein, nach welcher Nutzer dies durch Wissen tun. Die hier präsentierten Arbeiten haben zum Ziel, Nutzern beim Erlangen dieses Wissens zu helfen, oder Nutzerverständnis von intelligenten Alltagssystemen zu unterstützen, beispielsweise durch Erklärung, Kontrolle, Korrektur oder Rückmeldung an das System. Hierzu leisten die vorgestellten Arbeiten hauptsächlich drei Beiträge: Ich präsentiere zunächst eine Methode, um das Nutzerbedürnis nach Unterstützung zu ermitteln und entsprechende Lösungen zu informieren. Die Methode identifiziert dazu praktische Nutzerprobleme mit intelligenten Alltagssystemen im täglichen Gebrauch. In einer ersten Phase werden diese Probleme auf Grund von passiver Datenerhebung unter Verwendung automatisierter und manueller Analysemethoden extrahiert. In der zweiten Phase werden die ermittelten Problemedurch aktive Datenerhebung angereichert und validiert, um Lösungen zur Unterstützung abzuleiten. Daneben berichte ich von der Anwendung dieser Methode, um Nutzerprobleme in vier verbreiteten kommerziellen intelligenten Alltagssystemen (Facebook, Netflix, Google Maps und Google Assistant) aufzudecken. Danach führe ich ein konzeptuelles Framework ein, mit dem im Feld vorherrschende Annahmen, wie Nutzerverständnis von intelligenten Alltagssystemen unterstützt werden sollte, klassifiziert und differenziert werden können. Diese Annahmen beziehen sich darauf, welches Wissen Nutzer erlangen wollen, wie sie dieses Wissen erlangen, und um welche Art von Wissen es sich handelt. Durch das Framework können die jeweiligen Annahmen explizit gemacht werden. Es schafft so eine übergreifende Struktur, die von der Fülle und Diversität der im Feld verwendeten Begrifflichkeiten abstrahiert. Das Framework kann anderen Forschern dabei helfen, sich über bestehende Ansätze bewusst zu werden, und ihre eigene Arbeit zu verorten und zu reflektieren. Zum Dritten bringe ich eine Reihe von Fallbeispielen und Argumenten an, die explorieren, wie Nutzer angesichts von Einschränkungen und Abwägungen in der Praxis unterstützt werden können. Meine Forschung spiegelt dabei zwei mögliche Sichtweisen auf diese Frage wider, eine normative und eine pragmatische. Im Zuge einer kritischen Betrachtung der normativen Sichtweise zeigt diese Arbeit, dass Erklärungen ohne Informationsgehalt in ähnlicher Weise Vertrauen in ein System hervorrufen können wie richtige Erklärungen. In diesem Zusammenhang wird weiterhin diskutiert, wie Unterstützung gezielt zur Täuschung von Nutzern missbraucht werden kann. Aus der pragmatischen Sichtweise geht in dieser Arbeit ein stufenförmiger partizipatorischer Designprozess hervor, der die verschiedenen Interessen in der Praxis Beteiligter berücksichtigt. Zudem wird in einer Studie untersucht, wie Unterstützung von Verständnis mit der Primäraufgabe von Nutzern verknüpft werden kann. Zusammenfassend nimmt diese Arbeit eine Perspektive auf Interaktion mit intelligenten Alltagssystemen ein, die Verstehen als grundlegenden Prozess auf dem Weg zu einem Nutzerziel begreift. Basierend darauf stelle ich eine Forschungsagenda vor, die die präsentierten Publikationen einschließt und zudem Herausforderungen über den Rahmen dieser Arbeit hinaus beinhaltet, wie beispielsweise die Einbeziehung von“Nutzer-Empowerment”. Ich hoffe, dass diese Agenda, die vorgestellte Methode, das Framework und die Erkenntnisse aus der Exploration möglicher Designansätze zukünftiger Forschung hilft, Interaktion mit intelligenten Systemen im Alltag zu gestalten – so, dass Nutzer sie besser und zu besseren Zwecken verwenden können

Supporting users in understanding intelligent everyday systems

Intelligent systems have permeated many areas of daily life like communication, search, decision-making, and navigation, and thus present an important meeting point of people and artificial intelligence in practice. These intelligent everyday systems are in focus of this thesis. Intelligent everyday systems exhibit the characteristics of so-called complex systems as defined in cognitive science: They serve ill-defined user goals, change dynamically over time, and comprise a large number of interrelated variables whose dependencies are not transparent to users. Due to this complexity, intelligent everyday systems can violate established usability guidelines of user interface design like transparency, controllability and easy error correction. This may introduce uncertainty to interaction that users have to overcome in order to reach a goal. I introduce a perspective from cognitive science, where users do so through knowledge. The work presented in this thesis aims at assisting users in gaining this knowledge, or supporting users in understanding intelligent everyday systems, for example, through explanation, control, correction or feedback. To this end, the work included in this thesis makes three main contributions: First, I present a method for eliciting user need for support and informing adequate solutions through practical user problems with intelligent everyday systems in daily interaction. In a first phase, the presented method uses passive data collection to extract user problems with intelligent everyday systems through a combination of automated and manual analyses. In the second phase, these problems are then enriched and validated through active data collection to derive solutions for support. In addition, I report on the application of this method to uncover user problems with four popular commercial intelligent everyday systems (Facebook, Netflix, Google Maps and Google Assistant). Second, I introduce a conceptual framework for categorising and differentiating prevailing notionsin the field of how users should be supported in understanding intelligent systems related to what users seek to know, how they acquire knowledge, and what kind of knowledge they acquire. The presented framework can be used to make these notions explicit and thus introduces an overarching structure that abstracts from the field’s fractured terminological landscape. It aims at helping other researchers become aware of existing approaches and locate and reflect on their own work. Third, I present a number of case studies and arguments as an exploration of how users can be supported in the face of real-world challenges and trade-offs. My research reflects two possible perspectives to approach this question, a normative and a pragmatic one. As part of a critical reflection on the normative perspective, the work shows that explanations without information can similarly foster user trust in a system compared to real explanations, and discusses how user support can be exploited to deceive users. From the pragmatic perspective emerges a stage-based participatory design process that incorporates different stakeholder needs and a study assessing how support can be interwoven with users’ primary tasks. In summary, this thesis adopts a perspective on interaction with intelligent everyday systems, where understanding is a fundamental process towards reaching a user-set goal. On this basis, I introduce a research agenda for future work that incorporates the presented contributions and also includes challenges beyond the scope of this work, such as considering user empowerment. I hope that this agenda, along with the presented method, framework and design exploration, will help future work to shape interaction with intelligent everyday systems in a way that allows people to use them better, and to better ends and outcomes.Intelligente Systeme haben Einzug in viele Bereiche des täglichen Lebens wie Kommunikation, Informationssuche, Entscheidungsfindung, und Navigation erhalten und stellen damit einen wichtigen Berührungspunkt von Menschen und künstlicher Intelligenz in der Praxis dar. Solche intelligenten Alltagssysteme stehen im Fokus dieser Arbeit. Intelligente Alltagssysteme weisen die Charakteristika von sogenannten komplexen Systemen aus der Kognitionsforschung auf: Sie dienen unscharfen Nutzerzielen, verändern sich dynamisch über die Zeit, und beinhalten eine große Anzahl an miteinander verknüpften Variablen, deren Wechselbeziehungen für Nutzer nicht erkennbar sind. Auf Grund dieser Komplexität können intelligente Alltagssysteme bewährte Richtlinien zur Gestaltung von nutzerfreundlichen Benutzeroberflächen verletzen, beispielsweise Transparenz, Kontrollierbarkeit, und einfache Fehlerbehebung. Dies kann bei der Interaktion zu Unsicherheit führen, die Nutzer auf dem Weg zu einem Ziel überwinden müssen. Ich führe eine Perspektive aus der Kognitionsforschung ein, nach welcher Nutzer dies durch Wissen tun. Die hier präsentierten Arbeiten haben zum Ziel, Nutzern beim Erlangen dieses Wissens zu helfen, oder Nutzerverständnis von intelligenten Alltagssystemen zu unterstützen, beispielsweise durch Erklärung, Kontrolle, Korrektur oder Rückmeldung an das System. Hierzu leisten die vorgestellten Arbeiten hauptsächlich drei Beiträge: Ich präsentiere zunächst eine Methode, um das Nutzerbedürnis nach Unterstützung zu ermitteln und entsprechende Lösungen zu informieren. Die Methode identifiziert dazu praktische Nutzerprobleme mit intelligenten Alltagssystemen im täglichen Gebrauch. In einer ersten Phase werden diese Probleme auf Grund von passiver Datenerhebung unter Verwendung automatisierter und manueller Analysemethoden extrahiert. In der zweiten Phase werden die ermittelten Problemedurch aktive Datenerhebung angereichert und validiert, um Lösungen zur Unterstützung abzuleiten. Daneben berichte ich von der Anwendung dieser Methode, um Nutzerprobleme in vier verbreiteten kommerziellen intelligenten Alltagssystemen (Facebook, Netflix, Google Maps und Google Assistant) aufzudecken. Danach führe ich ein konzeptuelles Framework ein, mit dem im Feld vorherrschende Annahmen, wie Nutzerverständnis von intelligenten Alltagssystemen unterstützt werden sollte, klassifiziert und differenziert werden können. Diese Annahmen beziehen sich darauf, welches Wissen Nutzer erlangen wollen, wie sie dieses Wissen erlangen, und um welche Art von Wissen es sich handelt. Durch das Framework können die jeweiligen Annahmen explizit gemacht werden. Es schafft so eine übergreifende Struktur, die von der Fülle und Diversität der im Feld verwendeten Begrifflichkeiten abstrahiert. Das Framework kann anderen Forschern dabei helfen, sich über bestehende Ansätze bewusst zu werden, und ihre eigene Arbeit zu verorten und zu reflektieren. Zum Dritten bringe ich eine Reihe von Fallbeispielen und Argumenten an, die explorieren, wie Nutzer angesichts von Einschränkungen und Abwägungen in der Praxis unterstützt werden können. Meine Forschung spiegelt dabei zwei mögliche Sichtweisen auf diese Frage wider, eine normative und eine pragmatische. Im Zuge einer kritischen Betrachtung der normativen Sichtweise zeigt diese Arbeit, dass Erklärungen ohne Informationsgehalt in ähnlicher Weise Vertrauen in ein System hervorrufen können wie richtige Erklärungen. In diesem Zusammenhang wird weiterhin diskutiert, wie Unterstützung gezielt zur Täuschung von Nutzern missbraucht werden kann. Aus der pragmatischen Sichtweise geht in dieser Arbeit ein stufenförmiger partizipatorischer Designprozess hervor, der die verschiedenen Interessen in der Praxis Beteiligter berücksichtigt. Zudem wird in einer Studie untersucht, wie Unterstützung von Verständnis mit der Primäraufgabe von Nutzern verknüpft werden kann. Zusammenfassend nimmt diese Arbeit eine Perspektive auf Interaktion mit intelligenten Alltagssystemen ein, die Verstehen als grundlegenden Prozess auf dem Weg zu einem Nutzerziel begreift. Basierend darauf stelle ich eine Forschungsagenda vor, die die präsentierten Publikationen einschließt und zudem Herausforderungen über den Rahmen dieser Arbeit hinaus beinhaltet, wie beispielsweise die Einbeziehung von“Nutzer-Empowerment”. Ich hoffe, dass diese Agenda, die vorgestellte Methode, das Framework und die Erkenntnisse aus der Exploration möglicher Designansätze zukünftiger Forschung hilft, Interaktion mit intelligenten Systemen im Alltag zu gestalten – so, dass Nutzer sie besser und zu besseren Zwecken verwenden können

EyeSpot: leveraging gaze to protect private text content on mobile devices from shoulder surfing

As mobile devices allow access to an increasing amount of private data, using them in public can potentially leak sensitive information through shoulder surfing. This includes personal private data (e.g., in chat conversations) and business-related content (e.g., in emails). Leaking the former might infringe on users’ privacy, while leaking the latter is considered a breach of the EU’s General Data Protection Regulation as of May 2018. This creates a need for systems that protect sensitive data in public. We introduce EyeSpot, a technique that displays content through a spot that follows the user’s gaze while hiding the rest of the screen from an observer’s view through overlaid masks. We explore different configurations for EyeSpot in a user study in terms of users’ reading speed, text comprehension, and perceived workload. While our system is a proof of concept, we identify crystallized masks as a promising design candidate for further evaluation with regard to the security of the system in a shoulder surfing scenario

Understanding Shoulder Surfing in the Wild: Stories from Users and Observers

Research has brought forth a variety of authentication systems to mitigate observation attacks. However, there is little work about shoulder surfing situations in the real world. We present the results of a user survey (N=174) in which we investigate actual stories about shoulder surfing on mobile devices from both users and observers. Our analysis indicates that shoulder surfing mainly occurs in an opportunistic, non-malicious way. It usually does not have serious consequences, but evokes negative feelings for both parties, resulting in a variety of coping strategies. Observed data was personal in most cases and ranged from information about interests and hobbies to login data and intimate details about third persons and relationships. Thus, our work contributes evidence for shoulder surfing in the real world and informs implications for the design of privacy protection mechanisms