Designing for empowerment

Technology bears the potential to empower people - to help them tackle challenges they would otherwise give up on or not even try, to make experiences possible they did not have access to before. One type of such technologies - the application area of this thesis - is health and wellbeing technology (HWT), such as digital health records, physical activity trackers, or digital fitness coach applications. HWTs often claim to empower people to live healthier and happier lives. However, there is reason to challenge and critically reflect on these claims and underlying assumptions as more and more researchers are finding that technologies aiming or claiming to be empowering often turn out to be disempowering. This critical reflection is the starting point of this thesis: Can HWTs really empower people in their everyday lives? If so, how should we go about designing them to foster empowerment and avoid disempowerment? To this aim, this thesis makes three main contributions: First, it presents a framework of empowering technologies that aims to introduce conceptual and terminological clarity of empowerment in the field of Human-Computer Interaction (HCI). As a literature review conducted for this thesis reveals, the understandings of empowerment in HCI diverge substantially, rendering the term a subsumption of diverse research endeavors. The presented framework is informed by the results of the literature review as well as prior work on empowerment in social sciences, psychology, and philosophy. It aims to help other researchers to analyze conceptual differences between their own work and others’ and to position their research projects. In the same way, this thesis uses the proposed framework to analyze and reflect on the conducted case studies. Second, this thesis explores how HWT can empower people in a number of studies. Technologies that are investigated in these studies are divided into three interaction paradigms (derived from Beaudouin-Lafon’s interaction paradigms): Technologies that follow the computer-as-tool paradigm include patient-controlled electronic health records, and physical activity trackers; technologies in the computer-as-partner paradigm include personalized digital fitness coaches; and technologies in the computer-as-intelligent-tool paradigm includes transparently designed digital coaching technology. For each of these paradigms, I discuss benefits and shortcomings, as well as recommendations for future work. Third, I explore methods for designing and evaluating empowering technology. Therefore, I analyze and discuss methods that have been used in the different case studies to inform the design of empowering technologies such as interviews, observations, personality tests, experience sampling, or the Theory of Planned Behavior. Further, I present the design and evaluation of two tools that aimed to help researchers and designers evaluate empowering technologies by eliciting rich, contextualized feedback from users and fostering an empathic relationship between users and designers. I hope that my framework, design explorations, and evaluation tools will serve research on empowering technologies in HCI to develop a more grounded understanding, a clear research agenda, and inspire the development of a new class of empowering HWTs.Technologie für Empowerment — im Deutschen am besten mit Befähigung oder Ermächtigung übersetzt: diese Vision ist sowohl in medizinischen und technischen Fachkreisen als auch in der wissenschaftlichen Literatur im Feld Mensch-Maschine Interaktion (MMI) weit verbreitet. Technologie kann — laut dieser Vision — Menschen helfen Herausforderungen zu meistern, die sie sonst nicht schaffen oder nicht mal versuchen würden, oder Ihnen komplett neue Erfahrungen ermöglichen. Eine Art von “empowernden”, also befähigenden Technologien sind Technologien für Gesundheit und Wohlbefinden (health and wellbeing technologies, HWT), wie beispielsweise digitale Krankenakten, Schrittzähler, oder digitale Fitnesstrainer. Sowohl Werbung als auch Forschung über HWTs preist diese häufig als Schlüssel zu einem gesünderen und glücklicheren Leben an. Es gibt aber durchaus Gründe diesen Behauptungen kritisch gegenüberzustehen. So haben bereits einige Forschungsprojekte über vermeintlich “empowernde” Technologien ergeben, dass diese eher entmächtigen — also Ihre Nutzer mehr einschränken als Ihnen mehr Möglichkeiten zu verschaffen. Eine kritische Reflexion der Annahme, dass HWTs ihre Nutzer empowern stellt den Ausgangspunkt dieser Dissertation dar: Können HWTs ihre Nutzer wirklich empowern? Falls dem so ist, wie sollten sie am besten gestaltet werden? Der Beitrag meiner Dissertation zur Beantwortung dieser Fragen wird in drei Teilen präsentiert: Im ersten Teil stelle ich ein konzeptuelles Framework vor, mit dem Ziel terminologische Klarheit im Bereich Empowerment in MMI zu fördern. Eine Literaturanalyse im Rahmen dieser Dissertation hat ergeben, dass die Verwendungen des Begriffs “Empowerment” in der MMI Literatur sehr stark voneinander abweichen. Beispielsweise wird der Begriff in Literatur über Technologien für Barrierefreiheit anders verstanden als in Literatur über Technologien für bürgerliches Engagement. Folglich schert das Schlagwort “Technologien für Empowermen”, das in Präsentationen und Denkschriften weit verbreitet ist, komplett unterschiedliche Ansätze über einen Kamm. Das Framework, das in dieser Dissertation vorgestellt wird, zeigt die Unterschiede und Gemeinsamkeiten bei der Verwendung des Empowermentbegriffs auf. Es entstand als Resultat der Literaturanalyse und integriert gleichzeitig Erkenntnisse von Empowermenttheorien die in Sozialwissenschaften, Psychologie und Philosophie diskutiert wurden. In dieser Dissertation wird das vorgestellte Framework verwendet, um die präsentierten Studien über HWTs einzuordnen und zu diskutieren. Im zweiten Teil präsentiere ich verschiedene empirische und technische Studien mit dem Ziel zu verstehen wie HWTs Menschen empowern können. Die Technologien, die dabei untersucht werden teile ich in drei Interaktionsparadigmen ein (die von den Interaktionsparadigmen von Beaudouin-Lafon abgeleitet sind): Technologien im Paradigma Computerals- Werkzeug sind beispielsweise digitale Krankenakten und Schrittzähler; Technologien im Paradigma Computer-als-Partner sind beispielsweise digitale personalisierte Fitnesstrainer und Technologien im Paradigma Computer-als-intelligentes-Werkzeug sind beispielsweise transparent gestaltete digitale personalisierte Gesundheitsberater oder Fitnesstrainer. Vorund Nachteile von Technologien in diesen drei Paradigmen werden diskutiert und Empfehlungen für zukünftige Forschung in diesen Bereichen abgeleitet. Im dritten Teil, untersuche ich, welche Methoden für die Gestaltung und Evaluierung von empowernden Technologien geeignet sind. Einerseits diskutiere ich die Vor- und Nachteile der Methoden, die in den einzelnen Untersuchungen von HWTs (im zweiten Teil) verwendet wurden, wie zum Beispiel Interviews, Observationen, die Experience Sampling Methode oder Fragebögen basierend auf der Theorie des geplanten Verhaltens. Andererseits berichte ich über die Gestaltung und Entwicklung von zwei Applikationen mit dem Ziel Forschern und Designern die Evaluation von empowernden Technologien zu erleichtern. Konkret hat die erste Applikation das Ziel es Testnutzern zu ermöglichen immer und überall für sie wichtige Aspekte des Nutzererlebnisses an das Entwicklungsteam weiterzugeben. Bei der Entwicklung der zweiten Applikation stand dagegen die Förderung von Empathie zwischen Nutzern und Designern im Vordergrund. Ich hoffe, dass das vorgestellte Framework, die Studien über HWTs und Evaluationswerkezeuge die Forschung über empowernde Technologien voranbringen, zu einer klaren Forschungsagenda beitragen, und die Entwicklung von neuartigen HWTs anregen werden

What is the Minimum to Trust AI?—A Requirement Analysis for (Generative) AI-based Texts

The generative Artificial Intelligence (genAI) innovation enables new potentials for end-users, affecting youth and the inexperienced. Nevertheless, as an innovative technology, genAI risks generating misinformation that is not recognizable as such. The extraordinary AI outputs can result in increased trustworthiness. An end-user assessment system is necessary to expose the unfounded reliance on erroneous responses. This paper identifies requirements for an assessment system to prevent end-users from overestimating trust in generated texts. Thus we conducted requirements engineering based on a literature review and two international surveys. The results confirmed the requirements which enable human protection, human support, and content veracity in dealing with genAI. Overestimated trust is rooted in miscalibration; clarity about genAI and its provider is essential to solving this phenomenon, and there is a demand for human verifications. Consequently, our findings provide evidence for the significance of future IS research on human-centered genAI trust solutions

Semi-Automation in Video Editing

Semi-automasjon i video redigering Hvordan kan vi bruke kunstig intelligens (KI) og maskin læring til å gjøre videoredigering like enkelt som å redigere tekst? I denne avhandlingen vil jeg adressere problemet med å bruke KI i videoredigering fra et Menneskelig-KI interaksjons perspektiv, med fokus på å bruke KI til å støtte brukerne. Video er et audiovisuelt medium. Redigere videoer krever synkronisering av både det visuelle og det auditive med presise operasjoner helt ned på millisekund nivå. Å gjøre dette like enkelt som å redigere tekst er kanskje ikke mulig i dag. Men hvordan skal vi da støtte brukerne med KI og hva er utfordringene med å gjøre det? Det er fem hovedspørsmål som har drevet forskningen i denne avhandlingen. Hva er dagens "state-of-the-art" i KI støttet videoredigering? Hva er behovene og forventningene av fagfolkene om KI? Hva er påvirkningen KI har på effektiviteten og nøyaktigheten når det blir brukt på teksting? Hva er endringene i brukeropplevelsen når det blir brukt KI støttet teksting? Hvordan kan flere KI metoder bli brukt for å støtte beskjærings- og panoreringsoppgaver? Den første artikkelen av denne avhandlingen ga en syntese og kritisk gjennomgang av eksisterende arbeid med KI-baserte verktøy for videoredigering. Artikkelen ga også noen svar på hvordan og hva KI kan bli brukt til for å støtte brukere ved en undersøkelse utført av 14 fagfolk. Den andre studien presenterte en prototype av KI-støttet videoredigerings verktøy bygget på et eksisterende videoproduksjons program. I tillegg kom det en evaluasjon av både ytelse og brukeropplevelse på en KI-støttet teksting fra 24 nybegynnere. Den tredje studien beskrev et idiom-basert verktøy for å konvertere bredskjermsvideoer lagd for TV til smalere størrelsesforhold for mobil og sosiale medieplattformer. Den tredje studien utforsker også nye metoder for å utøve beskjæring og panorering ved å bruke fem forskjellige KI-modeller. Det ble også presentert en evaluering fra fem brukere. I denne avhandlingen brukte vi en brukeropplevelse og oppgave basert framgangsmåte, for å adressere det semi-automatiske i videoredigering.How can we use artificial intelligence (AI) and machine learning (ML) to make video editing as easy as "editing text''? In this thesis, this problem of using AI to support video editing is explored from the human--AI interaction perspective, with the emphasis on using AI to support users. Video is a dual-track medium with audio and visual tracks. Editing videos requires synchronization of these two tracks and precise operations at milliseconds. Making it as easy as editing text might not be currently possible. Then how should we support the users with AI, and what are the current challenges in doing so? There are five key questions that drove the research in this thesis. What is the start of the art in using AI to support video editing? What are the needs and expectations of video professionals from AI? What are the impacts on efficiency and accuracy of subtitles when AI is used to support subtitling? What are the changes in user experience brought on by AI-assisted subtitling? How can multiple AI methods be used to support cropping and panning task? In this thesis, we employed a user experience focused and task-based approach to address the semi-automation in video editing. The first paper of this thesis provided a synthesis and critical review of the existing work on AI-based tools for videos editing and provided some answers to how should and what more AI can be used in supporting users by a survey of 14 video professional. The second paper presented a prototype of AI-assisted subtitling built on a production grade video editing software. It is the first comparative evaluation of both performance and user experience of AI-assisted subtitling with 24 novice users. The third work described an idiom-based tool for converting wide screen videos made for television to narrower aspect ratios for mobile social media platforms. It explores a new method to perform cropping and panning using five AI models, and an evaluation with 5 users and a review with a professional video editor were presented.Doktorgradsavhandlin