Beyond the ranked list: User-driven exploration and diversification of social recommendation

The beyond-relevance objectives of recommender systems have been drawing more and more attention. For example, a diversity-enhanced interface has been shown to associate positively with overall levels of user satisfaction. However, little is known about how users adopt diversity-enhanced interfaces to accomplish various real-world tasks. In this paper, we present two attempts at creating a visual diversity-enhanced interface that presents recommendations beyond a simple ranked list. Our goal was to design a recommender system interface to help users explore the different relevance prospects of recommended items in parallel and to stress their diversity. Two within-subject user studies in the context of social recommendation at academic conferences were conducted to compare our visual interfaces. Results from our user study show that the visual interfaces significantly reduced the exploration efforts required for given tasks and helped users to perceive the recommendation diversity. We show that the users examined a diverse set of recommended items while experiencing an improvement in overall user satisfaction. Also, the users' subjective evaluations show significant improvement in many user-centric metrics. Experiences are discussed that shed light on avenues for future interface designs

Computational Adaptation of XR Interfaces Through Interaction Simulation

Adaptive and intelligent user interfaces have been proposed as a critical component of a successful extended reality (XR) system. In particular, a predictive system can make inferences about a user and provide them with task-relevant recommendations or adaptations. However, we believe such adaptive interfaces should carefully consider the overall \emph{cost} of interactions to better address uncertainty of predictions. In this position paper, we discuss a computational approach to adapt XR interfaces, with the goal of improving user experience and performance. Our novel model, applied to menu selection tasks, simulates user interactions by considering both cognitive and motor costs. In contrast to greedy algorithms that adapt based on predictions alone, our model holistically accounts for costs and benefits of adaptations towards adapting the interface and providing optimal recommendations to the user.Comment: 5 pages, 1 figure, 1 table. CHI 2022 Workshop on Computational Approaches for Understanding, Generating, and Adapting User Interface

Gesture-aware Interactive Machine Teaching with In-situ Object Annotations

Interactive Machine Teaching (IMT) systems allow non-experts to easily create Machine Learning (ML) models. However, existing vision-based IMT systems either ignore annotations on the objects of interest or require users to annotate in a post-hoc manner. Without the annotations on objects, the model may misinterpret the objects using unrelated features. Post-hoc annotations cause additional workload, which diminishes the usability of the overall model building process. In this paper, we develop LookHere, which integrates in-situ object annotations into vision-based IMT. LookHere exploits users' deictic gestures to segment the objects of interest in real time. This segmentation information can be additionally used for training. To achieve the reliable performance of this object segmentation, we utilize our custom dataset called HuTics, including 2040 front-facing images of deictic gestures toward various objects by 170 people. The quantitative results of our user study showed that participants were 16.3 times faster in creating a model with our system compared to a standard IMT system with a post-hoc annotation process while demonstrating comparable accuracies. Additionally, models created by our system showed a significant accuracy improvement ($\Delta mIoU=0.466$) in segmenting the objects of interest compared to those without annotations.Comment: UIST 202

How Knowledge Workers Think Generative AI Will (Not) Transform Their Industries

Generative AI is expected to have transformative effects in multiple knowledge industries. To better understand how knowledge workers expect generative AI may affect their industries in the future, we conducted participatory research workshops for seven different industries, with a total of 54 participants across three US cities. We describe participants' expectations of generative AI's impact, including a dominant narrative that cut across the groups' discourse: participants largely envision generative AI as a tool to perform menial work, under human review. Participants do not generally anticipate the disruptive changes to knowledge industries currently projected in common media and academic narratives. Participants do however envision generative AI may amplify four social forces currently shaping their industries: deskilling, dehumanization, disconnection, and disinformation. We describe these forces, and then we provide additional detail regarding attitudes in specific knowledge industries. We conclude with a discussion of implications and research challenges for the HCI community.Comment: 40 pages, 5 tables, 6 figure

Listening to the Voices: Describing Ethical Caveats of Conversational User Interfaces According to Experts and Frequent Users

Advances in natural language processing and understanding have led to a rapid growth in the popularity of conversational user interfaces (CUIs). While CUIs introduce novel benefits, they also yield risks that may exploit people's trust. Although research looking at unethical design deployed through graphical user interfaces (GUIs) established a thorough understanding of so-called dark patterns, there is a need to continue this discourse within the CUI community to understand potentially problematic interactions. Addressing this gap, we interviewed 27 participants from three cohorts: researchers, practitioners, and frequent users of CUIs. Applying thematic analysis, we construct five themes reflecting each cohort's insights about ethical design challenges and introduce the CUI Expectation Cycle, bridging system capabilities and user expectations while considering each theme's ethical caveats. This research aims to inform future development of CUIs to consider ethical constraints while adopting a human-centred approach.Comment: 18 pages; 4 tables; and 1 figure. This is the author's version and pre-print of the work. It is posted here for your personal use. Not for redistribution. The definitive Version of Record will be published in Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI '24), May 11--16, 2024, Honolulu, HI, USA, https://doi.org/https://doi.org/10.1145/3613904.364254

Designing for empowerment

Technology bears the potential to empower people - to help them tackle challenges they would otherwise give up on or not even try, to make experiences possible they did not have access to before. One type of such technologies - the application area of this thesis - is health and wellbeing technology (HWT), such as digital health records, physical activity trackers, or digital fitness coach applications. HWTs often claim to empower people to live healthier and happier lives. However, there is reason to challenge and critically reflect on these claims and underlying assumptions as more and more researchers are finding that technologies aiming or claiming to be empowering often turn out to be disempowering. This critical reflection is the starting point of this thesis: Can HWTs really empower people in their everyday lives? If so, how should we go about designing them to foster empowerment and avoid disempowerment? To this aim, this thesis makes three main contributions: First, it presents a framework of empowering technologies that aims to introduce conceptual and terminological clarity of empowerment in the field of Human-Computer Interaction (HCI). As a literature review conducted for this thesis reveals, the understandings of empowerment in HCI diverge substantially, rendering the term a subsumption of diverse research endeavors. The presented framework is informed by the results of the literature review as well as prior work on empowerment in social sciences, psychology, and philosophy. It aims to help other researchers to analyze conceptual differences between their own work and others’ and to position their research projects. In the same way, this thesis uses the proposed framework to analyze and reflect on the conducted case studies. Second, this thesis explores how HWT can empower people in a number of studies. Technologies that are investigated in these studies are divided into three interaction paradigms (derived from Beaudouin-Lafon’s interaction paradigms): Technologies that follow the computer-as-tool paradigm include patient-controlled electronic health records, and physical activity trackers; technologies in the computer-as-partner paradigm include personalized digital fitness coaches; and technologies in the computer-as-intelligent-tool paradigm includes transparently designed digital coaching technology. For each of these paradigms, I discuss benefits and shortcomings, as well as recommendations for future work. Third, I explore methods for designing and evaluating empowering technology. Therefore, I analyze and discuss methods that have been used in the different case studies to inform the design of empowering technologies such as interviews, observations, personality tests, experience sampling, or the Theory of Planned Behavior. Further, I present the design and evaluation of two tools that aimed to help researchers and designers evaluate empowering technologies by eliciting rich, contextualized feedback from users and fostering an empathic relationship between users and designers. I hope that my framework, design explorations, and evaluation tools will serve research on empowering technologies in HCI to develop a more grounded understanding, a clear research agenda, and inspire the development of a new class of empowering HWTs.Technologie für Empowerment — im Deutschen am besten mit Befähigung oder Ermächtigung übersetzt: diese Vision ist sowohl in medizinischen und technischen Fachkreisen als auch in der wissenschaftlichen Literatur im Feld Mensch-Maschine Interaktion (MMI) weit verbreitet. Technologie kann — laut dieser Vision — Menschen helfen Herausforderungen zu meistern, die sie sonst nicht schaffen oder nicht mal versuchen würden, oder Ihnen komplett neue Erfahrungen ermöglichen. Eine Art von “empowernden”, also befähigenden Technologien sind Technologien für Gesundheit und Wohlbefinden (health and wellbeing technologies, HWT), wie beispielsweise digitale Krankenakten, Schrittzähler, oder digitale Fitnesstrainer. Sowohl Werbung als auch Forschung über HWTs preist diese häufig als Schlüssel zu einem gesünderen und glücklicheren Leben an. Es gibt aber durchaus Gründe diesen Behauptungen kritisch gegenüberzustehen. So haben bereits einige Forschungsprojekte über vermeintlich “empowernde” Technologien ergeben, dass diese eher entmächtigen — also Ihre Nutzer mehr einschränken als Ihnen mehr Möglichkeiten zu verschaffen. Eine kritische Reflexion der Annahme, dass HWTs ihre Nutzer empowern stellt den Ausgangspunkt dieser Dissertation dar: Können HWTs ihre Nutzer wirklich empowern? Falls dem so ist, wie sollten sie am besten gestaltet werden? Der Beitrag meiner Dissertation zur Beantwortung dieser Fragen wird in drei Teilen präsentiert: Im ersten Teil stelle ich ein konzeptuelles Framework vor, mit dem Ziel terminologische Klarheit im Bereich Empowerment in MMI zu fördern. Eine Literaturanalyse im Rahmen dieser Dissertation hat ergeben, dass die Verwendungen des Begriffs “Empowerment” in der MMI Literatur sehr stark voneinander abweichen. Beispielsweise wird der Begriff in Literatur über Technologien für Barrierefreiheit anders verstanden als in Literatur über Technologien für bürgerliches Engagement. Folglich schert das Schlagwort “Technologien für Empowermen”, das in Präsentationen und Denkschriften weit verbreitet ist, komplett unterschiedliche Ansätze über einen Kamm. Das Framework, das in dieser Dissertation vorgestellt wird, zeigt die Unterschiede und Gemeinsamkeiten bei der Verwendung des Empowermentbegriffs auf. Es entstand als Resultat der Literaturanalyse und integriert gleichzeitig Erkenntnisse von Empowermenttheorien die in Sozialwissenschaften, Psychologie und Philosophie diskutiert wurden. In dieser Dissertation wird das vorgestellte Framework verwendet, um die präsentierten Studien über HWTs einzuordnen und zu diskutieren. Im zweiten Teil präsentiere ich verschiedene empirische und technische Studien mit dem Ziel zu verstehen wie HWTs Menschen empowern können. Die Technologien, die dabei untersucht werden teile ich in drei Interaktionsparadigmen ein (die von den Interaktionsparadigmen von Beaudouin-Lafon abgeleitet sind): Technologien im Paradigma Computerals- Werkzeug sind beispielsweise digitale Krankenakten und Schrittzähler; Technologien im Paradigma Computer-als-Partner sind beispielsweise digitale personalisierte Fitnesstrainer und Technologien im Paradigma Computer-als-intelligentes-Werkzeug sind beispielsweise transparent gestaltete digitale personalisierte Gesundheitsberater oder Fitnesstrainer. Vorund Nachteile von Technologien in diesen drei Paradigmen werden diskutiert und Empfehlungen für zukünftige Forschung in diesen Bereichen abgeleitet. Im dritten Teil, untersuche ich, welche Methoden für die Gestaltung und Evaluierung von empowernden Technologien geeignet sind. Einerseits diskutiere ich die Vor- und Nachteile der Methoden, die in den einzelnen Untersuchungen von HWTs (im zweiten Teil) verwendet wurden, wie zum Beispiel Interviews, Observationen, die Experience Sampling Methode oder Fragebögen basierend auf der Theorie des geplanten Verhaltens. Andererseits berichte ich über die Gestaltung und Entwicklung von zwei Applikationen mit dem Ziel Forschern und Designern die Evaluation von empowernden Technologien zu erleichtern. Konkret hat die erste Applikation das Ziel es Testnutzern zu ermöglichen immer und überall für sie wichtige Aspekte des Nutzererlebnisses an das Entwicklungsteam weiterzugeben. Bei der Entwicklung der zweiten Applikation stand dagegen die Förderung von Empathie zwischen Nutzern und Designern im Vordergrund. Ich hoffe, dass das vorgestellte Framework, die Studien über HWTs und Evaluationswerkezeuge die Forschung über empowernde Technologien voranbringen, zu einer klaren Forschungsagenda beitragen, und die Entwicklung von neuartigen HWTs anregen werden

Scones: Towards Conversational Authoring of Sketches

Iteratively refining and critiquing sketches are crucial steps to developing effective designs. We introduce Scones, a mixed-initiative, machine-learning-driven system that enables users to iteratively author sketches from text instructions. Scones is a novel deep-learning-based system that iteratively generates scenes of sketched objects composed with semantic specifications from natural language. Scones exceeds state-of-the-art performance on a text-based scene modification task, and introduces a mask-conditioned sketching model that can generate sketches with poses specified by high-level scene information. In an exploratory user evaluation of Scones, participants reported enjoying an iterative drawing task with Scones, and suggested additional features for further applications. We believe Scones is an early step towards automated, intelligent systems that support human-in-the-loop applications for communicating ideas through sketching in art and design.Comment: Long Paper, IUI '20: Proceedings of the 25th International Conference on Intelligent User Interface

Virtual reality interfaces for seamless interaction with the physical reality

In recent years head-mounted displays (HMDs) for virtual reality (VR) have made the transition from research to consumer product, and are increasingly used for productive purposes such as 3D modeling in the automotive industry and teleconferencing. VR allows users to create and experience real-world like models of products; and enables users to have an immersive social interaction with distant colleagues. These solutions are a promising alternative to physical prototypes and meetings, as they require less investment in time and material. VR uses our visual dominance to deliver these experiences, making users believe that they are in another reality. However, while their mind is present in VR their body is in the physical reality. From the user’s perspective, this brings considerable uncertainty to the interaction. Currently, they are forced to take off their HMD in order to, for example, see who is observing them and to understand whether their physical integrity is at risk. This disrupts their interaction in VR, leading to a loss of presence – a main quality measure for the success of VR experiences. In this thesis, I address this uncertainty by developing interfaces that enable users to stay in VR while supporting their awareness of the physical reality. They maintain this awareness without having to take off the headset – which I refer to as seamless interaction with the physical reality. The overarching research vision that guides this thesis is, therefore, to reduce this disconnect between the virtual and physical reality. My research is motivated by a preliminary exploration of user uncertainty towards using VR in co-located, public places. This exploration revealed three main foci: (a) security and privacy, (b) communication with physical collaborators, and (c) managing presence in both the physical and virtual reality. Each theme represents a section in my dissertation, in which I identify central challenges and give directions towards overcoming them as have emerged from the work presented here. First, I investigate security and privacy in co-located situations by revealing to what extent bystanders are able to observe general tasks. In this context, I explicitly investigate the security considerations of authentication mechanisms. I review how existing authentication mechanisms can be transferred to VR and present novel approaches that are more usable and secure than existing solutions from prior work. Second, to support communication between VR users and physical collaborators, I add to the field design implications for VR interactions that enable observers to choose opportune moments to interrupt HMD users. Moreover, I contribute methods for displaying interruptions in VR and discuss their effect on presence and performance. I also found that different virtual presentations of co-located collaborators have an effect on social presence, performance and trust. Third, I close my thesis by investigating methods to manage presence in both the physical and virtual realities. I propose systems and interfaces for transitioning between them that empower users to decide how much they want to be aware of the other reality. Finally, I discuss the opportunity to systematically allocate senses to these two realities: the visual one for VR and the auditory and haptic one for the physical reality. Moreover, I provide specific design guidelines on how to use these findings to alert VR users about physical borders and obstacles.In den letzten Jahren haben Head-Mounted-Displays (HMDs) für virtuelle Realität (VR) den Übergang von der Forschung zum Konsumprodukt vollzogen und werden zunehmend für produktive Zwecke, wie 3D-Modellierung in der Automobilindustrie oder Telekonferenzen, eingesetzt. VR ermöglicht es den Benutzern, schnell und kostengünstig, Prototypen zu erstellen und erlaubt eine immersive soziale Interaktion mit entfernten Kollegen. VR nutzt unsere visuelle Dominanz, um diese Erfahrungen zu vermitteln und gibt Benutzern das Gefühl sich in einer anderen Realität zu befinden. Während der Nutzer jedoch in der virtuellen Realität mental präsent ist, befindet sich der Körper weiterhin in der physischen Realität. Aus der Perspektive des Benutzers bringt dies erhebliche Unsicherheit in die Nutzung von HMDs. Aktuell sind Nutzer gezwungen, ihr HMD abzunehmen, um zu sehen, wer sie beobachtet und zu verstehen, ob ihr körperliches Wohlbefinden gefährdet ist. Dadurch wird ihre Interaktion in der VR gestört, was zu einem Verlust der Präsenz führt - ein Hauptqualitätsmaß für den Erfolg von VR-Erfahrungen. In dieser Arbeit befasse ich mich mit dieser Unsicherheit, indem ich Schnittstellen entwickle, die es den Nutzern ermöglichen, in VR zu bleiben und gleichzeitig unterstützen sie die Wahrnehmung für die physische Realität. Sie behalten diese Wahrnehmung für die physische Realität bei, ohne das Headset abnehmen zu müssen - was ich als nahtlose Interaktion mit der physischen Realität bezeichne. Daher ist eine übergeordenete Vision von meiner Forschung diese Trennung von virtueller und physicher Realität zu reduzieren. Meine Forschung basiert auf einer einleitenden Untersuchung, die sich mit der Unsicherheit der Nutzer gegenüber der Verwendung von VR an öffentlichen, geteilten Orten befasst. Im Kontext meiner Arbeit werden Räume oder Flächen, die mit anderen ortsgleichen Menschen geteilt werden, als geteilte Orte bezeichnet. Diese Untersuchung ergab drei Hauptschwerpunkte: (1) Sicherheit und Privatsphäre, (2) Kommunikation mit physischen Kollaborateuren, und (3) Umgang mit der Präsenz, sowohl in der physischen als auch in der virtuellen Realität. Jedes Thema stellt einen Fokus in meiner Dissertation dar, in dem ich zentrale Herausforderungen identifiziere und Lösungsansätze vorstelle. Erstens, untersuche ich Sicherheit und Privatsphäre an öffentlichen, geteilten Orten, indem ich aufdecke, inwieweit Umstehende in der Lage sind, allgemeine Aufgaben zu beobachten. In diesem Zusammenhang untersuche ich explizit die Gestaltung von Authentifizierungsmechanismen. Ich untersuche, wie bestehende Authentifizierungsmechanismen auf VR übertragen werden können, und stelle neue Ansätze vor, die nutzbar und sicher sind. Zweitens, um die Kommunikation zwischen HMD-Nutzern und Umstehenden zu unterstützen, erweitere ich das Forschungsfeld um VR-Interaktionen, die es Beobachtern ermöglichen, günstige Momente für die Unterbrechung von HMD-Nutzern zu wählen. Darüber hinaus steuere ich Methoden zur Darstellung von Unterbrechungen in VR bei und diskutiere ihre Auswirkungen auf Präsenz und Leistung von Nutzern. Meine Arbeit brachte auch hervor, dass verschiedene virtuelle Präsentationen von ortsgleichen Kollaborateuren einen Effekt auf die soziale Präsenz, Leistung und Vertrauen haben. Drittens, schließe ich meine Dissertation mit der Untersuchung von Methoden zur Verwaltung der Präsenz, sowohl in der physischen als auch in der virtuellen Realität ab. Ich schlage Systeme und Schnittstellen für den Übergang zwischen den Realitäten vor, die die Benutzer in die Lage versetzen zu entscheiden, inwieweit sie sich der anderen Realität bewusst sein wollen. Schließlich diskutiere ich die Möglichkeit, diesen beiden Realitäten systematisch Sinne zuzuordnen: die visuelle für VR und die auditive und haptische für die physische Realität. Darüber hinaus stelle ich spezifische Design-Richtlinien zur Verfügung, wie diese Erkenntnisse genutzt werden können, um VR-Anwender auf physische Grenzen und Hindernisse aufmerksam zu machen