Diving in at the deep end : the value of alternative in-situ approaches for systematic library search

OPAC interfaces, still the dominant access point to library catalogs, support systematic search but are problematic for open-ended exploration and generally unpopular with visitors. As a result, libraries start subscribing to simplified search paradigms as exemplified by web-search systems. This is a problem considering that systematic search is a crucial skill in the light of today’s abundance of digital information. Inspired by novel approaches to facilitating search, we designed CollectionDiver, an installation for supporting systematic search in public libraries. The CollectionDiver combines tangible and large display direct-touch interaction with a visual representation of search criteria and filters. We conducted an in-situ qualitative study to compare participants’ search approaches on the CollectionDiver with those on the OPAC interface. Our findings show that while both systems support a similar search process, the CollectionDiver (1) makes systematic search more accessible, (2) motivates proactive search approaches by (3) adding transparency to the search process, and (4) facilitates shared search experiences. We discuss the CollectionDiver’s design concepts to stimulate new ideas toward supporting engaging approaches to systematic search in the library context and beyond.Postprin

Elements of design for indoor visualisation

Indoor visualisation has received little attention. Research related to indoor environments have primarily focussed on the data structuring, localisation and navigation components (Zlatanova et al., 2013). Visualisation is an integral component in addressing the diverse array of indoor environments. In simple words, 'What is the most efficient way to visualise the surrounding indoor environment so that the user can concisely understand their surroundings as well as facilitating the process of navigation?' This dissertation proposes a holistic approach that consists of two components. The significance of this approach is that it provides a robust and adaptable method in providing a standard to which indoor visualisation can be referenced against. The first component is a theoretical framework focussing on indoor visualisation and it comprises of principles from several disciplines such as geovisualisation, human-perception theory, spatial cognition, dynamic and 3D environments as well as accommodating emotional processes resulting from human-computer interaction. The second component is based on the theoretical framework and adopts a practical approach towards indoor visualisation. It consists of a set of design properties that can be used for the design of effective indoor visualisations. The framework is referred to as the "Elements of Design" framework. Both these components aim to provide a set of principles and guidelines that can be used as best practices for the design of indoor visualisations. In order to practically demonstrate the holistic indoor visualisation approach, multiple indoor visualisation renderings were developed. The visualisation renderings were represented in a three-dimensional virtual environment from a first-person perspective. Each rendering used the design framework differently. Also, each rendering was graded using a parallel chart that compares how the different visual elements were used per the rendering. The main findings were that the techniques/ renderings that used the visual elements effectively (enhanced human-perception) resulted in better acquisition and construction of knowledge about the surrounding indoor environment

Layered evaluation of interactive adaptive systems : framework and formative methods

Peer reviewedPostprin

Supporting users in understanding intelligent everyday systems

Intelligent systems have permeated many areas of daily life like communication, search, decision-making, and navigation, and thus present an important meeting point of people and artificial intelligence in practice. These intelligent everyday systems are in focus of this thesis. Intelligent everyday systems exhibit the characteristics of so-called complex systems as defined in cognitive science: They serve ill-defined user goals, change dynamically over time, and comprise a large number of interrelated variables whose dependencies are not transparent to users. Due to this complexity, intelligent everyday systems can violate established usability guidelines of user interface design like transparency, controllability and easy error correction. This may introduce uncertainty to interaction that users have to overcome in order to reach a goal. I introduce a perspective from cognitive science, where users do so through knowledge. The work presented in this thesis aims at assisting users in gaining this knowledge, or supporting users in understanding intelligent everyday systems, for example, through explanation, control, correction or feedback. To this end, the work included in this thesis makes three main contributions: First, I present a method for eliciting user need for support and informing adequate solutions through practical user problems with intelligent everyday systems in daily interaction. In a first phase, the presented method uses passive data collection to extract user problems with intelligent everyday systems through a combination of automated and manual analyses. In the second phase, these problems are then enriched and validated through active data collection to derive solutions for support. In addition, I report on the application of this method to uncover user problems with four popular commercial intelligent everyday systems (Facebook, Netflix, Google Maps and Google Assistant). Second, I introduce a conceptual framework for categorising and differentiating prevailing notionsin the field of how users should be supported in understanding intelligent systems related to what users seek to know, how they acquire knowledge, and what kind of knowledge they acquire. The presented framework can be used to make these notions explicit and thus introduces an overarching structure that abstracts from the field’s fractured terminological landscape. It aims at helping other researchers become aware of existing approaches and locate and reflect on their own work. Third, I present a number of case studies and arguments as an exploration of how users can be supported in the face of real-world challenges and trade-offs. My research reflects two possible perspectives to approach this question, a normative and a pragmatic one. As part of a critical reflection on the normative perspective, the work shows that explanations without information can similarly foster user trust in a system compared to real explanations, and discusses how user support can be exploited to deceive users. From the pragmatic perspective emerges a stage-based participatory design process that incorporates different stakeholder needs and a study assessing how support can be interwoven with users’ primary tasks. In summary, this thesis adopts a perspective on interaction with intelligent everyday systems, where understanding is a fundamental process towards reaching a user-set goal. On this basis, I introduce a research agenda for future work that incorporates the presented contributions and also includes challenges beyond the scope of this work, such as considering user empowerment. I hope that this agenda, along with the presented method, framework and design exploration, will help future work to shape interaction with intelligent everyday systems in a way that allows people to use them better, and to better ends and outcomes.Intelligente Systeme haben Einzug in viele Bereiche des täglichen Lebens wie Kommunikation, Informationssuche, Entscheidungsfindung, und Navigation erhalten und stellen damit einen wichtigen Berührungspunkt von Menschen und künstlicher Intelligenz in der Praxis dar. Solche intelligenten Alltagssysteme stehen im Fokus dieser Arbeit. Intelligente Alltagssysteme weisen die Charakteristika von sogenannten komplexen Systemen aus der Kognitionsforschung auf: Sie dienen unscharfen Nutzerzielen, verändern sich dynamisch über die Zeit, und beinhalten eine große Anzahl an miteinander verknüpften Variablen, deren Wechselbeziehungen für Nutzer nicht erkennbar sind. Auf Grund dieser Komplexität können intelligente Alltagssysteme bewährte Richtlinien zur Gestaltung von nutzerfreundlichen Benutzeroberflächen verletzen, beispielsweise Transparenz, Kontrollierbarkeit, und einfache Fehlerbehebung. Dies kann bei der Interaktion zu Unsicherheit führen, die Nutzer auf dem Weg zu einem Ziel überwinden müssen. Ich führe eine Perspektive aus der Kognitionsforschung ein, nach welcher Nutzer dies durch Wissen tun. Die hier präsentierten Arbeiten haben zum Ziel, Nutzern beim Erlangen dieses Wissens zu helfen, oder Nutzerverständnis von intelligenten Alltagssystemen zu unterstützen, beispielsweise durch Erklärung, Kontrolle, Korrektur oder Rückmeldung an das System. Hierzu leisten die vorgestellten Arbeiten hauptsächlich drei Beiträge: Ich präsentiere zunächst eine Methode, um das Nutzerbedürnis nach Unterstützung zu ermitteln und entsprechende Lösungen zu informieren. Die Methode identifiziert dazu praktische Nutzerprobleme mit intelligenten Alltagssystemen im täglichen Gebrauch. In einer ersten Phase werden diese Probleme auf Grund von passiver Datenerhebung unter Verwendung automatisierter und manueller Analysemethoden extrahiert. In der zweiten Phase werden die ermittelten Problemedurch aktive Datenerhebung angereichert und validiert, um Lösungen zur Unterstützung abzuleiten. Daneben berichte ich von der Anwendung dieser Methode, um Nutzerprobleme in vier verbreiteten kommerziellen intelligenten Alltagssystemen (Facebook, Netflix, Google Maps und Google Assistant) aufzudecken. Danach führe ich ein konzeptuelles Framework ein, mit dem im Feld vorherrschende Annahmen, wie Nutzerverständnis von intelligenten Alltagssystemen unterstützt werden sollte, klassifiziert und differenziert werden können. Diese Annahmen beziehen sich darauf, welches Wissen Nutzer erlangen wollen, wie sie dieses Wissen erlangen, und um welche Art von Wissen es sich handelt. Durch das Framework können die jeweiligen Annahmen explizit gemacht werden. Es schafft so eine übergreifende Struktur, die von der Fülle und Diversität der im Feld verwendeten Begrifflichkeiten abstrahiert. Das Framework kann anderen Forschern dabei helfen, sich über bestehende Ansätze bewusst zu werden, und ihre eigene Arbeit zu verorten und zu reflektieren. Zum Dritten bringe ich eine Reihe von Fallbeispielen und Argumenten an, die explorieren, wie Nutzer angesichts von Einschränkungen und Abwägungen in der Praxis unterstützt werden können. Meine Forschung spiegelt dabei zwei mögliche Sichtweisen auf diese Frage wider, eine normative und eine pragmatische. Im Zuge einer kritischen Betrachtung der normativen Sichtweise zeigt diese Arbeit, dass Erklärungen ohne Informationsgehalt in ähnlicher Weise Vertrauen in ein System hervorrufen können wie richtige Erklärungen. In diesem Zusammenhang wird weiterhin diskutiert, wie Unterstützung gezielt zur Täuschung von Nutzern missbraucht werden kann. Aus der pragmatischen Sichtweise geht in dieser Arbeit ein stufenförmiger partizipatorischer Designprozess hervor, der die verschiedenen Interessen in der Praxis Beteiligter berücksichtigt. Zudem wird in einer Studie untersucht, wie Unterstützung von Verständnis mit der Primäraufgabe von Nutzern verknüpft werden kann. Zusammenfassend nimmt diese Arbeit eine Perspektive auf Interaktion mit intelligenten Alltagssystemen ein, die Verstehen als grundlegenden Prozess auf dem Weg zu einem Nutzerziel begreift. Basierend darauf stelle ich eine Forschungsagenda vor, die die präsentierten Publikationen einschließt und zudem Herausforderungen über den Rahmen dieser Arbeit hinaus beinhaltet, wie beispielsweise die Einbeziehung von“Nutzer-Empowerment”. Ich hoffe, dass diese Agenda, die vorgestellte Methode, das Framework und die Erkenntnisse aus der Exploration möglicher Designansätze zukünftiger Forschung hilft, Interaktion mit intelligenten Systemen im Alltag zu gestalten – so, dass Nutzer sie besser und zu besseren Zwecken verwenden können

Factors shaping the evolution of electronic documentation systems

The main goal is to prepare the space station technical and managerial structure for likely changes in the creation, capture, transfer, and utilization of knowledge. By anticipating advances, the design of Space Station Project (SSP) information systems can be tailored to facilitate a progression of increasingly sophisticated strategies as the space station evolves. Future generations of advanced information systems will use increases in power to deliver environmentally meaningful, contextually targeted, interconnected data (knowledge). The concept of a Knowledge Base Management System is emerging when the problem is focused on how information systems can perform such a conversion of raw data. Such a system would include traditional management functions for large space databases. Added artificial intelligence features might encompass co-existing knowledge representation schemes; effective control structures for deductive, plausible, and inductive reasoning; means for knowledge acquisition, refinement, and validation; explanation facilities; and dynamic human intervention. The major areas covered include: alternative knowledge representation approaches; advanced user interface capabilities; computer-supported cooperative work; the evolution of information system hardware; standardization, compatibility, and connectivity; and organizational impacts of information intensive environments

Spatial Interaction for Immersive Mixed-Reality Visualizations

Growing amounts of data, both in personal and professional settings, have caused an increased interest in data visualization and visual analytics. Especially for inherently three-dimensional data, immersive technologies such as virtual and augmented reality and advanced, natural interaction techniques have been shown to facilitate data analysis. Furthermore, in such use cases, the physical environment often plays an important role, both by directly influencing the data and by serving as context for the analysis. Therefore, there has been a trend to bring data visualization into new, immersive environments and to make use of the physical surroundings, leading to a surge in mixed-reality visualization research. One of the resulting challenges, however, is the design of user interaction for these often complex systems. In my thesis, I address this challenge by investigating interaction for immersive mixed-reality visualizations regarding three core research questions: 1) What are promising types of immersive mixed-reality visualizations, and how can advanced interaction concepts be applied to them? 2) How does spatial interaction benefit these visualizations and how should such interactions be designed? 3) How can spatial interaction in these immersive environments be analyzed and evaluated? To address the first question, I examine how various visualizations such as 3D node-link diagrams and volume visualizations can be adapted for immersive mixed-reality settings and how they stand to benefit from advanced interaction concepts. For the second question, I study how spatial interaction in particular can help to explore data in mixed reality. There, I look into spatial device interaction in comparison to touch input, the use of additional mobile devices as input controllers, and the potential of transparent interaction panels. Finally, to address the third question, I present my research on how user interaction in immersive mixed-reality environments can be analyzed directly in the original, real-world locations, and how this can provide new insights. Overall, with my research, I contribute interaction and visualization concepts, software prototypes, and findings from several user studies on how spatial interaction techniques can support the exploration of immersive mixed-reality visualizations.Zunehmende Datenmengen, sowohl im privaten als auch im beruflichen Umfeld, führen zu einem zunehmenden Interesse an Datenvisualisierung und visueller Analyse. Insbesondere bei inhärent dreidimensionalen Daten haben sich immersive Technologien wie Virtual und Augmented Reality sowie moderne, natürliche Interaktionstechniken als hilfreich für die Datenanalyse erwiesen. Darüber hinaus spielt in solchen Anwendungsfällen die physische Umgebung oft eine wichtige Rolle, da sie sowohl die Daten direkt beeinflusst als auch als Kontext für die Analyse dient. Daher gibt es einen Trend, die Datenvisualisierung in neue, immersive Umgebungen zu bringen und die physische Umgebung zu nutzen, was zu einem Anstieg der Forschung im Bereich Mixed-Reality-Visualisierung geführt hat. Eine der daraus resultierenden Herausforderungen ist jedoch die Gestaltung der Benutzerinteraktion für diese oft komplexen Systeme. In meiner Dissertation beschäftige ich mich mit dieser Herausforderung, indem ich die Interaktion für immersive Mixed-Reality-Visualisierungen im Hinblick auf drei zentrale Forschungsfragen untersuche: 1) Was sind vielversprechende Arten von immersiven Mixed-Reality-Visualisierungen, und wie können fortschrittliche Interaktionskonzepte auf sie angewendet werden? 2) Wie profitieren diese Visualisierungen von räumlicher Interaktion und wie sollten solche Interaktionen gestaltet werden? 3) Wie kann räumliche Interaktion in diesen immersiven Umgebungen analysiert und ausgewertet werden? Um die erste Frage zu beantworten, untersuche ich, wie verschiedene Visualisierungen wie 3D-Node-Link-Diagramme oder Volumenvisualisierungen für immersive Mixed-Reality-Umgebungen angepasst werden können und wie sie von fortgeschrittenen Interaktionskonzepten profitieren. Für die zweite Frage untersuche ich, wie insbesondere die räumliche Interaktion bei der Exploration von Daten in Mixed Reality helfen kann. Dabei betrachte ich die Interaktion mit räumlichen Geräten im Vergleich zur Touch-Eingabe, die Verwendung zusätzlicher mobiler Geräte als Controller und das Potenzial transparenter Interaktionspanels. Um die dritte Frage zu beantworten, stelle ich schließlich meine Forschung darüber vor, wie Benutzerinteraktion in immersiver Mixed-Reality direkt in der realen Umgebung analysiert werden kann und wie dies neue Erkenntnisse liefern kann. Insgesamt trage ich mit meiner Forschung durch Interaktions- und Visualisierungskonzepte, Software-Prototypen und Ergebnisse aus mehreren Nutzerstudien zu der Frage bei, wie räumliche Interaktionstechniken die Erkundung von immersiven Mixed-Reality-Visualisierungen unterstützen können