The Search as Learning Spaceship: Toward a Comprehensive Model of Psychological and Technological Facets of Search as Learning

Using a Web search engine is one of today’s most frequent activities. Exploratory search activities which are carried out in order to gain knowledge are conceptualized and denoted as Search as Learning (SAL). In this paper, we introduce a novel framework model which incorporates the perspective of both psychology and computer science to describe the search as learning process by reviewing recent literature. The main entities of the model are the learner who is surrounded by a specific learning context, the interface that mediates between the learner and the information environment, the information retrieval (IR) backend which manages the processes between the interface and the set of Web resources, that is, the collective Web knowledge represented in resources of different modalities. At first, we provide an overview of the current state of the art with regard to the five main entities of our model, before we outline areas of future research to improve our understanding of search as learning processes. Copyright © 2022 von Hoyer, Hoppe, Kammerer, Otto, Pardi, Rokicki, Yu, Dietze, Ewerth and Holtz

The Search as Learning Spaceship: Toward a Comprehensive Model of Psychological and Technological Facets of Search as Learning

Using a Web search engine is one of today’s most frequent activities. Exploratory search activities which are carried out in order to gain knowledge are conceptualized and denoted as Search as Learning (SAL). In this paper, we introduce a novel framework model which incorporates the perspective of both psychology and computer science to describe the search as learning process by reviewing recent literature. The main entities of the model are the learner who is surrounded by a specific learning context, the interface that mediates between the learner and the information environment, the information retrieval (IR) backend which manages the processes between the interface and the set of Web resources, that is, the collective Web knowledge represented in resources of different modalities. At first, we provide an overview of the current state of the art with regard to the five main entities of our model, before we outline areas of future research to improve our understanding of search as learning processes

Support for Information-Seeking Strategies

Längere Such-Episoden umfassen mehrere Such-Aktionen. Diese Such-Aktionen können in verschiedene Klassen unterteilt werden. Die Klassifikation, die in dieser Arbeit verwendet wird, ist die ISS-Klassifikation von Belkin, Marchetti und Cool, die vier Facetten verwendet (method, goal, mode, resource used), von denen jede zwei Werte hat. Unter der Annahme, dass Support-Mechanismen für jede Klasse bekannt sind, war die Forschungsfrage, ob man jede dieser Klassen durch ein anderes, spezialisiertes Such-Interface unterstützen muss, um eine optimale Unterstützung über unterschiedliche Situationen hinweg zu erreichen, oder ob es reicht, wenn ein einziges Interface Support-Mechanismen für alle denkbaren Such-Aktionen anbietet. Die Forschungsfrage wurde in insgesamt drei Experimenten untersucht. Die ISS-Klassifikation besteht aus 16 Klassen. Da die Untersuchung der Forschungsfrage für jede dieser 16 Klassen zu aufwändig gewesen wäre, wurden zwei Facetten, goal und resource used, ausgeschlossen. Dadurch blieben zwei Facetten, method und mode, mit insgesamt vier Klassen übrig. Support-Mechanismen für die vier Facetten-Werte, scanning, searching, recognition und specification, wurden gesammelt unter der Annahme, dass diese Mechanismen ebenso unabhängig voneinander sind wie die zugrunde liegenden Facetten. Der Facetten-Wert recognition wurde in zwei Experimenten untersucht. Das erste Experiment untersuchte eine Tabellen-basierte Ergebnislisten-Darstellung mit einer Listen-basierten Darstellung mit Highlighting bezüglich ihrer Auswirkung auf den Erfolg bei visueller Suche. Versuchsteilnehmer wurden gebeten, Such-Ziele in vorgefertigten Ergebnislisten mit beiden Darstellungs-Varianten, aber nur unter Verwendung visueller Suche, zu finden (Messwiederholung). Ihr Erfolg wurde gemessen anhand der gefundenen Such-Ziele pro Zeit. Weder Liste noch Tabelle zeigten statistisch signifikante Vorteile gegenüber der jeweils anderen Variante. Das zweite Experiment führte eine Baseline-Variante ein, die aus einer herkömmlichen Listen-basierten Darstellung ohne Highlighting bestand. Von dieser Änderung abgesehen, war das Experiment dem ersten recht ähnlich. Auch in diesem Experiment wurde kein statistisch signifikanter Unterschied zwischen den Darstellungs-Varianten gefunden. Für die anderen Facetten-Werte wurden Support-Mechanismen anhand einer Literatur-Suche identifiziert und im letzten Experiment verwendet. Die Haupt-Forschungsfrage wurde untersucht anhand von drei verschiedenen Such-Systemen, die sich einander ähnelten und auf dem ezDL-System basierten. Die erste Variante (baseline) war eine sehr vereinfachte Variante des ezDL-Systems, das außer einer Übersetzungs-Einrichtung keine Support-Mechanismen enthielt. Das zweite System war ein adaptives System, das Support-Mechanismen passend zur aktuellen Such-Aktion des Teilnehmers anbot. Das dritte System enthielt alle Support-Mechanismen des zweiten Systems für alle ISS-Klassen auf einmal. Versuchsteilnehmer wurden gebeten, Suchaufgaben mit einem der drei Systeme zu bearbeiten (ohne Messwiederholung). Ihr Erfolg wurde gemessen durch die Anzahl der gefundenen Dokumente pro Zeit. Kein statistisch signifikanter Unterschied zwischen den Systemen wurde gefunden.Longer search episodes comprise multiple search actions. These search actions can be grouped into several classes. The classification used in this work is the ISS classification by Belkin, Marchetti and Cool, which uses four facets (method, goal, mode and resource used), each of which has to values. Assuming that support features for each class are known, the research question was whether it is necessary to support each ISS class by a different search user interface in order to optimally help the user across many situations, or if a single interface can offer support mechanisms for any search action the user is being involved in. The research question was examined in three experiments. The ISS classification consists of 16 classes. Since studying the research question for all of these classes would have been too difficult, two facets, resource used and learning, were omitted, leaving the two facets method and mode with a total of four remaining classes for examination. Support mechanisms for each value of the two facets, scanning, searching, recognition, and specification, were gathered, assuming that the support mechanisms are as independent of each other as the underlying facets. Support features for the facet value recognition was examined in two experiments. The first experiment compared a table-based result list presentation with a list-based one using highlighting in terms of their support for visual search. Participants were asked to locate search targets in manufactured result lists using each of the result list variants solely by means of visual search (within-subjects design). Their success was measured by how many search targets they found per time. Neither list nor table provided a statistically significant advantage. The second experiment added a baseline result list without any support for visual search; apart of this, the experiment was very similar to the first one. Again, none of the studied result list variants showed statistically significant differences to any other. For the other facet values, the support mechanisms were gathered in a literature search, which identified some promising mechanisms which were then used in the last experiment. The main research question was examined using three search systems that were similar to each other. The first one (baseline) was a very basic variant of the ezDL system and provided no advanced support features other than a translation feature. The second system was an adaptive interface that provided support features only for the ISS class the user was being engaged in. The third system provided all support features of the second system for all ISS classes at once. Participants were asked to complete search tasks with one of the systems (between-subjects design). Their success was measured by how many of the required documents they could locate per time. None of the systems studied provided any statistically significant benefit over any of the other systems

Usability-Ergebnisse als Wissensressource in Organisationen

Durch den Prozess der nutzerzentrierten Softwareentwicklung sammeln Organisationen wichtige Erkenntnisse über die Nutzer ihre Produkte, deren Arbeitsaufgaben und über die Nutzungskontexte, in dem diese sie anwenden. Diese Arbeit untersucht, wie derartige Usability-Ergebnisse in einer Organisation langfristig als Durch den Prozess der nutzerzentrierten Softwareentwicklung sammeln Organisationen wichtige Erkenntnisse über die Nutzer ihrer Produkte, deren Arbeitsaufgaben und über die Nutzungskontexte, in denen sie angewendet werden. Diese Arbeit untersucht, wie derartige Usability-Ergebnisse in einer Organisation langfristig als Wissensressource eingesetzt werden können, um die Usability zukünftiger Produkte zu verbessern und die Effizienz des nutzerzentrierten Entwicklungsprozesses zu optimieren. Im Fokus stehen dabei interne Usability-Beauftragte als Anwender dieser Wissensressource: Da diese innerhalb ihrer Organisation für die dort entwickelten Produkte verantwortlich sind, haben sie ein besonders hohes Interesse an der nachhaltigen Nutzung der erhobenen Usability-Ergebnisse. Zu einer organisationsinternen Nutzung von Usability-Ergebnissen existieren bereits Ansätze aus der Forschung zu nutzerzentrierten Entwicklungsprozessen im Bereich der Mensch-Computer-Interaktion, die unterschiedliche Ziele verfolgen. (Hughes, 2006; Douglas, 2007; Vilbergsdottir et al., 2014). Einen frühen Ansatz stellt Andre et al. (2001) mit dem User Action Framework vor, dessen Anwendung jedoch aufwendig sein kann (Hornbæk et al., 2008). Vorschläge für die Klassifizierung von empirischen Usability-Ergebnissen werden bislang vor allem im Kontext der Forschung zu Usability-Methoden eingesetzt (etwa Lavery et al., 1997; Hornbæk et al., 2008). In anderen Bereichen finden sie jedoch keine breite Anwendung, da sie nicht auf die Anwendungsfälle für Usability-Information in Organisationen abgestimmt sind. Als eine zentrale Fragestellung dieser Arbeit wird daher untersucht, für welche Anwendungsfälle eine Sammlung von Usability-Ergebnissen eingesetzt werden kann (Forschungsfrage RQ1). Dafür werden qualitativ ausgerichtete Interviews (n=8) mit internen Usability-Beauftragten sowie Fokusgruppen in zwei Organisationen durchgeführt. Im Rahmen dieser Studien können außerdem die Anforderungen an die Wissensorganisation und an die Informationsinteraktion für die Nutzung von Usability-Ergebnissen als Wissensressource analysiert werden (RQ2). Die Anforderungen werden als ein prototypisches Usability-Informationssystem umgesetzt, welches den Zugang zu einer Sammlung von Usability-Ergebnissen bereitstellt. In einer Studie mit Usability-Beauftragten (n=11) wird dieses System evaluiert, um Rückschlüsse auf die zugrunde liegenden Anforderungen zu ermöglichen. Im Rahmen der Studie werden zudem die Entscheidungsprozesse diskutiert, die angewendet werden, wenn Usability-Ergebnisse auf andere Kontexte übertragen oder verallgemeinert werden sollen (RQ3). Weiterhin werden die Faktoren und Barrieren untersucht, welche die Akzeptanz von Usability-Ergebnissen als Wissensressource in einer Organisation beeinflussen (RQ4). Die Untersuchungen zeigen, dass Usability-Ergebnisse bereits in vielen Organisationen gesammelt und gezielt eingesetzt werden. Die erhobenen Anwendungsfälle (RQ1) umfassen die Übertragung von vorhandenen Ergebnissen auf aktuelle Gestaltungsentscheidungen, Lernprozesse, analytische Fragestellungen und die Verallgemeinerung zu internen Richtlinien. Zu den identifizierten Anforderungen für die Organisation von Usability-Wissen (RQ2) gehört die Kombination von produktübergreifenden und produktbezogenen Metadaten. Die empirischen Evaluierungsergebnisse aus Nutzertests sollten mit den zugrunde liegenden Daten, vor allem aber mit den resultierenden Lösungsvorschlägen verknüpft werden. Bei der Gestaltung der Informationsinteraktion sollten die gezielte Suche, der Umgang mit potenziell unbekannter oder wechselnder Terminologie, aber auch explorative Such- und Lernprozesse unterstützen werden. Wenn Usability-Ergebnisse in einer Organisation mit dem Ziel der Vollständigkeit erhoben werden, können darauf auch Funktionen für die quantitative Analyse und für die Prozessbewertung aufbauen. Für die Bewertung der Übertragbarkeit von Usability-Ergebnissen (RQ3) sind eine Reihe von Entscheidungskriterien und Hinweisen relevant, anhand derer ihre Zuverlässigkeit überprüft und der Erhebungskontext hinsichtlich der Relevanz für eine aktuelle Fragestellung bewertet werden kann. Die Akzeptanz der Anwendung von Usability-Wissen (RQ4) erscheint primär von dem Aufwand abhängig, der für die Erschließung der Ergebnisse erforderlich ist. Die meisten der Teilnehmer bewerten den Aufwand im Verhältnis zu den erwarteten Vorteilen jedoch als angemessen. Mögliche Barrieren für die Wissensteilung können aus der Befürchtung entstehen, die Kontrolle über die Interpretation der Ergebnisse zu verlieren, sowie aus der Wahrnehmung als öffentliche Kritik an den jeweiligen Produktverantwortlichen. Die Ergebnisse dieser Arbeit können dabei helfen, die Unterstützung für die Nutzung von Usability-Ergebnissen als Wissensressource auf die erhobenen Anwendungsfälle auszurichten. Dafür werden Empfehlungen zu möglichen Ausrichtungen eines Usability-Informationssystems in Organisationen gegeben. Die Ergebnisse verweisen außerdem auf das große Potenzial für weitere Forschungsvorhaben in diesem Bereich, sowohl in Hinblick auf eine bessere Unterstützung des Wissensmanagements von Usability-Ergebnissen als auch in Bezug auf die Übertragung der grundlegenden Erkenntnisse dieser Arbeit auf andere Anwendungsdomänen, etwa im Bereich des Managements von Forschungsdaten.User centered software development provides organizations with valuable insights about the users of their software, about their work tasks and the various contexts in which a product is used. This dissertation explores how organizations can profit even more from such results in the long term by using them as an internal knowledge resource for improving the usability of future products and for increasing the efficiency of user centered processes. This topic will be investigated for in-house usability consultants as the primary target group of such a resource. In-house consultants are responsible for the quality of the products developed in their company, and the sustainable management of internal usability results therefore is of particular interest to them. In the research field of human computer interaction and user centered design, several approaches have already been proposed which can be used to systematize usability results in order to pursue a variety of goals (e.g. Hughes 2006; Douglas 2007; Vilbergsdottir et al. 2014). The User Action Framework (Andre et al. 2001) is an important contribution in this area. Its implementation, however, may prove to be difficult for many organizations because applying it was found to be resource intensive (Hornbæk et al., 2008). Other classification systems for usability problems have predominantly been in use in scientific studies on the evaluation of usability methods (e. g. Lavery et al. 1997; Hornbæk & Frøkjær 2008). These approaches have not been widely adopted because of the efforts involved in applying them, and because they do not take into account relevant use cases for usability information in organizations. The identification of use cases for the internal application of usability results therefore constitutes an important research question of this dissertation (research question RQ1). Qualitative interviews with in-house usability consultants (n=8) as well as focus groups in two organizations are conducted in order to investigate this question and to elicit usage requirements of an usability information system (research question RQ2). A prototypical usability information system implements these requirements based on a set of realistic usability results. The system and the proposed requirements are evaluated in an additional study with usability consultants (n=11). In the context of this study, criteria for reusing and generalizing usability results can be examined from the point of view of the participants (research question RQ3). In addition, the factors and barriers influencing the process of sharing and using usability knowledge have been investigated (research question RQ4). Results demonstrate that usability results have already been collected and applied to different use cases in many organizations (RQ1), including their direct application to current design decisions, learning and exploration, analytic questions, and the creation of internal usability standards. The organization of usability results (RQ2) requires a combination of product-specific characteristics with more general attributes as metadata for search and analysis. Results from user studies should be linked to the underlying empirical data and to the resulting design recommendations. Requirements for information interaction include support for the targeted search for usability results, dealing with potentially unknown or changing terminology, as well as possibilities for exploratory search and learning. If results are collected comprehensively in an organization, features for information analysis can be used to support the improvement of development processes. A number of different criteria are used to assess the reliability of usability results and the fit between the context in which a result was elicited and the context to which the result is to be applied. These aspects together provide the basis for deciding about the transferability of results (RQ3). Acceptance of the application of usability results as an information resource (RQ4) primarily depends on the amount of effort which is required for documenting these results. However, most participants expect the benefits to outweigh these efforts. Possible barriers for sharing usability results also include concerns about the loss of control over their interpretation as well as the perception of published results as criticism by those who are responsible for a product. In addition to describing existing practices, the results of this dissertation are intended to offer assistance for the application of usability results as an information resource in different use cases. Accordingly, recommendations about different categories of usability information systems are presented. The findings indicate further possibilities for research with the goal of improving knowledge management for usability results and may also be applied to other domains such as research data management