Reflections on Mira : interactive evaluation in information retrieval

Evaluation in information retrieval (IR) has focussed largely on noninteractive evaluation of text retrieval systems. This is increasingly at odds with how people use modern IR systems: in highly interactive settings to access linked, multimedia information. Furthermore, this approach ignores potential improvements through better interface design. In 1996 the Commission of the European Union Information Technologies Programme, funded a three year working group, Mira, to discuss and advance research in the area of evaluation frameworks for interactive and multimedia IR applications. Led by Keith van Rijsbergen, Steve Draper and myself from Glasgow University, this working group brought together many of the leading researchers in the evaluation domain from both the IR and human computer interaction (HCI) communities. This paper presents my personal view of the main lines of discussion that took place throughout Mira: importing and adapting evaluation techniques from HCI, evaluating at different levels as appropriate, evaluating against different types of relevance and the new challenges that drive the need for rethinking the old evaluation approaches. The paper concludes that we need to consider more varied forms of evaluation to complement engine evaluation

Relevance and how it was studied

Relevantnost je jedan od pojmova u informacijskoj znanosti općenito, može se čak reći i najvažniji, a u pretraživanju informacija, posebno. Ovaj kritički pregled prati razvoj i daje sintezu istraživanja relevantnosti tijekom proteklih trideset godina s naglaskom na podacima eksperimentalnih istraživanja i istraživanja metodama promatranja. U svrhu logičke povezanosti, povijesne napomene sažimaju zanimanje za relevantnost u informacijskoj znanosti, a potom slijedi rasprava o intuitivnom značenju relevantnosti i o njenom značenju u informacijskoj znanosti. U glavnom dijelu daje se sinteza eksperimenata o ponašanju relevantnosti. Taj dio završava zaključcima koji ustvari daju pojašnjenje i sintezu suvremenih promišljanja o relevantnosti kao i hipoteze za buduća istraživanja. Analize nekih glavnih smjerova koji definiraju relevantnost iznesene su u epilogu.Relevance is a, if not even the, key notion in information science in general and information retrieval in particular. This critical review traces and synthesizes the scholarship on relevance over the past 30 years with the concentration on experimental and observational studies that report data. For context, a historical note summarizes relevance concerns in information science, followed by discussion of the meaning of relevance intuitively and in information science. In the major section, the experiments related to relevance behavior are synthesized. The section concludes with summaries that in effect provide an interpretation and synthesis of contemporary thinking on the topic treated or suggests hypotheses for future research. Analyses of some of the major trends that shape relevance work are offered in the epilogue

Technology responsiveness for digital preservation: a model

Digital preservation may be defined as the cumulative actions undertaken by an organisation or individual to ensure that digital content is usable across generations of information technology. As technological change occurs, the digital preservation community must detect relevant technology developments, determine their implications for preserving digital content, and develop timely and appropriate responses to take full advantage of progress and minimize obsolescence. This thesis discusses the results of an investigation of technology responsiveness for digital preservation. The research produced a technology response model that defines the roles, functions, and content component for technology responsiveness. The model built on the results of an exploration of the nature and meaning of technological change and an evaluation of existing technology responses that might be adapted for digital preservation. The development of the model followed the six-step process defined by constructive research methodology, an approach that is most commonly used in information technology research and that is extensible to digital preservation research. This thesis defines the term technology responsiveness as the ability to develop continually effective responses to ongoing technological change through iterative monitoring, assessment, and response using the technology response model for digital preservation

Relevance Criteria when Searching and Evaluating Online Video for Informational Use

Relevance is a core concept in the field of Information Science and a common term in everyday vernacular that generally refers to the usefulness of information. However, relevance has not been sufficiently or consistently defined or explored in the information science literature. Relevance criteria are the factors that information users employ when determining whether information they encounter is relevant. Identifying relevance criteria is a crucial step to understanding relevance. Relevance criteria employed with newer information formats like online video are especially important to study. Online video is now widespread, and people are increasingly likely to rely on video for information. This study identifies relevance criteria employed during relevance assessments of online video through a explanatory sequential mixed-methods study of frequent online video users including students, faculty, librarians, and video professionals. Methods included an online survey and interviews

Benutzererwartungen: Eine interaktive Information Retrieval Studie zur Wahrnehmung von Suchergebnissen

Ein genaues Verständnis des Suchprozesses und der Frage, wie Benutzer darin unterstützt werden können, bessere Suchergebnisse zu erhalten, stellt eine wichtige Aufgabe der Information-Retrieval-Forschung dar. Jedoch tragen unter anderem die dynamische Natur dieses Prozesses, die aktive Beteiligung des Nutzers am Suchverlauf sowie die Kontextabhängigkeit des Relevanzbegriffs zur Komplexität dieser Fragestellungen bei. Eine besondere Herausforderung besteht daher darin, im Kontext dieses komplexen Prozesses, die genauen Wirkungsmechanismen aller beteiligten Einflussgrößen und ihre Abhängigkeiten zu isolieren. Im Rahmen dieser Arbeit wird daher die Auswirkung zweier wesentlicher Einflussfaktoren, der Systemleistung und der Nutzererwartung, auf Benutzerleistung, Relevanzwahrnehmung und Benutzerzufriedenheit untersucht, während andere Einflussgrößen statistisch kontrolliert werden. Zu diesem Zweck werden drei aufeinander aufbauende interaktive Information-Retrieval-Nutzerstudien geplant und durchgeführt, deren Daten im Anschluss quantitativ ausgewertet werden. Bezüglich der Benutzerzufriedenheit wird dabei insbesondere untersucht, ob sich das aus der Kundenzufriedenheitsforschung bekannte C/D-Paradigma, das die Entstehung von Zufriedenheit als Soll/Ist-Vergleich zwischen wahrgenommener und erwarteter Leistung begreift, auch auf den Kontext der Informationssuche übertragen lässt. Auf Grundlage der vorliegenden Datenbasis kann zunächst gezeigt werden, dass eine direkte Korrelation zwischen der verwendeten Systemqualität und dem Relevanzempfinden der Testteilnehmer zu bestehen scheint. Dabei ist im direkten Vergleich zweier Suchsysteme mit unterschiedlicher Systemgüte die Anwendung restriktiverer Relevanzkriterien im Kontext des besseren Systems zu beobachten. Dieses Verhalten lässt sich insbesondere anhand der in dieser Arbeit eingeführten Imprecisionmaße nachweisen, die im Wesentlichen die Tendenz der Testpersonen erfassen, mit ihrem Relevanzurteil von den dem Testkorpus zugrundeliegenden Jurorenurteilen abzuweichen. Für recallorientierte Benutzerleistungsmaße lässt sich hingegen kein signifikanter Unterschied in Abhängigkeit der Systemleistung beobachten. In Bezug auf die Benutzerzufriedenheit scheint der beschriebene systembedingte Anpassungseffekt der Relevanzwahrnehmung zu einer Reduzierung des perzipierten Systemleistungsunterschieds zu führen, wodurch auch die Benutzerzufriedenheit nur eine schwache Abhängigkeit von der Systemleistung zeigt. Für die im Rahmen der interaktiven Information-Retrieval-Forschung bislang wenig beachteten Nutzererwartungen lässt sich hingegen ein qualitativ anderes Verhalten feststellen. Hier führt eine positive Grundeinstellung bezüglich des verwendeten Suchsystems zur Anwendung weniger restriktiver Relevanzkriterien, was sich schlussendlich in einer signifikant erhöhten Nutzerzufriedenheit im Vergleich zu Testpersonen mit einer niedrigen Erwartungshaltung widerspiegelt. Darüber hinaus ergeben sich für ausgewählte Leistungsmaße und Zufriedenheitsdimensionen auch Wechselwirkungen zwischen beiden Anpassungseffekten, welche darauf hindeuten, dass der systembedingte Anpassungseffekt der Relevanzwahrnehmung vornehmlich im Kontext einer hohen Erwartungshaltung zum Tragen kommt, weswegen im Umkehrschluss ein Einfluss der Systemgüte auf die Benutzerzufriedenheit hauptsächlich bei Probanden mit niedriger Erwartungshaltung zu beobachten ist. In diesem Sinne können also die Vorhersagen des C/D-Paradigmas, bei denen eine hohe Zufriedenheit mit dem Übertreffen der eigenen Erwartungen assoziiert ist, nicht bestätigt werden. Vielmehr scheint die aktive Beteiligung der Nutzer am Suchprozess zur Ausbildung anderer Wirkungsmechanismen zu führen, bei denen die Entstehung von Nutzerzufriedenheit stärker an eine positive Einstellung zum verwendeten Suchsystem gekoppelt ist