Benutzererwartungen: Eine interaktive Information Retrieval Studie zur Wahrnehmung von Suchergebnissen

Ein genaues Verständnis des Suchprozesses und der Frage, wie Benutzer darin unterstützt werden können, bessere Suchergebnisse zu erhalten, stellt eine wichtige Aufgabe der Information-Retrieval-Forschung dar. Jedoch tragen unter anderem die dynamische Natur dieses Prozesses, die aktive Beteiligung des Nutzers am Suchverlauf sowie die Kontextabhängigkeit des Relevanzbegriffs zur Komplexität dieser Fragestellungen bei. Eine besondere Herausforderung besteht daher darin, im Kontext dieses komplexen Prozesses, die genauen Wirkungsmechanismen aller beteiligten Einflussgrößen und ihre Abhängigkeiten zu isolieren. Im Rahmen dieser Arbeit wird daher die Auswirkung zweier wesentlicher Einflussfaktoren, der Systemleistung und der Nutzererwartung, auf Benutzerleistung, Relevanzwahrnehmung und Benutzerzufriedenheit untersucht, während andere Einflussgrößen statistisch kontrolliert werden. Zu diesem Zweck werden drei aufeinander aufbauende interaktive Information-Retrieval-Nutzerstudien geplant und durchgeführt, deren Daten im Anschluss quantitativ ausgewertet werden. Bezüglich der Benutzerzufriedenheit wird dabei insbesondere untersucht, ob sich das aus der Kundenzufriedenheitsforschung bekannte C/D-Paradigma, das die Entstehung von Zufriedenheit als Soll/Ist-Vergleich zwischen wahrgenommener und erwarteter Leistung begreift, auch auf den Kontext der Informationssuche übertragen lässt. Auf Grundlage der vorliegenden Datenbasis kann zunächst gezeigt werden, dass eine direkte Korrelation zwischen der verwendeten Systemqualität und dem Relevanzempfinden der Testteilnehmer zu bestehen scheint. Dabei ist im direkten Vergleich zweier Suchsysteme mit unterschiedlicher Systemgüte die Anwendung restriktiverer Relevanzkriterien im Kontext des besseren Systems zu beobachten. Dieses Verhalten lässt sich insbesondere anhand der in dieser Arbeit eingeführten Imprecisionmaße nachweisen, die im Wesentlichen die Tendenz der Testpersonen erfassen, mit ihrem Relevanzurteil von den dem Testkorpus zugrundeliegenden Jurorenurteilen abzuweichen. Für recallorientierte Benutzerleistungsmaße lässt sich hingegen kein signifikanter Unterschied in Abhängigkeit der Systemleistung beobachten. In Bezug auf die Benutzerzufriedenheit scheint der beschriebene systembedingte Anpassungseffekt der Relevanzwahrnehmung zu einer Reduzierung des perzipierten Systemleistungsunterschieds zu führen, wodurch auch die Benutzerzufriedenheit nur eine schwache Abhängigkeit von der Systemleistung zeigt. Für die im Rahmen der interaktiven Information-Retrieval-Forschung bislang wenig beachteten Nutzererwartungen lässt sich hingegen ein qualitativ anderes Verhalten feststellen. Hier führt eine positive Grundeinstellung bezüglich des verwendeten Suchsystems zur Anwendung weniger restriktiver Relevanzkriterien, was sich schlussendlich in einer signifikant erhöhten Nutzerzufriedenheit im Vergleich zu Testpersonen mit einer niedrigen Erwartungshaltung widerspiegelt. Darüber hinaus ergeben sich für ausgewählte Leistungsmaße und Zufriedenheitsdimensionen auch Wechselwirkungen zwischen beiden Anpassungseffekten, welche darauf hindeuten, dass der systembedingte Anpassungseffekt der Relevanzwahrnehmung vornehmlich im Kontext einer hohen Erwartungshaltung zum Tragen kommt, weswegen im Umkehrschluss ein Einfluss der Systemgüte auf die Benutzerzufriedenheit hauptsächlich bei Probanden mit niedriger Erwartungshaltung zu beobachten ist. In diesem Sinne können also die Vorhersagen des C/D-Paradigmas, bei denen eine hohe Zufriedenheit mit dem Übertreffen der eigenen Erwartungen assoziiert ist, nicht bestätigt werden. Vielmehr scheint die aktive Beteiligung der Nutzer am Suchprozess zur Ausbildung anderer Wirkungsmechanismen zu führen, bei denen die Entstehung von Nutzerzufriedenheit stärker an eine positive Einstellung zum verwendeten Suchsystem gekoppelt ist