Inferring User Knowledge Level from Eye Movement Patterns

The acquisition of information and the search interaction process is influenced strongly by a person’s use of their knowledge of the domain and the task. In this paper we show that a user’s level of domain knowledge can be inferred from their interactive search behaviors without considering the content of queries or documents. A technique is presented to model a user’s information acquisition process during search using only measurements of eye movement patterns. In a user study (n=40) of search in the domain of genomics, a representation of the participant’s domain knowledge was constructed using self-ratings of knowledge of genomics-related terms (n=409). Cognitive effort features associated with reading eye movement patterns were calculated for each reading instance during the search tasks. The results show correlations between the cognitive effort due to reading and an individual’s level of domain knowledge. We construct exploratory regression models that suggest it is possible to build models that can make predictions of the user’s level of knowledge based on real-time measurements of eye movement patterns during a task session

Search as learning (SAL) workshop 2016

The "Search as Learning" (SAL) workshop is focused on an area within the information retrieval fi

Finding it on Google, finding it on del.icio.us

We consider search engines and collaborative tagging systems from the perspective of resource discovery and re-finding on the Web. We performed repeated searches over nine months on Google and del.icio.us for web pages related to three topics selected to have different dynamic characteristics. The results show differences in the resources they provide to the searcher. The resources tagged on del.icio.us differ strongly from the top results returned by Google. The results also suggest the changes in the most recently tagged web pages may be associated with the level of activity in user communities and, indirectly, with external events

Modele interakcji człowieka z systemami informatycznymi bazujące na okulografii

Okulografię (eye-tracking) stosowano do badania użyteczności interakcyjnych systemów komputerowych od ponad dekady. Główne zastosowanie eye-tracking ograniczało się do badania temporalnych zmian kierunku patrzenia. Ten rodzaj danych i ich wizualna reprezentacja pozwalały odkryć interesujące aspekty interakcji użytkownika z systemem informatycznym i pomagały w zidentyfikowaniu problemów z użytecznością. Jednakże eye-tracking może dostarczyć dużo więcej informacji. Na przykład dzięki tej technice można identyfikować stan umysłu użytkownika w czasie interakcji z komputerem. W artykule zaproponowano stworzenie i użycie pośrednich zmiennych uzyskanych na podstawie ruchu oka i skorelowanie ich z bardziej ogólnymi aspektami, takimi jak: typ zadania użytkownika, cognitive load (wysiłek umysłowy) oraz poziom wiedzy użytkownika. Takie podejście do przetwarzania pomiarów ruchu oka z interakcjami z systemem informatycznym daje dokładniejszy obraz interakcji. Proponowana metoda jest nowym podejściem do badania zadań użytkownika, różnic między użytkownikami (np. w poziomie wiedzy czy też różnic kognitywnych) i interakcji z systemem informatycznym

A Data Analysis and Modelling Framework for the Evaluation of Interactive Information Retrieval

Over the last two decades, Interactive Information Retrieval (IIR) has established a new direction within the long tradition of IR that introduces the user at its center and poses new challenges for system evaluation. IR systems can improve performance by utilizing information about the entire interactive process of search. This approach has so far only been initially explored [1,2] with much potential for the future. This demonstration describes an extensible data analysis and modelling framework that enables researchers to integrate, explore and analyze interactive experiment data obtained from task-based IIR experiments and build and test models of interactive user behavior