Enhancing Translation Language Models with Word Embedding for Information Retrieval

In this paper, we explore the usage of Word Embedding semantic resources for Information Retrieval (IR) task. This embedding, produced by a shallow neural network, have been shown to catch semantic similarities between words (Mikolov et al., 2013). Hence, our goal is to enhance IR Language Models by addressing the term mismatch problem. To do so, we applied the model presented in the paper Integrating and Evaluating Neural Word Embedding in Information Retrieval by Zuccon et al. (2015) that proposes to estimate the translation probability of a Translation Language Model using the cosine similarity between Word Embedding. The results we obtained so far did not show a statistically significant improvement compared to classical Language Model

Ewaluacja skuteczności systemów wyszukiwania informacji. Od eksperymentu Cranfield do laboratoriów TREC i CLEF. Geneza i metody

We present the genesis and evolution of methods and measures of IR systems evaluation. The design of the Cranfield experiment, a long-term model for evaluation methodology, is described. Evolution of current methodology of IR systems evaluation, developed at the annual TREC (Text REtrieval Conference) is provided, and the most popular and current measures described. The article presents also design of the CLEF (Conference and Labs of the Evaluation Forum) evaluation labs with special attention paid to CHiC (Cultural Heritage in CLEF). We describe the design of Polish Task in CHiClab and discuss conclusions from lab realisation.W niniejszym artykule prezentujemy rozwój metod i miar służących do oceny efektywności systemów informacyjno-wyszukiwawczych. Zostały w nim opisane założenia eksperymentu Cranfield, jako długoletniego wyznacznika metodologii ewaluacyjnej, oraz zarzuty stawiane organizacji samego eksperymentu. Ważną częścią artykułu jest także opis ewolucji powszechnie dziś stosowanej metodologii ewaluacji systemów informacyjno-wyszukiwawczych, wypracowanej podczas dorocznych konferencji TREC (Text REtrieval Conference), a także omówienie najpowszechniej obecnie stosowanych miar ewaluacyjnych w tym zakresie. Artykuł przedstawia również organizację laboratoriów ewaluacyjnych CLEF (Conference and Labs of the Evaluation Forum) ze szczególnym uwzględnieniem panelu CHiC (Cultural Heritage in CLEF), a na gruncie języka polskiego – Polish Task in CHiC

Multilinguale Herausforderungen in der Sacherschließung

In einer Zeit, in der vermehrt automatische Verfahren der Inhaltserschließung eingesetzt und (weiter)entwickelt werden, leistet die vorliegende Studie einen Beitrag zur Diskussion um die Bedeutung der intellektuellen Sacherschließung beim Information Retrieval in einem multilingualen Kontext. Am Fallbeispiel des Online-Katalogs des Ibero-Amerikanischen Instituts wird in einem Retrievaltest die Beteiligung der überwiegend deutschsprachigen Schlagworte aus einem lokalen Thesaurus beim Auffinden von Dokumenten evaluiert. In der Studie werden 80 aus einem Logfile gewonnene Suchanfragen getestet, die in zwei gleich große Purpose Samples unterteilt wurden: ein deutsch- und ein fremdsprachiges. Ein zentrales Ergebnis der Analyse ist, dass die Indexierung mit lokalen Schlagworten für einen erheblichen Anteil der zu den Suchanfragen aufgefundenen Dokumenten verantwortlich ist. Es lassen sich jedoch unter Berücksichtigung der Multilingualität der Suchanfragen deutliche Unterschiede mit Blick auf die Bedeutung der lokalen Schlagworte ausmachen. Auch das Verhältnis der intellektuellen Sacherschließung zur automatischen Indexierung von Elementen der Kataloganreicherung (Inhaltsverzeichnisse, Volltexte o.Ä.) wird näher beleuchtet und Stärken und Schwächen der verschiedenen Erschließungsformen werden diskutiert. Abschließend werden Möglichkeiten aufgezeigt, das Potential der lokalen Schlagworte insbesondere für fremdsprachige Suchanfragen stärker einzusetzen, um die zeit- und damit kostenintensive intellektuelle Sacherschließung sinnvoll nachzunutzen