Abduction, Explanation and Relevance Feedback

Selecting good query terms to represent an information need is difficult. The complexity of verbalising an information need can increase when the need is vague, when the document collection is unfamiliar or when the searcher is inexperienced with information retrieval (IR) systems. It is much easier, however, for a user to assess which documents contain relevant information. Relevance feedback (RF) techniques make use of this fact to automatically modify a query representation based on the documents a user considers relevant. RF has proved to be relatively successful at increasing the effectiveness of retrieval systems in certain types of search, and RF techniques have gradually appeared in operational systems and even some Web engines. However, the traditional approaches to RF do not consider the behavioural aspects of information seeking. The standard RF algorithms consider only what documents the user has marked as relevant; they do not consider how the user has assessed relevance. For RF to become an effective support to information seeking it is imperative to develop new models of RF that are capable of incorporating how users make relevance assessments. In this thesis I view RF as a process of explanation. A RF theory should provide an explanation of why a document is relevant to an information need. Such an explanation can be based on how information is used within documents. I use abductive inference to provide a framework for an explanation-based account of RF. Abductive inference is specifically designed as a technique for generating explanations of complex events, and has been widely used in a range of diagnostic systems. Such a framework is capable of producing a set of possible explanations for why a user marked a number of documents relevant at the current search iteration. The choice of which explanation to use is guided by information on how the user has interacted with the system---how many documents they have marked relevant, where in the document ranking the relevant documents occur and the relevance score given to a document by the user. This behavioural information is used to create explanations and to choose which type of explanation is required in the search. The explanation is then used as the basis of a modified query to be submitted to the system. I also investigate how the notion of explanation can be used at the interface to encourage more use of RF by searchers

An axiomatic theory for information retrieval

Systemen die aan de hand van een vraagstelling relevante informatie opleveren worden information retrieval (IR) systemen genoemd. Deze systemen spelen een steeds belang- rijker rol in de informatievoorziening, zeker gezien de toenemende mate waarin docu- menten met ongestructureerde informatie (zoals rapporten, memo's, verslagen, foto's en video's) voor nader gebruik worden opgeslagen en het toenemend gebruik van digitale bibliotheken voor dit doel. Helaas komt het maar al te vaak voor dat opgeslagen rele- vante informatie, indien nodig, niet meer terug te vinden is. Dit is een gevolg van het feit dat het heel lastig is om te bepalen of een document relevant is voor een gegeven vraagstelling. Het terugvinden van relevante informatie, met uitsluiting van irrelevante informatie, wordt bovendien bemoeilijkt door het feit dat informatie niet meer in een statisch informatiedomein staat opgeslagen maar, mede door de opkomst van het digitale wegennet (Internet), zich kan bevinden in diverse, over de wereld verspreide, dynamische informatiedomeinen. De essentie van het zoeken naar relevante informatie kan als volgt omschreven worden: `Op welke wijze kan men relevante informatie onderscheiden van niet-relevante informatie met betrekking tot een zekere informatiebehoefte.' Naarmate een informatiedomein meer informatie bevat en er meer informatiedomeinen moeten worden doorzocht, wordt de rol van een IR-systeem belangrijker. Handmatige controle van het resultaat -is alle relevante informatie nu wel gevonden?- is onmogelijk geworden. Het wordt zodoende steeds belangrijker om op een verantwoorde wijze een IR-systeem, of een combinatie van meerdere IR-systemen, te selecteren. Om te helpen bij het maken van een verantwoorde keuze wordt in dit proefschrift een theoretisch raamwerk voor IR-systemen gepresenteerd. In dit raamwerk wordt vooral gekeken naar de wijze waarop in een IR-systeem een relevantie-beslissing tot stand komt. Aan de hand van deze studie zijn we in staat kwalitatieve uitspraken te doen over de relevantie-beslissingen van verschillende IR-systemen en kunnen we op deze manier ko- men tot een vergelijking van hun doelmatigheid. Als uitgangspunt geldt dat ieder IR-systeem een bepaalde methode heeft om te beslis- sen of een document relevant is gegeven een vraagstelling. Deze methode is afgeleid aan de hand van een model. Een IR-model is gebaseerd op de volgende drie fundamenten: 191?192 Samenvatting (i) de documentrepresentatie voor de meeste IR-modellen is dit gewoon een verzameling representatieve tref- woorden (keywords) maar steeds vaker gebruikt men tegenwoordig meer complexe representaties die de inhoud van een document preciezer omschrijven. (ii) de vraagstelling deze wordt meestal zo samengesteld dat deze direct passend is op de documentre- presentatie van het model. In veel modellen kan een vraagstelling worden samen- gesteld met behulp van connectoren zoals `en', `of', en `niet'. (iii) de matchingfunctie deze functie bepaalt of een documentrepresentatie relevant geacht kan worden ge- geven de vraagstelling. Sommige modellen maken hierbij gebruik van opgeslagen kennis zoals die bijvoorbeeld aanwezig is in een thesaurus. Een matchingfunctie kan in plaats van relevant of niet relevant ook gradaties aangeven door middel van een rankingproces. Information retrieval onderzoekers voeren vele discussies of de aanpak in model X beter is dan de aanpak in model Y. In deze discussie kiest men vaak positie aan de hand van toetsen die plaats vinden op grote, speciaal geprepareerde testcollecties (bijvoorbeeld de TREC testcollectie die meer dan 3 gigabyte aan informatie bevat). In zogenaamde recall en precision-berekeningen worden de resultaten van de toetsen omgezet in statistische waarden, die aangeven hoe doortastend en accuraat een bepaald IR-systeem is. De recallwaarde geeft aan hoeveel relevante documenten door het systeem zijn opgeleverd ten opzichte van de in het informatiedomein aanwezige relevante documenten. Precision geeft aan hoeveel opgeleverde documenten daadwerkelijk relevant zijn. Een hoge recall geeft dus aan dat het IR-systeem min of meer alles gevonden heeft wat relevant is, een hoge precision geeft aan dat alles wat door het systeem gevonden is, ook relevant is. In dit proefschrift wordt, in plaats van een experimentele, een theoretische vergelij- kingsmethode voor IR-systemen gepresenteerd. Omdat elk IR-model gebaseerd is op een geschikt begrip van `relevantie', wordt eerst onderzocht hoe dit begrip kan worden ge- formaliseerd. In 1971 introduceerde Cooper een objectieve notie van relevantie genaamd `logisch relevant'. Deze notie plaatst het begrip relevantie in een logische context, en onttrekt het aan subjectieve interpretaties. Bij logische relevantie gaat het erom of men op een logische wijze een relevantie-beslissing kan a eiden. Om verwarring tussen de be- grippen `relevant' en `logisch relevant' te vermijden, gebruiken we determ omtrentheid (in het engels `aboutness') om aan te duiden dat informatie omtrent andere informatie is. In 1986 presenteerde Van Rijsbergen het idee om te onderzoeken of er een logica, dus een taal en een formeel bewijssysteem, bestaat die de omtrentheid-relatie kan de- ni?eren. In dit proefschrift wordt aangetoond dat dit mogelijk is. Dit is vervolgens het?193 uitgangspunt van onze vergelijkingsmethode: stel dat omtrentheid is te karakteriseren in termen van een logica, dan kan van ieder IR-model een bewijssysteem van omtrentheid gegeven worden. Zo kunnen we dus IR-modellen aan de hand van hun bewijssystemen gaan vergelijken. In dit proefschrift worden de omtrentheidsbeslissingen van een aantal bekende IR- modellen onderzocht en vervolgens vergeleken. Daarvoor wordt eerst in hoofdstuk 3 een theoretisch raamwerk samengesteld, waarin de fundamenten van de IR-systemen uitgedrukt kunnen worden. Binnen dit raamwerk wordt een taal geformuleerd waarin representaties van documenten en vraagstellingen beschreven kunnen worden. Deze taal is gebaseerd op de zogenaamde Situation Theory. De representaties van documenten en de vraagstellingen worden vertaald naar situaties. Rest de vraag wanneer een bepaalde situatie omtrent een andere situatie is. Om deze vraag te beantwoorden presenteren we een aantal axioma's en a eidingsre- gels (tezamen postulaten genoemd). Deze postulaten drukken bepaalde karakteristieke eigenschappen van `omtrentheid' uit. Zo is er bijvoorbeeld de regel Symmetry. Deze regel stelt dat er geen enkel verschil bestaat tussen concluderen dat situatie S omtrent situatie T is en concluderen dat situatie T omtrent situatie S is. Met behulp van een taal en een keuze uit de axioma's en de regels, kan een bewijssysteem voor omtrentheid gecre?eerd worden. In dit systeem kunnen we dan stapsgewijs, gegeven een aantal feitelijkheden (de axioma's) en bepaalde regels, a eiden of een situatie omtrent een andere situatie is. Deze manier van redeneren kunnen we op IR-modellen toepassen. In hoofdstuk 4 postuleren we zes bekende IR-modellen vanuit deze invalshoek. Na de presentatie van elk model worden de taal van situaties, de axioma's en de a eidingsregels gegeven die horen bij het model. Om aan te kunnen tonen dat het bewijssysteem ook inderdaad het IR-model representeert, worden gezondheid en volledigheid theorema's be- wezen. Is een bewijssysteem gezond ten opzichte van het model dan betekent dit dat alles wat in het bewijssysteem bewezen kan worden ook inderdaad een omtrentheidsbeslissing van het model is. Volledigheid stelt het omgekeerde: alle omtrentheidsbeslissingen van het model kunnen ook bewezen worden met het voorgestelde systeem. In hoofdstuk 5 gebruiken we de theorie om IR-systemen te vergelijken. We vergelijken IR-modellen op basis van hun bewijssystemen. Sommige systemen zijn `bevat' in andere systemen. Een systeem A is bevat in een systeem B als iedere omtrentheidsbeslissing van A ook een omtrentheidsbeslissing van B is en als bovendien de taal van A een deelverzameling van de taal van B is. In hoofdstuk 5 deni?eren we verschillende niveaus van bevat zijn, om vervolgens tot een overzicht tekomen op welke wijze de zes modellen aan elkaar gerelateerd zijn. Men kan zich nu richten op de vraag wat het voor een relevantie-beslissing van een IR-model A ten opzichte van de relevantie-beslissing van model B betekent dat het corresponderend bewijssysteem van A bevat is in het bewijssysteem van B. Het is dan?194 Samenvatting mogelijk om kwalitatieve uitspraken te doen over kwantitatieve grootheden zoals recall en precision. Zo wordt in hoofdstuk 5 bewezen dat als een omtrentheidsrelatie monotoon 1 is, een uitbreiding van de documentrepresentatie (zoals het toevoegen van woorden aan de beschrijving van het een document) nooit zal leiden tot een verlaging van de recall. Bovendien kunnen we uitspraken doen over de recall-waarde, en in enkele gevallen over de precision-waarde, van de gepresenteerde modellen ten opzichte van elkaar. In hoofdstuk 6 presenteren we drie door ons onderzochte mogelijke toepassingen van de theorie. Allereerst gebruiken we de theorie om te analyseren op welke wijze men IR- systemen met elkaar kan combineren. De aandachtspunten zijn dan welke systemen aan elkaar gekoppeld kunnen worden, en op welke wijze, en of dit inderdaad leidt tot een beter resultaat. Vervolgens geven we aan dat een ordening op bewijssystemen kan leiden tot een preferenti?ele ordening van documenten. Bovendien kan men, gegeven een gewenste ordening op bewijssystemen, het rankingproces van IR-systemen inspecteren. Tenslotte wordt in hoofdstuk 6 getoond op welke wijze men de meta-theorie kan toepassen als modelleringsmethode voor IR ge-ori?enteerde hypermedia toepassingen. Samenvattend, met behulp van de theorie die in dit proefschrift wordt opgebouwd, kan men analyseren op welke wijze IR-systemen besluiten dat een document relevant is gegeven een vraagstelling. Deze analyse kan men op velerlei manieren toepassen. Het is mogelijk om de beslisstappen te vergelijken, te verbeteren en te koppelen. De theorie is ook toepasbaar om andere aspecten, zoals ordening van documenten en hypermedia- toepassingen, te bestuderen. 1 Monotoon betekent hier: als voor iedere situatie S; T en U geldt dat: als S omtrent T is dan is S verenigd met U omtrent T

Knowledge mining over scientific literature and technical documentation

Abstract This dissertation focuses on the extraction of information implicitly encoded in domain descriptions (technical terminology and related items) and its usage within a restricted-domain question answering system (QA). Since different variants of the same term can be used to refer to the same domain entity, it is necessary to recognize all possible forms of a given term and structure them, so that they can be used in the question answering process. The knowledge about domain descriptions and their mutual relations is leveraged in an extension to an existing QA system, aimed at the technical maintenance manual of a well-known commercial aircraft. The original version of the QA system did not make use of domain descriptions, which are the novelty introduced by the present work. The explicit treatment of domain descriptions provided considerable gains in terms of efficiency, in particular in the process of analysis of the background document collection. Similar techniques were later applied to another domain (biomedical scientific literature), focusing in particular on protein- protein interactions. This dissertation describes in particular: (1) the extraction of domain specific lexical items which refer to entities of the domain; (2) the detection of relationships (like synonymy and hyponymy) among such items, and their organization into a conceptual structure; (3) their usage within a domain restricted question answering system, in order to facilitate the correct identification of relevant answers to a query; (4) the adaptation of the system to another domain, and extension of the basic hypothesis to tasks other than question answering. Zusammenfassung Das Thema dieser Dissertation ist die Extraktion von Information, welche implizit in technischen Terminologien und ähnlichen Ressourcen enthalten ist, sowie ihre Anwendung in einem Antwortextraktionssystem (AE). Da verschiedene Varianten desselben Terms verwendet werden können, um auf den gleichen Begriff zu verweisen, ist die Erkennung und Strukturierung aller möglichen Formen Voraussetzung für den Einsatz in einem AE-System. Die Kenntnisse über Terme und deren Relationen werden in einem AE System angewandt, welches auf dem Wartungshandbuch eines bekannten Verkehrsflugzeug fokussiert. Die ursprüngliche Version des Systems hatte keine explizite Behandlung von Terminologie. Die explizite Behandlung von Terminologie lieferte eine beachtliche Verbesserung der Effizienz des Systems, insbesondere was die Analyse der zugrundeliegenden Dokumentensammlung betrifft. Ähnliche Methodologien wurden später auf einer anderen Domäne angewandt (biomedizinische Literatur), mit einen besonderen Fokus auf Interaktionen zwischen Proteinen. Diese Dissertation beschreibt insbesondere: (1) die Extraktion der Terminologie (2) die Identifikation der Relationen zwischen Termen (wie z.B. Synonymie und Hyponymie) (3) deren Verwendung in einen AE System (4) die Portierung des Systems auf eine andere Domäne

Spatial ontologies for architectural heritage

Informatics and artificial intelligence have generated new requirements for digital archiving, information, and documentation. Semantic interoperability has become fundamental for the management and sharing of information. The constraints to data interpretation enable both database interoperability, for data and schemas sharing and reuse, and information retrieval in large datasets. Another challenging issue is the exploitation of automated reasoning possibilities. The solution is the use of domain ontologies as a reference for data modelling in information systems. The architectural heritage (AH) domain is considered in this thesis. The documentation in this field, particularly complex and multifaceted, is well-known to be critical for the preservation, knowledge, and promotion of the monuments. For these reasons, digital inventories, also exploiting standards and new semantic technologies, are developed by international organisations (Getty Institute, ONU, European Union). Geometric and geographic information is essential part of a monument. It is composed by a number of aspects (spatial, topological, and mereological relations; accuracy; multi-scale representation; time; etc.). Currently, geomatics permits the obtaining of very accurate and dense 3D models (possibly enriched with textures) and derived products, in both raster and vector format. Many standards were published for the geographic field or in the cultural heritage domain. However, the first ones are limited in the foreseen representation scales (the maximum is achieved by OGC CityGML), and the semantic values do not consider the full semantic richness of AH. The second ones (especially the core ontology CIDOC – CRM, the Conceptual Reference Model of the Documentation Commettee of the International Council of Museums) were employed to document museums’ objects. Even if it was recently extended to standing buildings and a spatial extension was included, the integration of complex 3D models has not yet been achieved. In this thesis, the aspects (especially spatial issues) to consider in the documentation of monuments are analysed. In the light of them, the OGC CityGML is extended for the management of AH complexity. An approach ‘from the landscape to the detail’ is used, for considering the monument in a wider system, which is essential for analysis and reasoning about such complex objects. An implementation test is conducted on a case study, preferring open source applications

Theories of information and uncertainty for the modelling of information retrieval : an application of situation theory and Dempster-Shafer's theory of evidence

Current information retrieval models only offer simplistic and specific representations of information. Therefore, there is a need for the development of a new formalism able to model information retrieval systems in a more generic manner. In 1986, Van Rijsbergen suggested that such formalisms can be both appropriately and powerfully defined within a logic. The resulting formalism should capture information as it appears in an information retrieval system, and also in any of its inherent forms. The aim of this thesis is to understand the nature of information in information retrieval, and to propose a logic-based model of an information retrieval system that reflects this nature. The first objective of this thesis is to identify essential features of information in an information retrieval system. These are: 0 flow, 0 intensionality, 0 partiality, 0 structure, 0 significance, and o uncertainty. It is shown that the first four features are qualitative, whereas the last two are quantitative, and that their modelling requires different frameworks: a theory of information, and a theory of uncertainty, respectively. The second objective of this thesis is to determine the appropriate framework for each type of feature, and to develop a method to combine them in a consistent fashion. The combination is based on the Transformation Principle. Many specific attempts have been made to derive an adequate definition of information. The one adopted in this thesis is based on that of Dretske, Barwise, and Devlin who claimed that there is a primitive notion of information in terms of which a logic can be defined, and subsequently developed a theory of information, namely Situation Theory. Their approach was in accordance with Van Rijsbergen' s suggestion of a logic-based formalism for modelling an information retrieval system. This thesis shows that Situation Theory is best at representing all the qualitative features. Regarding the modelling of the quantitative features of information, this thesis shows that the framework that models them best is the Dempster-Shafer Theory of Evidence, together with the notion of refinement, later introduced by Shafer. The third objective of this thesis is to develop a model of an information retrieval system based on Situation Theory and the Dempster-Shafer Theory of Evidence. This is done in two steps. First, the unstructured model is defined in which the structure and the significance of information are not accounted for. Second, the unstructured model is extended into the structured model, which incorporates the structure and the significance of information. This strategy is adopted because it enables the careful representation of the flow of information to be performed first. The final objective of the thesis is to implement the model and to perform empirical evaluation to assess its validity. The unstructured and the structured models are implemented based on an existing on-line thesaurus, known as WordNet. The experiments performed to evaluate the two models use the National Physical Laboratory standard test collection. The experimental performance obtained was poor, because it was difficult to extract the flow of information from the document set. This was mainly due to the data used in the experimentation which was inappropriate for the test collection. However, this thesis shows that if more appropriate data, for example, indexing tools and thesauri, were available, better performances would be obtained. The conclusion of this work was that Situation Theory, combined with the Dempster-Shafer Theory of Evidence, allows the appropriate and powerful representation of several essential features of information in an information retrieval system. Although its implementation presents some difficulties, the model is the first of its kind to capture, in a general manner, these features within a uniform framework. As a result, it can be easily generalized to many types of information retrieval systems (e.g., interactive, multimedia systems), or many aspects of the retrieval process (e.g., user modelling)