Entity linking: test collections revisited

C

UGent participation in the TAC2012 entity-linking task

C

Ghent University-IBCN participation in TAC-KBP 2014 slot filling and cold start tasks

C

Deep learning methods for knowledge base population

Knowledge bases store structured information about entities or concepts of the world and can be used in various applications, such as information retrieval or question answering. A major drawback of existing knowledge bases is their incompleteness. In this thesis, we explore deep learning methods for automatically populating them from text, addressing the following tasks: slot filling, uncertainty detection and type-aware relation extraction. Slot filling aims at extracting information about entities from a large text corpus. The Text Analysis Conference yearly provides new evaluation data in the context of an international shared task. We develop a modular system to address this challenge. It was one of the top-ranked systems in the shared task evaluations in 2015. For its slot filler classification module, we propose contextCNN, a convolutional neural network based on context splitting. It improves the performance of the slot filling system by 5.0% micro and 2.9% macro F1. To train our binary and multiclass classification models, we create a dataset using distant supervision and reduce the number of noisy labels with a self-training strategy. For model optimization and evaluation, we automatically extract a labeled benchmark for slot filler classification from the manual shared task assessments from 2012-2014. We show that results on this benchmark are correlated with slot filling pipeline results with a Pearson's correlation coefficient of 0.89 (0.82) on data from 2013 (2014). The combination of patterns, support vector machines and contextCNN achieves the best results on the benchmark with a micro (macro) F1 of 51% (53%) on test. Finally, we analyze the results of the slot filling pipeline and the impact of its components. For knowledge base population, it is essential to assess the factuality of the statements extracted from text. From the sentence "Obama was rumored to be born in Kenya", a system should not conclude that Kenya is the place of birth of Obama. Therefore, we address uncertainty detection in the second part of this thesis. We investigate attention-based models and make a first attempt to systematize the attention design space. Moreover, we propose novel attention variants: External attention, which incorporates an external knowledge source, k-max average attention, which only considers the vectors with the k maximum attention weights, and sequence-preserving attention, which allows to maintain order information. Our convolutional neural network with external k-max average attention sets the new state of the art on a Wikipedia benchmark dataset with an F1 score of 68%. To the best of our knowledge, we are the first to integrate an uncertainty detection component into a slot filling pipeline. It improves precision by 1.4% and micro F1 by 0.4%. In the last part of the thesis, we investigate type-aware relation extraction with neural networks. We compare different models for joint entity and relation classification: pipeline models, jointly trained models and globally normalized models based on structured prediction. First, we show that using entity class prediction scores instead of binary decisions helps relation classification. Second, joint training clearly outperforms pipeline models on a large-scale distantly supervised dataset with fine-grained entity classes. It improves the area under the precision-recall curve from 0.53 to 0.66. Third, we propose a model with a structured prediction output layer, which globally normalizes the score of a triple consisting of the classes of two entities and the relation between them. It improves relation extraction results by 4.4% F1 on a manually labeled benchmark dataset. Our analysis shows that the model learns correct correlations between entity and relation classes. Finally, we are the first to use neural networks for joint entity and relation classification in a slot filling pipeline. The jointly trained model achieves the best micro F1 score with a score of 22% while the neural structured prediction model performs best in terms of macro F1 with a score of 25%

Deep learning methods for knowledge base population

Knowledge bases store structured information about entities or concepts of the world and can be used in various applications, such as information retrieval or question answering. A major drawback of existing knowledge bases is their incompleteness. In this thesis, we explore deep learning methods for automatically populating them from text, addressing the following tasks: slot filling, uncertainty detection and type-aware relation extraction. Slot filling aims at extracting information about entities from a large text corpus. The Text Analysis Conference yearly provides new evaluation data in the context of an international shared task. We develop a modular system to address this challenge. It was one of the top-ranked systems in the shared task evaluations in 2015. For its slot filler classification module, we propose contextCNN, a convolutional neural network based on context splitting. It improves the performance of the slot filling system by 5.0% micro and 2.9% macro F1. To train our binary and multiclass classification models, we create a dataset using distant supervision and reduce the number of noisy labels with a self-training strategy. For model optimization and evaluation, we automatically extract a labeled benchmark for slot filler classification from the manual shared task assessments from 2012-2014. We show that results on this benchmark are correlated with slot filling pipeline results with a Pearson's correlation coefficient of 0.89 (0.82) on data from 2013 (2014). The combination of patterns, support vector machines and contextCNN achieves the best results on the benchmark with a micro (macro) F1 of 51% (53%) on test. Finally, we analyze the results of the slot filling pipeline and the impact of its components. For knowledge base population, it is essential to assess the factuality of the statements extracted from text. From the sentence "Obama was rumored to be born in Kenya", a system should not conclude that Kenya is the place of birth of Obama. Therefore, we address uncertainty detection in the second part of this thesis. We investigate attention-based models and make a first attempt to systematize the attention design space. Moreover, we propose novel attention variants: External attention, which incorporates an external knowledge source, k-max average attention, which only considers the vectors with the k maximum attention weights, and sequence-preserving attention, which allows to maintain order information. Our convolutional neural network with external k-max average attention sets the new state of the art on a Wikipedia benchmark dataset with an F1 score of 68%. To the best of our knowledge, we are the first to integrate an uncertainty detection component into a slot filling pipeline. It improves precision by 1.4% and micro F1 by 0.4%. In the last part of the thesis, we investigate type-aware relation extraction with neural networks. We compare different models for joint entity and relation classification: pipeline models, jointly trained models and globally normalized models based on structured prediction. First, we show that using entity class prediction scores instead of binary decisions helps relation classification. Second, joint training clearly outperforms pipeline models on a large-scale distantly supervised dataset with fine-grained entity classes. It improves the area under the precision-recall curve from 0.53 to 0.66. Third, we propose a model with a structured prediction output layer, which globally normalizes the score of a triple consisting of the classes of two entities and the relation between them. It improves relation extraction results by 4.4% F1 on a manually labeled benchmark dataset. Our analysis shows that the model learns correct correlations between entity and relation classes. Finally, we are the first to use neural networks for joint entity and relation classification in a slot filling pipeline. The jointly trained model achieves the best micro F1 score with a score of 22% while the neural structured prediction model performs best in terms of macro F1 with a score of 25%

Organisatie van geestelijke gezondheidszorg voor kinderen en jongeren : literatuurstudie en internationaal overzicht

INTRODUCTIE: In de laatste decennia van de vorige eeuw werden er in de Westerse landen belangrijke hervormingen ingezet in de sector van de geestelijke gezondheidszorg (GGZ). In de GGZ voor volwassenen kwam er geleidelijk een model van “balanced care” (“gebalanceerde zorg”) op de voorgrond: een diversiteit aan diensten biedt de zorg zo kort mogelijk bij de eigen leefwereld van de patiënt aan, en enkel indien nodig in een instelling. Tegelijkertijd moet men ook een vlotte en naadloze overgang van de ene dienst naar de andere garanderen. Geestelijke gezondheidsproblemen bij kinderen en jongeren zijn niet onfrequent. De WGO (Wereldgezondheidsorganisatie) schat de prevalentie in Westerse landen op ongeveer 20%. Ongeveer 5% zou een klinische tussenkomst nodig hebben. De sector van GGZ voor kinderen en jongeren is pas veel later ontstaan dan deze van de volwassenen, en kent een andere zorgstructuur. Toch dringen de hierboven geschetste hervormingsprincipes ook hier door. Bovendien dient zorg voor kinderen en jongeren vaak over de grenzen van de GGZ sector heen te gebeuren, bijvoorbeeld door de huisarts of kinderarts, en komen veel problemen bij kinderen en jongeren voor het eerst aan het licht buiten de zorgsector, zoals op school. GGZ voor kinderen en jongeren dient dan ook deze zogenaamde “belendende sectoren” mee te betrekken: welzijnswerk, justitie, gehandicaptenzorg, onderwijs. DOELSTELLING: De doelstelling van dit rapport is om kennis bijeen te brengen over organisatorische en financieringsaspecten van GGZ voor kinderen en jongeren, en dit in het licht van de hierboven geschetste context. De specifieke therapie-inhoud blijft buiten beschouwing. Het rapport bestaat uit twee delen: een overzicht van de literatuur en van de organisatie van GGZ voor kinderen en jongeren in België en drie andere landen. Dit rapport formuleert nog geen voorstellen voor de zorgorganisatie in België. Voor dit proces zullen Belgische stakeholders betrokken worden. Het resultaat hiervan zal beschreven worden in een afzonderlijk rapport. METHODE: Zowel voor het literatuuronderzoek als voor het internationale overzicht werd gezocht in databases met peer-reviewed publicaties en in de grijze literatuur. In het literatuuronderzoek werden naast vergelijkend onderzoek ook descriptieve studies en kwalitatief onderzoek geïncludeerd. Voor het internationaal overzicht werd de beschikbare literatuur aangevuld met gegevens van lokale informanten. MODELLEN VAN ZORGORGANISATIE: Dit rapport legt de focus op de meest geciteerde modellen, en die modellen waarvoor er vergelijkend onderzoek gebeurde. De twee meest geciteerde modellen in de literatuur zijn het WGO-model en het Systems of care model. Beide zijn vrij algemeen en vragen verdere uitwerking door het land of de regio die GGZ voor kinderen en jongeren wil implementeren. De meeste vergelijkende studies zijn wel gekenmerkt door talrijke methodologische beperkingen zoals onduidelijke inclusiecriteria, onduidelijke uitkomstmaten of kleine steekproeven. INTERNATIONAAL OVERZICHT: Om redenen van haalbaarheid werd gekozen om dit deel te beperken tot België, Nederland, Canada (British Columbia) en Engeland. De selectie vertrok van een long-list waarop vervolgens een aantal selectiecriteria werden toegepast. CONCLUSIE: Het belang van een nationaal/regionaal beleid voor kinder- en jeugd GGZ, geconcretiseerd in een duidelijk plan, is al langer bekend. Toch is de literatuur over organisatiemodellen binnen kinder- en jeugd GGZ weinig richtinggevend voor beleidsmakers. De twee belangrijkste modellen die in de literatuur aangetroffen werden geven enkel grote beleidslijnen van algemene aard aan. Bovendien zijn de wetenschappelijke studies in dit domein van beperkte kwaliteit en blijft een groot deel van de beleidsvraagstukken niet of onvoldoende onderzocht. Wel kan men uit het onderzoek ivm. het Systems of care besluiten dat de overheid niet enkel een betere zorgorganisatie en –coordinatie dient te stimuleren. Zij dient ook het ontwikkelen en verspreiden van doelmatige therapeutische concepten te bevorderen. Het onderzoek ivm. preventie en behandeling van angststoornissen via scholen toont aan dat men moet durven zoeken naar oplossingen in samenwerking met andere sectoren buiten de gezondheidszorg. In de bestudeerde landen gaan de hervormingen uit van theoretische denkkaders die gebaseerd zijn op belangrijke ethische principes en waarden; deze overlappen in belangrijke mate tussen de verschillende landen. Echter, bij het praktisch realiseren van dit denkkader ondervindt men talrijke moeilijkheden, en in een aantal gevallen mislukt men in de vooropgestelde doelstellingen. Over het daadwerkelijke resultaat van de gevoerde hervormingen zijn er meestal weinig harde gegevens. Wellicht kan men pas tot een positief resultaat komen als zowel klinische, organisatorische, als financiële aspecten alle tegelijk aangepakt worden; en als ook de eigenheid van elk van de betrokken sectoren daarbij niet uit het oog verloren wordt. In de volgende faze van deze studie zullen samen met de Belgische stakeholders voorstellen voor hervormingen geformuleerd worden. De resultaten hiervan worden afzonderlijk gepubliceerd

TETRAGON: Balance of the current situation of the support to SMEs in technology transfer within different organizations, external agencies and the private sector

DESIGN OPTIONS PAPER TO IMPROVE TECHNOLOGY TRANSFER MEASURES ADOPTED BY AGENCIES TO ENHANCE SMEs INNOVATION CAPACIT