Neural Concept-to-text Generation with Knowledge Graphs

Modern language models are strong at generating grammatically correct, natural lan- guage. However, they still struggle with commonsense reasoning - a task involving making inferences about common everyday situations without explicitly stated informa- tion. Prior research into the topic has shown that providing additional information from external sources helps language models generate better outputs. In this thesis, we explore methods of extracting information from knowledge graphs and using it as additional input for a pre-trained generative language model. We do this by either extracting a subgraph relevant to the context or by using graph neural networks to predict which information is relevant. Moreover, we experiment with a post-editing approach and with a model trained in a multi-task setup (generation and consistency classification). Our methods are evaluated on the CommonGen benchmark for generative commonsense reasoning using both automatic metrics and a detailed error analysis on a small sample of outputs. We show that the methods improve over a simple language model fine-tuning baseline, although they do not set a new state of the art. 1Moderní jazykové modely jsou schopné generovat gramaticky správný, přirozený ja- zyk. Stále však mají potíže s commonsense reasoningem, což je úkol zahrnující vyvozování závěrů o běžných každodenních situacích bez explicitně uvedených informací. Předchozí výzkum tohoto tématu ukázal, že poskytnutí dodatečných informací z externích zdrojů pomáhá jazykovým modelům generovat lepší výstupy. V této práci zkoumáme metody získávání informací ze znalostních grafů a jejich využití jako dodatečného vstupu pro předem natrénovaný generativní jazykový model. Děláme to buď extrakcí podgrafu rele- vantního pro kontext, nebo pomocí grafových neuronových sítí, které předpovídají, které informace jsou relevantní. Kromě toho experimentujeme s post-editačním přístupem a s modelem natrénovaným ve víceúlohovém setupu (generování a klasifikace konzistence). Naše metody jsou hodnoceny na benchmarku CommonGen pro generativní common- sense reasoning s využitím automatických metrik i podrobné analýzy chyb na malém vzorku výstupů. Ukazujeme, že metody se zlepšují ve srovnání s jednoduchým přístu- pem spočívajícím ve vyladění jazykového modelu, ačkoli nepřekonávají nejlepší současné modely. 1Institute of Formal and Applied LinguisticsÚstav formální a aplikované lingvistikyFaculty of Mathematics and PhysicsMatematicko-fyzikální fakult

Neural Concept-to-text Generation with Knowledge Graphs

Modern language models are strong at generating grammatically correct, natural lan- guage. However, they still struggle with commonsense reasoning - a task involving making inferences about common everyday situations without explicitly stated informa- tion. Prior research into the topic has shown that providing additional information from external sources helps language models generate better outputs. In this thesis, we explore methods of extracting information from knowledge graphs and using it as additional input for a pre-trained generative language model. We do this by either extracting a subgraph relevant to the context or by using graph neural networks to predict which information is relevant. Moreover, we experiment with a post-editing approach and with a model trained in a multi-task setup (generation and consistency classification). Our methods are evaluated on the CommonGen benchmark for generative commonsense reasoning using both automatic metrics and a detailed error analysis on a small sample of outputs. We show that the methods improve over a simple language model fine-tuning baseline, although they do not set a new state of the art.

Analytické nástroje pro gregoriánský chorál

Jedným z najzaujímavejších problémov týkajúcich sa gregoriánskeho chorálu je jeho vývoj naprieč storočiami. Objavovanie príbuzných a, naopak, nepríbuzných spevov je nevyhnutným krokom pri riešení tohto problému, po odbornom výbere súboru spevov na porovnanie. Pri tomto kroku môžu pomôcť výpočetné metódy, keďže si vyžaduje zarov- nanie veľkého množstva spevov. Hoci existujú rozsiahle databázy digitalizovaných spevov, v digitálnej muzikológii chýba softvér potrebný na vykonanie tohto kroku. Výsledkom tejto práce je softvérový nástroj, ktorý môže pomôcť pri objavovaní príbuzných spevov pomocou algoritmov pre viacnásobné zarovnanie sekvencií (MSA), čo sú metódy pre- vzaté z bioinformatiky. Umožňuje výskumníkom zarovnať ľubovoľné súbory príbuzných (a nepríbuzných) spevov, a tak odhaliť zhluky príbuzných melódií. Okrem toho uľahčuje objavovanie kontrafaktov a transpozícií. Napriek tomu má nástroj určité obmedzenia: spúšťa sa lokálne a niektoré jeho interaktívne funkcie sa pri spracovaní stoviek údajov stávajú pomalými. Ďalší vývoj je plánovaný v rámci prebiehajúcej spolupráce s výskum- níkmi v oblasti digitálnej muzikológie z Akadémie vied Českej republiky a Filozofickej fakulty Univerzity Karlovej. 1One of the most interesting problems regarding Gregorian chant is its evolution across centuries. Discovering related chants, and, conversely, unrelated ones, is a necessary step in the handling of the problem, after expert selection of the set of chants to compare. Computational methods may help with this step, as it requires aligning large amounts of chants. While there exist large databases of digitalized chants, digital musicology lacks the software necessary to perform this step. This thesis presents a software tool that can help in the discovery of related chants using multiple sequence alignment (MSA) algorithms, methods borrowed from bioinformatics. It enables researchers to align arbi- trary sets of related (and unrelated) chants, thus revealing clusters of related melodies. Additionally, it facilitates the discovery of contrafacta and transpositions. Nevertheless, the tool has some limitations: it is run locally and some of its interactive functionality becomes slow when processing hundreds of data. Further development is planned as part of an ongoing collaboration with digital musicology researchers from the Czech Academy of Sciences and the Faculty of Arts of Charles University. 1Institute of Formal and Applied LinguisticsÚstav formální a aplikované lingvistikyMatematicko-fyzikální fakultaFaculty of Mathematics and Physic

Analytical tools for Gregorian chant

One of the most interesting problems regarding Gregorian chant is its evolution across centuries. Discovering related chants, and, conversely, unrelated ones, is a necessary step in the handling of the problem, after expert selection of the set of chants to compare. Computational methods may help with this step, as it requires aligning large amounts of chants. While there exist large databases of digitalized chants, digital musicology lacks the software necessary to perform this step. This thesis presents a software tool that can help in the discovery of related chants using multiple sequence alignment (MSA) algorithms, methods borrowed from bioinformatics. It enables researchers to align arbi- trary sets of related (and unrelated) chants, thus revealing clusters of related melodies. Additionally, it facilitates the discovery of contrafacta and transpositions. Nevertheless, the tool has some limitations: it is run locally and some of its interactive functionality becomes slow when processing hundreds of data. Further development is planned as part of an ongoing collaboration with digital musicology researchers from the Czech Academy of Sciences and the Faculty of Arts of Charles University.