Measuring Agreement on Set-valued Items (MASI) for Semantic and Pragmatic Annotation

Annotation projects dealing with complex semantic or pragmatic phenomena face the dilemma of creating annotation schemes that oversimplify the phenomena, or that capture distinctions conventional reliability metrics cannot measure adequately. The solution to the dilemma is to develop metrics that quantify the decisions that annotators are asked to make. This paper discusses MASI, distance metric for comparing sets, and illustrates its use in quantifying the reliability of a specific dataset. Annotations of Summary Content Units (SCUs) generate models referred to as pyramids which can be used to evaluate unseen human summaries or machine summaries. The paper presents reliability results for five pairs of pyramids created for document sets from the 2003 Document Understanding Conference (DUC). The annotators worked independently of each other. Differences between application of MASI to pyramid annotation and its previous application to co-reference annotation are discussed. In addition, it is argued that a paradigmatic reliability study should relate measures of inter-annotator agreement to independent assessments, such as significance tests of the annotated variables with respect to other phenomena. In effect, what counts as sufficiently reliable intera-annotator agreement depends on the use the annotated data will be put to

Building a resource for studying translation shifts

This paper describes an interdisciplinary approach which brings together the fields of corpus linguistics and translation studies. It presents ongoing work on the creation of a corpus resource in which translation shifts are explicitly annotated. Translation shifts denote departures from formal correspondence between source and target text, i.e. deviations that have occurred during the translation process. A resource in which such shifts are annotated in a systematic way will make it possible to study those phenomena that need to be addressed if machine translation output is to resemble human translation. The resource described in this paper contains English source texts (parliamentary proceedings) and their German translations. The shift annotation is based on predicate-argument structures and proceeds in two steps: first, predicates and their arguments are annotated monolingually in a straightforward manner. Then, the corresponding English and German predicates and arguments are aligned with each other. Whenever a shift - mainly grammatical or semantic -has occurred, the alignment is tagged accordingly.Comment: 6 pages, 1 figur

Los modelos de semántica de marcos para la representación del conocimiento jurídico en el Derecho Comparado: el caso de la responsabilidad del Estado

En aquest article s'analitza en profunditat i es realitza una proposta de representació del coneixement jurídic subjacent al concepte de responsabilitat de l'Estat des d'una perspectiva multilingüe i juscomparativa. Per a això, es proposa d'augmentar la informació dels marcs semàntics (a partir d'ara, marcs) a través dels semantic types en el sistema FrameNet, amb el doble objectiu de servir com a representació interlingua del coneixement jurídic i de formalitzar les causes del desajust lèxic i conceptual dels sistemes jurídics. S'estudia el principi de responsabilitat de l'Estat en els models espanyol, anglès, francès i italià i es demostra com una descripció més detallada del coneixement jurídic, a través de la vinculació dels frame elements (a partir d'ara designats amb l'acrònim FE) dels marcs amb els tipus semàntics [±sentient], possibilita no només la utilització d'aquests com a representació interlingua, sinó, a més, procura explicar les divergències/convergències dels diferents plantejaments del concepte de responsabilitat de l'Estat, ancorats en contextos socioculturals de diferent tradició. La present proposta evidencia els avantatges de l'esmentada formalització com a model explicatiu del procés dinàmic de vaig donar/convergència en la jurisprudència del Tribunal de Justícia de la Unió Europea (a partir d'ara designat amb la sigla TJUE).This article offers an in-depth analysis, and proposes a representation of the legal knowledge underlying the concept of State responsibility from a multilingual and comparative law perspective. To this end, it recommends increasing information on frame semantics (hereinafter, frames) through the semantic types in the FrameNet system, with the double purpose of acting as an interlingual representation of legal knowledge and formalising the causes for lexical and conceptual imbalances in legal systems. The article studies the principle of State responsibility in the Spanish, English, French and Italian models and shows how a more detailed description of legal knowledge through the linking of the frame elements (hereinafter designed by the acronym FE) of the frames with the semantic types [±sentient], makes it feasible not just to use these as an interlingual representation, but also to try to explain the divergences/convergences of the various approaches to the concept of the State responsibility that are rooted in sociocultural contexts of a different tradition. This proposal demonstrates the advantages of this formalisation as a model to explain the dynamic process of divergence/convergence in the case law of the Court of Justice of the European Union (referred to hereinafter by the acronym CJEU).En este artículo se analiza en profundidad y se realiza una propuesta de representación del conocimiento jurídico subyacente al concepto de responsabilidad del Estado desde una perspectiva multilingüe y juscomparativa. Para ello, se propone aumentar la información de los marcos semánticos (a partir de ahora, marcos) a través de los semantic types en el sistema FrameNet, con el doble objetivo de servir como representación interlingüe del conocimiento jurídico y de formalizar las causas del desajuste léxico y conceptual de los sistemas jurídicos. Se estudia el principio de responsabilidad del Estado en los modelos español, inglés, francés e italiano y se demuestra cómo una descripción más detallada del conocimiento jurídico, a través de la vinculación de los frame elements (a partir de ahora designados con el acrónimo FE) de los marcos con los tipos semánticos [±sentient], posibilita no solo la utilización de estos como representación interlingüe, sino, además, procura explicar las divergencias/convergencias de los distintos planteamientos del concepto de responsabilidad del Estado, anclados en contextos socioculturales de diferente tradición. La presente propuesta evidencia las ventajas de dicha formalización como modelo explicativo del proceso dinámico de di/convergencia en la jurisprudencia del Tribunal de Justicia de la Unión Europea (a partir de ahora designado con la sigla TJUE)

Использование системы компьютерных онтологий как средства формирования проектировочных компетентностей будущих инженеров-педагогов

Дисертація на здобуття наукового ступеня кандидата педагогічних наук (доктора філософії) зі спеціальності 13.00.10 – інформаційно-комунікаційні технології в освіті. – Тернопільський національний педагогічний університет імені Володимира Гнатюка, Інститут інформаційних технологій і засобів навчання НАПН України, Тернопіль, Київ, 2018. Дисертаційне дослідження присвячене проблемі використання системи комп’ютерних онтологій як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів. У дисертації здійснено теоретичний аналіз проблеми та запропоновано нове вирішення наукової задачі, яка полягає у розробці та теоретичному обґрунтуванні методики використання системи комп’ютерних онтологій як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів у галузі комп’ютерних технологій. Досліджено поняття онтологій у контексті комп’ютерних наук. Встановлено, що комп’ютерні онтології – це формалізоване представлення знань про певну предметну галузь (середовище, світ), придатне для автоматизованої обробки. У діяльності інженера-педагога онтологічні методи найчастіше застосовуються для побудови моделей процесів. Ураховуючи зміст проектувальних компетентностей інженера-педагога, у його професійній діяльності виділено такі напрямки використання комп’ютерних онтологій як: інтерфейс; обробка природної мови; системи питання-відповіді; класифікація товарів і послуг; семантична розмітка тексту; моделювання організаційної структури підприємств; системи нормативно-довідкової інформації, а також запропоноване у ході дослідження проектування дидактичних матеріалів. Визначено критерії добору системи комп’ютерних онтологій: 1) архітектура програмного забезпечення та розвиток інструментів; 2) функціональна сумісність; 3) інтуїтивність інтерфейсу. Розглянуто зміст і структуру проектувальних компетентностей інженерів педагогів у контексті використання систем комп’ютерних онтологій та виокремлено чотири взаємопов’язані компоненти їх сформованості: 1) мотиваційно-цільовий; 2) когнітивно-інтелектуальний; 3) професійно-діяльнісний; 4) результативно-рефлексивний. Визначено критерії (ціннісний, знаннєвий, операційний, оцінювально-аналітичний) сформованості проектувальних компетентностей і їх показники та чотири рівні сформованості цих компетентностей засобами систем комп’ютерних онтологій: високий (креативний), необхідний (достатній), критичний (недостатній), низький (неприпустимий). Розроблено інтегровані онтологічні моделі предметної галузі навчальної дисципліни, навчальних ресурсів університету та профілю студента. Для автоматизації процесу проектування електронних дидактичних матеріалів, на основі методу алгоритмів та розроблених онтологічних моделей, запропонована модель використання систем комп’ютерних онтологій, що базується на трьох рівнях: 1) інтерфейсу; 2) логічному; 3) даних. Відповідно до цієї моделі та структури проектувальних компетентностей, розроблено модель використання системи комп’ютерних онтологій як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів, що є сукупністю цільового, змістового, технологічного і аналітично-результативного компонентів. Для реалізації моделі використання системи комп’ютерних онтологій як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів обґрунтовано педагогічні умови їх використання: 1) забезпечення мотивації та стимулювання навчально-пізнавальної діяльності щодо використання системи комп’ютерних онтологій та моделювання їх застосування у контексті різноманітних галузей професійної діяльності майбутніх інженерів-педагогів у галузі комп’ютерних технологій; 2) використання у процесі навчання інженерів-педагогів активних форм, методів та інноваційних засобів навчання, що надають можливість проектувати дидактичні матеріали засобами систем комп’ютерних онтологій, функціональні можливості яких є основою для формування їх проектувальних компетентностей; 3) розробка навчально-методичного забезпечення дидактичного проектування на базі онтологій засобами систем комп’ютерних онтологій для формування в інженерів-педагогів проектувальних компетентностей. Розроблена методика використання систем комп’ютерних онтологій як засобу формування проектувальних компетентностей на основі компетентнісного, системно-діяльнісного, ресурсного та практично орієнтованого підходів до вибору форм та методів навчання. Досліджено ефективність визначених педагогічних умов та розробленої методики використання системи комп’ютерних онтологій як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів на основі результатів, одержаних внаслідок аналізу даних про сформованість цих компетентностей засобами систем комп’ютерних онтологій, де за всіма показниками майбутні інженери-педагоги в галузі комп’ютерних технологій експериментальних груп проявляють позитивну динаміку сформованості компонентів проектувальних компетентностей. Наукова новизна і теоретичне значення дослідження полягає у тому, що: вперше: розроблено та теоретично обґрунтовано модель використання СКО як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів; визначено компонентний склад проектувальних компетентностей майбутніх інженерів-педагогів засобами СКО (мотиваційно-цільовий, когнітивно інтелектуальний, професійно-діяльнісний, результативно-рефлексивний); представлено модель використання СКО майбутнім інженером-педагогом для створення електронних дидактичних матеріалів; обґрунтовано педагогічні умови використання СКО як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів; визначено критерії добору СКО для навчання майбутніх інженерів-педагогів у галузі КТ; спроектовано інтегровані онтологічні моделі: предметної галузі навчальної дисципліни, навчальних ресурсів університету, профілю студента; введено в науковий обіг поняття «системи комп’ютерних онтологій»; уточнено: сутність поняття «проектувальні компетентності інженера-педагога в галузі КТ» у контексті використання СКО; напрями використання онтологій у навчанні майбутніх інженерів-педагогів в галузі КТ; методику та етапи проектування комп’ютерних онтологій відповідно до заданої предметної галузі; організацію взаємодії між учасниками навчально-виховного процесу у ЗВО під час проектування онтології; набули подальшого розвитку: науково-педагогічне обґрунтування автоматизованих, моделюючих, семантичних мереж і баз знань, їх створення та впровадження в освітню практику, зокрема теоретичні та методичні засади використання інтелектуальних інформаційних технологій та елементів інженерії знань майбутніми інженерами-педагогами в галузі КТ. Практичне значення одержаних результатів полягає в тому, що: 1) здійснено добір СКО для навчання майбутніх інженерів-педагогів у галузі КТ; 2) побудовано онтологічні бази знань: предметної галузі навчальної дисципліни, навчальних ресурсів університету, профілю студента; 3) розроблено компоненти методики використання СКО як засобу формування проектувальних компетентностей майбутніх інженерів-педагогів у галузі КТ; 4) уточнено методичне наповнення дисципліни «Методика професійного навчання: дидактичне проектування» та розроблено методичні рекомендації «Онтологічний інжиніринг» до виконання лабораторного циклу змістового модуля «Дидактичне проектування на базі комп’ютерних онтологій» для студентів напряму 015 Професійна освіта (Комп’ютерні технології).Thesis for a Candidate Degree in Pedagogical Sciences (Doctor of Philosophy) in Specialty 13.00.10 – Information and Communication Technologies in Education. – Ternopil Volodymyr Hnatiuk National Pedagogical University, Institute of Information Technologies and Learning Tools of National Academy of Sciences of Ukraine, Ternopil, Kyiv, 2018. The thesis is devoted to the problem of using the computer ontologies system as a means to form design competences of future engineering teachers. The thesis provides theoretical analysis of the problem and suggests a new solution to the scientific problem, which consists in the development and theoretical substantiation of the methodology of using the computer ontologies system as a means to form the design competences of future engineering teachers in the field of computer technologies. The concept of ontologies in the context of computer sciences has been investigated. Thus by computer ontologies we mean a formalized representation of knowledge about a particular subject field (environment, world) suitable for machine processing. In the activity of an engineering teacher ontological methods are most often used to construct process models. Based on the contents of the design competences of an engineering teacher such directions of using ontologies in their professional activities are identified: interface; natural language processing; question and answer systems; classification of goods and services; semantic layout of a text; modeling of the organizational structure of enterprises; systems of regulatory and reference information and the suggested in the research design of didactic materials. We have distinguished the criteria to select the computer ontologies system: 1) software architecture and tools development; 2) functional compatibility; 3) convenience and simplicity. The content and structure of the design competences of engineering teachers while using computer ontologies systems are considered and four interrelated components of their formation are distinguished: 1) motivational and goal-oriented; 2) cognitive-intellectual; 3) professional activity; 4) effective-reflexive. The criteria (value, knowledge, operational, evaluative and analytical) of designing competencies formation and their indices are determined, and four levels of the formation of these competences are determined by means of computer ontologies systems: high (creative), necessary (sufficient), critical (insufficient), low (inadmissible). We have established integrated ontological models of the academic course object field, university resources and a student’s profile. We have suggested a computer ontologies systems usage model based on three levels: 1) the interface; 2) logical; 3) data to automatically design electronic didactic materials on the basis of the algorithm method and the developed ontological models. In accordance with the model and the structure of design competences we have developed the computer ontologies systems usage model as a means to form the design competences of future engineering teachers. The elaborated model is a set of the goal-oriented, content, technological and analytical and effective components. To implement the model of computer ontologies system usage as a means to form future engineering teachers’ design competences the pedagogical conditions of their use has been proved: 1) to provide motivation and stimulation of educational and cognitive activity to use the computer ontologies system and model their application in the context of different spheres of professional activity of future engineering teachers in the field of computer technologies; 2) to use in the process of training future engineering teachers active forms, methods and innovative teaching tools, which provide an opportunity to design teaching materials using computer ontologies systems, whose functional capabilities are the basis for their design competences formation; 3) to elaborate teaching materials for didactic design on the basis of ontologies by means of computer ontologies systems to form engineering teacher’s design competences. We have developed the methodology for using computer ontologies as a means to form design competencies based on competency, system-activity, resource, practice-oriented approaches to the choice of forms and methods of training. The effectiveness of the distinguished pedagogical conditions and the developed methodology for using the computer ontologies system as a means to form future engineering teachers’ design competences is represented by the findings obtained as a result of the data analysis on the formation of these competences by means of computer ontologies systems. We can state that by every measure future engineering teachers in the field of computer technology of experimental groups show positive results of their design competences components formation. The scientific novelty and theoretical significance of the research is that: for the first time: the model and methods of using the computer ontologies system (COS) as a means to form future engineering teachers’ design competences were developed and theoretically grounded; the components of future engineering teachers’ design competences formation by means of COS (motivational and goal-oriented, cognitive-intellectual, professional-activity, effective-reflexive) have been theoretically substantiated and determined; the model of future engineering teachers’ use of COS to design electronic learning materials has been suggested; pedagogical conditions for the use of COS as a means to form future engineering teachers’ design competences have been grounded; criteria for the selection of COS to train future engineering teachers in the field of CT have been defined; the following integrated ontological models have been designed: the subject field of the course of study, university training resources, the student’s profile; the concept of "computer ontologies system" has been introduced into the scientific circulation. we have specified: the meaning of the concept “design competences of a future engineering teacher in the field of CT” within the context of COS use; directions of the use of ontologies to traing future engineering teachers in the field of CT; the methodology and stages for computer ontologies design in a given subject field; the organization of interaction between the participants of the educational process in the higher educational institution during the ontology design; the scientific and pedagogical substantiation of computer-aided, simulating, semantic networks and knowledge bases, their design and implementation into the educational process, in particular theoretical and methodological principles of the use of intellectual information technologies and elements of knowledge engineering by future engineering teachers in the field of CT have acquired further development. The practical value of the obtained results is that: 1) we have selected COS to train future engineering teachers in the field of CT; 2) we have built the following ontological knowledge bases: the subject field of the course of study, university training resources, the student’s profile; 3) w have developed components of methodology of the use of COS as a means to form design competences of future engineering teachers in the field of CT; 4) we have specified the methodological content of the academic course “Methodology of professional training: didactic design” and developed the “Ontological Engineering” laboratory operations manual in “Didactic Design on the Basis of Computer Ontologies” for students in the 015 Professional Education (Computer Technologies) field of training.Диссертация на соискание ученой степени кандидата педагогических наук (доктора философии) по специальности 13.00.10 – информационно-коммуникационные технологии в образовании. – Тернопольский национальный педагогический университет имени Владимира Гнатюка, Институт информационных технологий и средств обучения НАПН Украины, Тернополь, Киев, 2018. Диссертационное исследование посвящено проблеме использования системы компьютерных онтологий как средства формирования проектировочных компетентностей будущих инженеров-педагогов. В работе проведён анализ тенденций развития инженерно-педагогического образования и связанных с ним понятий, исследован отечественный и зарубежный опыт. Рассмотрены виды и направления использования компьютерных онтологий будущими инженерами-педагогами в отрасли КТ, проанализированы СКО и критерии их выбора в учебном процессе будущих инженеров-педагогов. Определены содержание, структура, компоненты, критерии и уровни сформированности проектировочных компетентностей будущих инженеров педагогов. Разработана и теоретически обоснована модель и методика использования СКО как средства формирования проектировочных компетентностей будущих инженеров-педагогов. Разработаны и описаны главные компоненты методики использования систем компьютерных онтологий как средства формирования проектировочных компетентностей будущих инженеров-педагогов. Экспериментальным путём проверена эффективность разработанной модели в процессе обучения будущих инженеров-педагогов

Automatische Extraktion von bilingualen Valenzwörterbüchern aus deutsch-englischen Parallelkorpora : eine Pilotstudie

Sprachdidaktik, Translation und Maschinelle Übersetzung haben seit geraumer Zeit von bilingualen Valenzwörterbüchern profitiert. Wurden diese Wörterbücher zuvor in aufwändiger Handarbeit erstellt, eröffnen multilinguale Korpora neue Perspektiven für eine (halb-)automatische Erstellung von Valenzwörterbüchern anhand realer Sprachdaten. Hier rücken insbesondere parallele Korpora - also Textsammlungen von Originalen und deren Übersetzungen - in den Fokus der Aufmerksamkeit, da sie das Auffinden von Äquivalenten zumindest theoretisch erleichtern. Praktisch steht dem entgegen, dass Original und Übersetzung nicht immer völlig deckungsgleich sind, auf syntaktischer wie semantischer Ebene. Im vorliegenden Buch werden Experimente beschrieben, die anhand eines deutsch-englischen Parallelkorpus untersuchen, wie syntaktische Divergenzen zwischen dem Deutschen und dem Englischen auf Basis von Mehrebenenannotation und -alignierung automatisch erkannt und beschrieben werden können. Praktische Verwendungsmöglichkeiten wie eine Umsetzung in Transferregeln oder in hypertextuellen Wörterbüchern werden konzipiert und mögliche Ursachen und Implikationen semantischer Divergenzen beleuchtet

Interlingual annotation of multilingual text corpora

This paper describes a multi-site project to annotate six sizable bilingual parallel corpora for interlingual content. After presenting the background and objectives of the effort, we describe the data set that is being annotated, the interlingua representation language used, an interface environment that supports the annotation task and the annotation process itself. We will then present a preliminary version of our evaluation methodology and conclude with a summary of the current status of the project along with a number of issues which have arisen.

Interlingual Annotation of Multilingual Text Corpora

This paper describes a multi-site project to annotate six sizable bilingual parallel corpora for interlingual content. After presenting the background and objectives of the effort, we will go on to describe the data set that is being annotated, the interlingua representation language used, an interface environment that supports the annotation task and the annotation process itself. We will then present a preliminary version of our evaluation methodology and conclude with a summary of the current status of the project along with a number of issues which have arisen

Inter-annotator agreement on a multilingual semantic annotation task

Six sites participated in the Interlingual Annotation of Multilingual Text Corpora (IAMTC) project (Dorr et al., 2004; Farwell et al., 2004; Mitamura et al., 2004). Parsed versions of English translations of news articles in Arabic, French, Hindi, Japanese, Korean and Spanish were annotated by up to ten annotators. Their task was to match open-class lexical items (nouns, verbs, adjectives, adverbs) to one or more concepts taken from the Omega ontology (Philpot et al., 2003), and to identify theta roles for verb arguments. The annotated corpus is intended to be a resource for meaning-based approaches to machine translation. Here we discuss inter-annotator agreement for the corpus. The annotation task is characterized by annotators' freedom to select multiple concepts or roles per lexical item. As a result, the annotation categories are sets, the number of which is bounded only by the number of distinct annotator-lexical item pairs. We use a reliability metric designed to handle partial agreement between sets. The best results pertain to the part of the ontology derived from WordNet. We examine change over the course of the project, differences among annotators, and differences across parts of speech. Our results suggest a strong learning effect early in the project