ПРОЕКТУВАННЯ ТЕСТОВИХ ЗАВДАНЬ ЗАКРИТОГО ТИПУ НА БАЗІ МОДЕЛІ ОНТОЛОГІЇ НА ОСНОВІ КОГНІТИВНИХ ПРОТОТИПІВ

The paper is devoted to resolving a topical issue of automatized tests production in poor-formalized knowledge domains. An approach was proposed to carry out an automatized generation of multiple-choice tests on the basis of an ontological model of a domain based on prototypes of human cognitive structures. The universal ontological three-level model was developed with the core element called "cognitive prototype" as a data structure for knowledge representation in form of such known cognitive structures as concept, frame, scheme, scenario, etc. The formal description of test patterns was devised based on cognitive prototypes as the first step towards their typification, developing of algorithms of their automatized generation and programming of subsystem of intelligent educational systems. Prospects of such approach have been analyzed for designing unified techniques of tests production with reduction of laboriousness of the test preparation process.Работа посвящена решению актуальной проблемы автоматизированного проектирования тестовых заданий закрытого типа в медико-биологической предметной области на основе формальной модели онтологии на базе когнитивных прототипов. Авторами разработана универсальная трёхуровневая модель онтологии на основе когнитивных структур и был выделен паттерн знаний, названный когнитивным прототипом, как структура данных для репрезентации учебных знаний на основе таких когнитивных структур как понятие, концепт, фрейм, схема, сценарий. В статье предложено формальное описание тестовых заданий на основе когнитивных прототипов и их типизация как первый шаг к разработке алгоритмов их автоматизированной генерации и разработки подсистемы генерации тестовых заданий закрытого типа в авторской системе ИСДНКП (Интеллектуальная система дистанционного обучения на основе когнитивных прототипов). Проанализированы перспективы такого подхода для разработки унифицированных методик проектирования тестов с одновременным снижением трудоемкости процесса подготовки к их автоматизированной генерации.Роботу присвячено вирішенню актуальної проблеми автоматизованого проектування тестових завдань закритого типу в медико-біологічній предметній галузі на основі формальної моделі онтології на базі когнітивних прототипів. Авторами розроблена універсальна трирівнева модель онтології на основі когнітивних структур та виділений патерн знань, названий когнітивним прототипом, як структуру даних для репрезентації учбових знань на основі таких когнітивних структур як поняття, концепт, фрейм, схема, сценарій. В статті наведено формальний опис тестових завдань на основі когнітивних прототипів та їх типізацію як перший крок до розробки алгоритмів їх автоматизованої генерації та розробки підсистеми генерації тестових завдань закритого типу в авторській системі ІСДНКП (Інтелектуальна система дистанційного навчання на основі когнітивних прототипів). Проаналізовано перспективи такого підходу для розробки уніфікованих методик до проектування тестів з одночасним зниженням трудомісткості процесу підготовки до їх автоматизованої генерації

Ontologies for automatic question generation

Assessment is an important tool for formal learning, especially in higher education. At present, many universities use online assessment systems where questions are entered manually into a question bank system. This kind of system requires the instructor’s time and effort to construct questions manually. The main aim of this thesis is, therefore, to contribute to the investigation of new question generation strategies for short/long answer questions in order to allow for the development of automatic factual question generation from an ontology for educational assessment purposes. This research is guided by four research questions: (1) How well can an ontology be used for generating factual assessment questions? (2) How can questions be generated from course ontology? (3) Are the ontological question generation strategies able to generate acceptable assessment questions? and (4) Do the topic-based indexing able to improve the feasibility of AQGen. We firstly conduct ontology validation to evaluate the appropriateness of concept representation using a competency question approach. We used revision questions from the textbook to obtain keyword (in revision questions) and a concept (in the ontology) matching. The results show that only half of the ontology concepts matched the keywords. We took further investigation on the unmatched concepts and found some incorrect concept naming and later suggest a guideline for an appropriate concept naming. At the same time, we introduce validation of ontology using revision questions as competency questions to check for ontology completeness. Furthermore, we also proposed 17 short/long answer question templates for 3 question categories, namely definition, concept completion and comparison. In the subsequent part of the thesis, we develop the AQGen tool and evaluate the generated questions. Two Computer Science subjects, namely OS and CNS, are chosen to evaluate AQGen generated questions. We conduct a questionnaire survey from 17 domain experts to identify experts’ agreement on the acceptability measure of AQGen generated questions. The experts’ agreements for acceptability measure are favourable, and it is reported that three of the four QG strategies proposed can generate acceptable questions. It has generated thousands of questions from the 3 question categories. AQGen is updated with question selection to generate a feasible question set from a tremendous amount of generated questions before. We have suggested topic-based indexing with the purpose to assert knowledge about topic chapters into ontology representation for question selection. The topic indexing shows a feasible result for filtering question by topics. Finally, our results contribute to an understanding of ontology element representation for question generations and how to automatically generate questions from ontology for education assessment