Definition of reflection characteristics of educational process participants with artificial intelligence application

Problem statement . Artificial intelligence (AI) conversational tools like chat-bots, virtual assistants and dialog trainers begin to apply in education. However, its efficiency wasn't explored because of novelty and lack of related application experience. In this research an approach to conversations based on AI is considered as means to define reflection of educational process participants. And definition results of reflection are compared between an AI conversational tool and an expert's assessment in the educational process. Methodology . Opportunities of conversational simulations based on AI were analysed for reflection assessment. Behavioural markers of reflection in communication were developed as well as assessment procedures in online mode with AI simulations and in offline mode with an expert assessment. Research was provided as a part of the volunteer’s competition. There were 65 participants of the research, students of schools and universities. Statistical processing of the results was performed using Pearson's criteria. Results. Weak correlation was detected between AI and expert assessment. Conclusion. Suggestions were offered about AI assessment improvement for increasing assessment precision of reflection of educational process participants from the methodological point of view as well as from AI algorithms development

Определение характеристик рефлексии участников образовательного процесса с помощью средств искусственного интеллекта

Problem statement . Artificial intelligence (AI) conversational tools like chat-bots, virtual assistants and dialog trainers begin to apply in education. However, its efficiency wasn't explored because of novelty and lack of related application experience. In this research an approach to conversations based on AI is considered as means to define reflection of educational process participants. And definition results of reflection are compared between an AI conversational tool and an expert's assessment in the educational process. Methodology . Opportunities of conversational simulations based on AI were analysed for reflection assessment. Behavioural markers of reflection in communication were developed as well as assessment procedures in online mode with AI simulations and in offline mode with an expert assessment. Research was provided as a part of the volunteer’s competition. There were 65 participants of the research, students of schools and universities. Statistical processing of the results was performed using Pearson's criteria. Results. Weak correlation was detected between AI and expert assessment. Conclusion. Suggestions were offered about AI assessment improvement for increasing assessment precision of reflection of educational process participants from the methodological point of view as well as from AI algorithms development.Постановка проблемы . Инструменты коммуникации на основе искусственного интеллекта, такие как чат-боты, голосовые помощники, диалоговые тренажеры, уже начинают применяться в образовании. Однако эффект от их использования практически не изучен в связи с их новизной и недостаточностью соответствующего практического опыта. Рассматривается подход к коммуникации на основе средств искусственного интеллекта, используемых для определения характеристик рефлексии участников образовательного процесса, а также проводится сравнение результатов подобных процедур, осуществленных с помощью специальных систем искусственного интеллекта и экспертной оценки. Методология. Проанализированы возможности коммуникативных симуляций на базе средств искусственного интеллекта для определения характеристик рефлексии. Разработаны характеристики рефлексии на материале коммуникативных процессов, а также процедуры для ее дистанционной оценки с помощью симуляций и очной процедуры с помощью экспертной оценки в образовательном процессе. Экспериментальное исследование проведено в рамках образовательной программы и конкурса участников волонтерского движения. Участники эксперимента - 65 волонтеров, школьников и студентов. Статистическая обработка результатов выполнена с помощью критерия Пирсона. Результаты. Выявлена слабая корреляция между определением характеристик рефлексии, осуществленным с помощью симуляций, и определением с помощью экспертной оценки. Заключение. Выдвинуты предположения об усовершенствовании подходов к определению характеристик рефлексии участников образовательного процесса с помощью симуляций на основе искусственного интеллекта для повышения точности результатов как с точки зрения организации процедуры, так и с точки зрения совершенствования алгоритмов искусственного интеллекта