Верифікація підсумкових ранжувань, отриманих внаслідок експертного оцінювання

Abstract

In the modern dynamic information society, situations that are characterized by complexity, multifactoriality, uncertainty, and non-formalization occur very often. Under such conditions, the adoption of effective management decisions is impossible without interaction with the expert environment. This applies to a wide range of human activities, including economic issues. The article is devoted to one of the key stages of expert evaluation – the analysis of members of expert commissions’ judgments and drawing up final conclusions. The author aims to get closer to solving one of the key problems characteristic to this stage, namely: truth verification problems, reliability confirmation for final conclusions obtained as a result of generalization of expert groups’ work. Most often, the experts are asked to compare certain objects according to certain criteria, to identify the best and the worst among them. It is clear that expert judgments are rarely unanimous. Therefore, it is important to apply scientific approaches to constructing final ranking, that is, the final location of objects in order of increase or decrease of a certain quality or usability. The mathematical modeling of activity of an expert group conducted by the author of the article made it possible to identify cases where, depending on the applied techniques, the final rankings obtained on the basis of the judgments of the same experts may differ (sometimes even substantially). This again emphasizes the need to verify the final rankings. The advantages and disadvantages of applying quantitative and qualitative methods in expert-analytical activity are also considered. The scientific novelty of the conducted research is to improve the methodological approaches that will allow to improve the consistency of expert judgments, and to develop recommendations for the complex application of separate methods for constructing total ranking. The article is intended for scientists and practitioners who are interested in contemporary sociological and management approaches to solving economic problems. Also, the article may be useful for specialists and programmers who work in the field of development of artificial intelligence.У сучасному динамічному інформаційному суспільстві дуже часто виникають ситуації, які характеризуються складністю, багатофакторністю, невизначеністю, неформалізованістю. За таких умов ухвалення ефективних управлінських рішень є неможливим без взаємодії з експертним середовищем. Це стосується найрізноманітніших сфер людської діяльності, у тому числі й економічних питань. Стаття присвячена одній з ключових стадій експертного оцінювання – аналізу суджень членів експертних комісій. виробленню остаточних висновків. Автор ставить за мету наблизитись до розв’язання однієї з ключових проблем, притаманних цій стадії, а саме: проблеми перевірки істинності, підтвердження достовірності тих остаточних висновків, які отримуються в результаті узагальнення роботи експертних груп. Найчастіше перед експертами ставиться завдання порівняти за визначеними критеріями певні об’єкти, виявити найкращі та найгірші серед них. Зрозуміло, що експертні судження нечасто виявляються одностайними. Тому важливо застосувати наукові підходи до побудови підсумкових ранжувань, тобто заключного розташування об’єктів в порядку зростання чи спадання певної якості чи придатності до застосування. Проведене автором статті математичне моделювання діяльності експертної групи дозволило  виявити випадки, коли в залежності від застосованих методик підсумкові ранжування, отримані на основі суджень одних і тих же експертів, можуть відрізнятись (часом навіть суттєво). Це ще раз підкреслює необхідність верифікації підсумкових ранжувань. Також розглядаються переваги та недоліки застосування кількісних і якісних методів в експертно-аналітичній діяльності. Наукова новизна проведених досліджень полягає у вдосконаленні методологічних підходів, які дозволять покращити узгодженість експертних суджень, і виробленні рекомендацій стосовно комплексного застосування окремих методів побудови підсумкових ранжувань. Стаття призначена для науковців та практиків, яких цікавлять сучасні соціологічні та управлінські підходи до вирішення економічних проблем. Також стаття може бути корисною для фахівців та програмістів, які працюють у сфері розроблення штучного інтелекту

    Similar works