Rules for the Implementation of Exploits During an Active Analysis of the Corporate Networks` Security Based on a Fuzzy Assessment of the Quality of the Vulnerability Validation Mechanism

Динаміка зростання кількості вразливостей програмних та апаратних платформ корпоративних мереж, загальнодоступність модулів експлойтів даних вразливостей в мережах Інтернет та Даркнет, наряду з відсутністю достатньої кількості висококваліфікованих фахівців з кібербезпеки, робить проблему ефективної автоматизації превентивних механізмів захисту інформації досить актуальною. Зокрема, базові алгоритми послідовної реалізації експлойтів закладені в засоби експлуатації вразливостей є досить примітивними, а запропоновані підходи щодо їх покращення, потребують постійної адаптації математичних моделей реалізації атакуючих дій. Цим і обґрунтовується напрям даного дослідження. В роботі розглядається проблематика формування правил прийняття рішень щодо реалізації експлойтів вразливостей під час проведення активного аналізу захищеності корпоративних мереж. На основі результатів аналізу кількісних показників якості роботи механізму валідації виявлених вразливостей та використанні методів нечіткої логіки було сформовано нечітку систему, визначено функції належності для кожної з лінгвістичних змінних та побудовано базу знань, що дозволяє визначити рівень якості роботи механізму валідації виявлених вразливостей на основі всієї наявної інформації. Водночас, задля виключення «людського фактору» допущення помилки при валідації вразливостей, ґрунтуючись на сформованій нечіткій базі знань та визначених рівнях ефективності модулів експлойтів вразливостей, сформовано правила реалізації окремих модулів експлойтів під час проведення активного аналізу захищеності корпоративної мережі. Отримані результати надають можливість створювати експертні системи діагностування ефективності механізму валідації виявлених вразливостей цільових систем, а також допомагають вирішити питання відсутності кваліфікованих спеціалістів з аналізу та підтримки належного рівня інформаційної безпеки корпоративних мереж.The dynamics of the increase in the number of vulnerabilities of software and hardware platforms of corporate networks, the accessibility of exploit modules for these vulnerabilities in the Internet and the Darknet, along with the lack of a sufficient number of highly qualified cybersecurity specialists make the problem of effective automation of preventive information protection mechanisms quite urgent. In particular, the basic algorithms for the sequential implementation of exploits embedded in the vulnerability exploitation tools are quite primitive, and the proposed approaches to their improvement require constant adaptation of mathematical models of the implementation of attacking actions. This justifies the direction of this research. This paper considers the issue of forming decision-making rules for the implementation of vulnerabilities’ exploits during an active analysis of the corporate networks’ security. Based on the results of the analysis of quantitative indicators of the quality of the validation mechanism of the identified vulnerabilities and the use of fuzzy logic methods, a fuzzy system was formed, membership functions for each of the linguistic variables were determined and a knowledge base was built, which makes it possible to determine the quality level of the validation mechanism of the identified vulnerabilities based on all available information. At the same time, in order to eliminate the “human factor” of making mistakes when validating vulnerabilities, based on the built fuzzy knowledge base and the established levels of exploit modules’ efficiency, the rules for the implementation of individual exploit modules during an active analysis of the corporate network’s security were formed. Results of research make it possible to create expert systems for diagnosing the effectiveness of the validation mechanism of the identified vulnerabilities of target systems, and also help to solve the problem of the lack of qualified specialists in the analysis and maintenance of an appropriate level of information security of corporate networks

ПРАВИЛА РЕАЛІЗАЦІЇ ЕКСПЛОЙТІВ ПІД ЧАС АКТИВНОГО АНАЛІЗУ ЗАХИЩЕНОСТІ КОРПОРАТИВНИХ МЕРЕЖ НА ОСНОВІ НЕЧІТКОЇ ОЦІНКИ ЯКОСТІ МЕХАНІЗМУ ВАЛІДАЦІЇ ВРАЗЛИВОСТЕЙ

The dynamics of the increase in the number of vulnerabilities of software and hardware platforms of corporate networks, the accessibility of exploit modules for these vulnerabilities in the Internet and the Darknet, along with the lack of a sufficient number of highly qualified cybersecurity specialists make the problem of effective automation of preventive information protection mechanisms quite urgent. In particular, the basic algorithms for the sequential implementation of exploits embedded in the vulnerability exploitation tools are quite primitive, and the proposed approaches to their improvement require constant adaptation of mathematical models of the implementation of attacking actions. This justifies the direction of this research. This paper considers the issue of forming decision-making rules for the implementation of vulnerabilities’ exploits during an active analysis of the corporate networks’ security. Based on the results of the analysis of quantitative indicators of the quality of the validation mechanism of the identified vulnerabilities and the use of fuzzy logic methods, a fuzzy system was formed, membership functions for each of the linguistic variables were determined and a knowledge base was built, which makes it possible to determine the quality level of the validation mechanism of the identified vulnerabilities based on all available information. At the same time, in order to eliminate the “human factor” of making mistakes when validating vulnerabilities, based on the built fuzzy knowledge base and the established levels of exploit modules’ efficiency, the rules for the implementation of individual exploit modules during an active analysis of the corporate network’s security were formed. Results of research make it possible to create expert systems for diagnosing the effectiveness of the validation mechanism of the identified vulnerabilities of target systems, and also help to solve the problem of the lack of qualified specialists in the analysis and maintenance of an appropriate level of information security of corporate networks.Динаміка зростання кількості вразливостей програмних та апаратних платформ корпоративних мереж, загальнодоступність модулів експлойтів даних вразливостей в мережах Інтернет та Даркнет, наряду з відсутністю достатньої кількості висококваліфікованих фахівців з кібербезпеки, робить проблему ефективної автоматизації превентивних механізмів захисту інформації досить актуальною. Зокрема, базові алгоритми послідовної реалізації експлойтів закладені в засоби експлуатації вразливостей є досить примітивними, а запропоновані підходи щодо їх покращення, потребують постійної адаптації математичних моделей реалізації атакуючих дій. Цим і обґрунтовується напрям даного дослідження. В роботі розглядається проблематика формування правил прийняття рішень щодо реалізації експлойтів вразливостей під час проведення активного аналізу захищеності корпоративних мереж. На основі результатів аналізу кількісних показників якості роботи механізму валідації виявлених вразливостей та використанні методів нечіткої логіки було сформовано нечітку систему, визначено функції належності для кожної з лінгвістичних змінних та побудовано базу знань, що дозволяє визначити рівень якості роботи механізму валідації виявлених вразливостей на основі всієї наявної інформації. Водночас, задля виключення «людського фактору» допущення помилки при валідації вразливостей, ґрунтуючись на сформованій нечіткій базі знань та визначених рівнях ефективності модулів експлойтів вразливостей, сформовано правила реалізації окремих модулів експлойтів під час проведення активного аналізу захищеності корпоративної мережі. Отримані результати надають можливість створювати експертні системи діагностування ефективності механізму валідації виявлених вразливостей цільових систем, а також допомагають вирішити питання відсутності кваліфікованих спеціалістів з аналізу та підтримки належного рівня інформаційної безпеки корпоративних мереж

Reinforcement learning for efficient network penetration testing

Penetration testing (also known as pentesting or PT) is a common practice for actively assessing the defenses of a computer network by planning and executing all possible attacks to discover and exploit existing vulnerabilities. Current penetration testing methods are increasingly becoming non-standard, composite and resource-consuming despite the use of evolving tools. In this paper, we propose and evaluate an AI-based pentesting system which makes use of machine learning techniques, namely reinforcement learning (RL) to learn and reproduce average and complex pentesting activities. The proposed system is named Intelligent Automated Penetration Testing System (IAPTS) consisting of a module that integrates with industrial PT frameworks to enable them to capture information, learn from experience, and reproduce tests in future similar testing cases. IAPTS aims to save human resources while producing much-enhanced results in terms of time consumption, reliability and frequency of testing. IAPTS takes the approach of modeling PT environments and tasks as a partially observed Markov decision process (POMDP) problem which is solved by POMDP-solver. Although the scope of this paper is limited to network infrastructures PT planning and not the entire practice, the obtained results support the hypothesis that RL can enhance PT beyond the capabilities of any human PT expert in terms of time consumed, covered attacking vectors, accuracy and reliability of the outputs. In addition, this work tackles the complex problem of expertise capturing and re-use by allowing the IAPTS learning module to store and re-use PT policies in the same way that a human PT expert would learn but in a more efficient way

УДОСКОНАЛЕНИЙ МЕТОД АВТОМАТИЧНОГО АКТИВНОГО АНАЛІЗУ ЗАХИЩЕНОСТІ КОРПОРАТИВНОЇ МЕРЕЖІ

The article proposes an improved method for automatic active analysis of corporate network security. This method is based on the synthesis of a mathematical model for analyzing the quantitative characteristics of the vulnerability validation process, a methodology for analyzing the quality of the validation mechanism for identified vulnerabilities in a corporate network, and a method for constructing a fuzzy knowledge base for making decisions when validating vulnerabilities of software and hardware platforms. In particular, the mathematical analysis model, which is based on Bernstein polynomials, allows describing the dynamics of the vulnerability validation process. A methodology for analyzing the quality of work is based on integral equations that take into account the quantitative characteristics of the investigated vulnerability validation mechanism at a certain point in time, which makes it possible to build laws for the distribution of quality indicators of the vulnerability validation process and quantitatively assess the quality of the validation mechanism for the identified vulnerabilities. The method of building a fuzzy knowledge base is based on the use of fuzzy logic which makes it possible to obtain reliable information about the quality of the vulnerability validation mechanism in an indirect way and allows the formation of final decision-making rules for the implementation of one or another attacking action during the active security analysis of corporate network. This allows, in contrast to existing approaches to automating active security analysis, to abstract from the conditions of dynamic changes in the environment, that is, the constant development of information technologies. This leads to an increase in the number of vulnerabilities and corresponding attack vectors, as well as to an increase in ready-to-use exploit vulnerabilities and their availability, taking into account only the quality parameters of the vulnerability validation process itself.В статье предложен усовершенствованный метод автоматического активного анализа защищенности корпоративной сети. В основу данного метода положен синтез математической модели анализа количественных характеристик процесса валидации уязвимостей, методики анализа качества работы механизма валидации выявленных уязвимостей корпоративной сети и метода построения нечеткой базы знаний для принятия решений при валидации уязвимостей программных и аппаратных платформ. В частности, математическая модель анализа основывается на полиномах Бернштейна и позволяет описать динамику процесса валидации уязвимостей. Методика анализа качества работы базируется на интегральных уравнениях, учитывающие количественные характеристики исследуемого механизма валидации уязвимостей в определенный момент времени, что позволяет строить законы распределения показателей качества процесса валидации уязвимостей и количественно оценивать качество работы механизма валидации выявленных уязвимостей. Метод построения нечеткой базы знаний базируется на использовании нечеткой логики, что в свою очередь, дает возможность обеспечить получение достоверной информации о качестве механизма валидации уязвимостей косвенным путем и позволяет формировать решающие правила принятия решений по реализации того или иного атакующего действия во время проведения активного анализа защищенности корпоративной сети. Это позволяет, в отличие от существующих подходов к автоматизации активного анализа защищенности, абстрагироваться от условий динамического изменения среды, то есть постоянного развития информационных технологий. Это приводит к росту количества уязвимостей и соответствующих векторов атак, а также росту готовых к использованию эксплойтов уязвимостей и их доступности, учитывая только параметры качества самого процесса валидации уязвимостей.У статті запропоновано удосконалений метод автоматичного активного аналізу захищеності корпоративної мережі. В основу даного методу покладено синтез математичної моделі аналізу кількісних характеристик процесу валідації вразливостей, методики аналізу якості роботи механізму валідації виявлених вразливостей корпоративної мережі та методу побудови нечіткої бази знань для прийняття рішень при валідації вразливостей програмних та апаратних платформ. Зокрема математична модель аналізу ґрунтується на поліномах Бернштейна та дозволяє описати динаміку процесу валідації вразливостей. Методика аналізу якості роботи базується на інтегральних рівняннях, що враховують кількісні характеристики досліджуваного механізму валідації вразливостей в певний момент часу, що дозволяє будувати закони розподілу показників якості процесу валідації вразливостей та кількісно оцінювати якість роботи механізму валідації виявлених вразливостей. Метод побудови нечіткої бази знань базується на використанні нечіткої логіки, що в свою чергу, дає можливість забезпечити отримання достовірної інформації про якість механізму валідації вразливостей непрямим шляхом та дозволяє формувати вирішальні правила прийняття рішень щодо реалізації тієї чи іншої атакуючої дії під час проведення активного аналізу захищеності корпоративної мережі. Це дозволяє, на відміну від існуючих підходів щодо автоматизації активного аналізу захищеності, абстрагуватися від умов динамічної зміни середовища, тобто постійного розвитку інформаційних технологій, що призводить до зростання кількості вразливостей та відповідних векторів атак, а також зростання готових до використання експлойтів вразливостей та їх доступності, і враховувати лише параметри якості самого процесу валідації вразливостей

IAVS: Intelligent Active Network Vulnerability Scanner

Network security needs to be assured through runtime active evaluating and assessment. However, active vulnerability scanners suffer from serious deficiencies such as heavy scan traffic during the reconnaissance phase, uncertainty in the environment, and heavy reliance on experts. Generating a blind heavy load of attack packets not only causes usage of network resources, but it also increases the probability of detection by target defense systems and causes failure in finding vulnerabilities. Furthermore, environmental uncertainty increases pointless attempts of vulnerability scanners, which wastes time. Utilizing a decision-making method devised for uncertainty conditions, we present Intelligent Active Network Vulnerability Scanner (IAVS). IAVS is implemented as an extension on Hail Mary, the automatic execution mechanism in the Metasploit toolkit. IAVS learns from previous vulnerability exploitation attempts to select exploit codes purposefully. IAVS not only reduces the role of experts in the process of vulnerability testing, but it also decreases the volume of scanning requests during the reconnaissance phase by integrating the reconnaissance and exploitation phases. Our experimental results indicate a successful decrease in failed attempts. It is also demonstrated that improvements in the results of IAVS correspond directly to the rate of similarity among different vulnerabilities in systems of the target network; that is, the higher the similarity, the better the results of IAVS. Our experiments compared the results of IAVS and those of Hail Mary without the IAVS extension; these results show that IAVS improved Hail Marys successful attempts by around 37%.

Les POMDP font de meilleurs hackers: Tenir compte de l'incertitude dans les tests de penetration

Penetration Testing is a methodology for assessing network security, by generating and executing possible hacking attacks. Doing so automatically allows for regular and systematic testing. A key question is how to generate the attacks. This is naturally formulated as planning under uncertainty, i.e., under incomplete knowledge about the network configuration. Previous work uses classical planning, and requires costly pre-processes reducing this uncertainty by extensive application of scanning methods. By contrast, we herein model the attack planning problem in terms of partially observable Markov decision processes (POMDP). This allows to reason about the knowledge available, and to intelligently employ scanning actions as part of the attack. As one would expect, this accurate solution does not scale. We devise a method that relies on POMDPs to find good attacks on individual machines, which are then composed into an attack on the network as a whole. This decomposition exploits network structure to the extent possible, making targeted approximations (only) where needed. Evaluating this method on a suitably adapted industrial test suite, we demonstrate its effectiveness in both runtime and solution quality.Comment: JFPDA 2012 (7\`emes Journ\'ees Francophones Planification, D\'ecision, et Apprentissage pour la conduite de syst\`emes), Nancy, Franc