Towards Realistic Threat Modeling: Attack Commodification, Irrelevant Vulnerabilities, and Unrealistic Assumptions

Current threat models typically consider all possible ways an attacker can penetrate a system and assign probabilities to each path according to some metric (e.g. time-to-compromise). In this paper we discuss how this view hinders the realness of both technical (e.g. attack graphs) and strategic (e.g. game theory) approaches of current threat modeling, and propose to steer away by looking more carefully at attack characteristics and attacker environment. We use a toy threat model for ICS attacks to show how a realistic view of attack instances can emerge from a simple analysis of attack phases and attacker limitations.Comment: Proceedings of the 2017 Workshop on Automated Decision Making for Active Cyber Defens

Reinforcement learning for efficient network penetration testing

Penetration testing (also known as pentesting or PT) is a common practice for actively assessing the defenses of a computer network by planning and executing all possible attacks to discover and exploit existing vulnerabilities. Current penetration testing methods are increasingly becoming non-standard, composite and resource-consuming despite the use of evolving tools. In this paper, we propose and evaluate an AI-based pentesting system which makes use of machine learning techniques, namely reinforcement learning (RL) to learn and reproduce average and complex pentesting activities. The proposed system is named Intelligent Automated Penetration Testing System (IAPTS) consisting of a module that integrates with industrial PT frameworks to enable them to capture information, learn from experience, and reproduce tests in future similar testing cases. IAPTS aims to save human resources while producing much-enhanced results in terms of time consumption, reliability and frequency of testing. IAPTS takes the approach of modeling PT environments and tasks as a partially observed Markov decision process (POMDP) problem which is solved by POMDP-solver. Although the scope of this paper is limited to network infrastructures PT planning and not the entire practice, the obtained results support the hypothesis that RL can enhance PT beyond the capabilities of any human PT expert in terms of time consumed, covered attacking vectors, accuracy and reliability of the outputs. In addition, this work tackles the complex problem of expertise capturing and re-use by allowing the IAPTS learning module to store and re-use PT policies in the same way that a human PT expert would learn but in a more efficient way

Les POMDP font de meilleurs hackers: Tenir compte de l'incertitude dans les tests de penetration

Penetration Testing is a methodology for assessing network security, by generating and executing possible hacking attacks. Doing so automatically allows for regular and systematic testing. A key question is how to generate the attacks. This is naturally formulated as planning under uncertainty, i.e., under incomplete knowledge about the network configuration. Previous work uses classical planning, and requires costly pre-processes reducing this uncertainty by extensive application of scanning methods. By contrast, we herein model the attack planning problem in terms of partially observable Markov decision processes (POMDP). This allows to reason about the knowledge available, and to intelligently employ scanning actions as part of the attack. As one would expect, this accurate solution does not scale. We devise a method that relies on POMDPs to find good attacks on individual machines, which are then composed into an attack on the network as a whole. This decomposition exploits network structure to the extent possible, making targeted approximations (only) where needed. Evaluating this method on a suitably adapted industrial test suite, we demonstrate its effectiveness in both runtime and solution quality.Comment: JFPDA 2012 (7\`emes Journ\'ees Francophones Planification, D\'ecision, et Apprentissage pour la conduite de syst\`emes), Nancy, Franc

ПРАВИЛА РЕАЛІЗАЦІЇ ЕКСПЛОЙТІВ ПІД ЧАС АКТИВНОГО АНАЛІЗУ ЗАХИЩЕНОСТІ КОРПОРАТИВНИХ МЕРЕЖ НА ОСНОВІ НЕЧІТКОЇ ОЦІНКИ ЯКОСТІ МЕХАНІЗМУ ВАЛІДАЦІЇ ВРАЗЛИВОСТЕЙ

The dynamics of the increase in the number of vulnerabilities of software and hardware platforms of corporate networks, the accessibility of exploit modules for these vulnerabilities in the Internet and the Darknet, along with the lack of a sufficient number of highly qualified cybersecurity specialists make the problem of effective automation of preventive information protection mechanisms quite urgent. In particular, the basic algorithms for the sequential implementation of exploits embedded in the vulnerability exploitation tools are quite primitive, and the proposed approaches to their improvement require constant adaptation of mathematical models of the implementation of attacking actions. This justifies the direction of this research. This paper considers the issue of forming decision-making rules for the implementation of vulnerabilities’ exploits during an active analysis of the corporate networks’ security. Based on the results of the analysis of quantitative indicators of the quality of the validation mechanism of the identified vulnerabilities and the use of fuzzy logic methods, a fuzzy system was formed, membership functions for each of the linguistic variables were determined and a knowledge base was built, which makes it possible to determine the quality level of the validation mechanism of the identified vulnerabilities based on all available information. At the same time, in order to eliminate the “human factor” of making mistakes when validating vulnerabilities, based on the built fuzzy knowledge base and the established levels of exploit modules’ efficiency, the rules for the implementation of individual exploit modules during an active analysis of the corporate network’s security were formed. Results of research make it possible to create expert systems for diagnosing the effectiveness of the validation mechanism of the identified vulnerabilities of target systems, and also help to solve the problem of the lack of qualified specialists in the analysis and maintenance of an appropriate level of information security of corporate networks.Динаміка зростання кількості вразливостей програмних та апаратних платформ корпоративних мереж, загальнодоступність модулів експлойтів даних вразливостей в мережах Інтернет та Даркнет, наряду з відсутністю достатньої кількості висококваліфікованих фахівців з кібербезпеки, робить проблему ефективної автоматизації превентивних механізмів захисту інформації досить актуальною. Зокрема, базові алгоритми послідовної реалізації експлойтів закладені в засоби експлуатації вразливостей є досить примітивними, а запропоновані підходи щодо їх покращення, потребують постійної адаптації математичних моделей реалізації атакуючих дій. Цим і обґрунтовується напрям даного дослідження. В роботі розглядається проблематика формування правил прийняття рішень щодо реалізації експлойтів вразливостей під час проведення активного аналізу захищеності корпоративних мереж. На основі результатів аналізу кількісних показників якості роботи механізму валідації виявлених вразливостей та використанні методів нечіткої логіки було сформовано нечітку систему, визначено функції належності для кожної з лінгвістичних змінних та побудовано базу знань, що дозволяє визначити рівень якості роботи механізму валідації виявлених вразливостей на основі всієї наявної інформації. Водночас, задля виключення «людського фактору» допущення помилки при валідації вразливостей, ґрунтуючись на сформованій нечіткій базі знань та визначених рівнях ефективності модулів експлойтів вразливостей, сформовано правила реалізації окремих модулів експлойтів під час проведення активного аналізу захищеності корпоративної мережі. Отримані результати надають можливість створювати експертні системи діагностування ефективності механізму валідації виявлених вразливостей цільових систем, а також допомагають вирішити питання відсутності кваліфікованих спеціалістів з аналізу та підтримки належного рівня інформаційної безпеки корпоративних мереж

Rules for the Implementation of Exploits During an Active Analysis of the Corporate Networks` Security Based on a Fuzzy Assessment of the Quality of the Vulnerability Validation Mechanism

Динаміка зростання кількості вразливостей програмних та апаратних платформ корпоративних мереж, загальнодоступність модулів експлойтів даних вразливостей в мережах Інтернет та Даркнет, наряду з відсутністю достатньої кількості висококваліфікованих фахівців з кібербезпеки, робить проблему ефективної автоматизації превентивних механізмів захисту інформації досить актуальною. Зокрема, базові алгоритми послідовної реалізації експлойтів закладені в засоби експлуатації вразливостей є досить примітивними, а запропоновані підходи щодо їх покращення, потребують постійної адаптації математичних моделей реалізації атакуючих дій. Цим і обґрунтовується напрям даного дослідження. В роботі розглядається проблематика формування правил прийняття рішень щодо реалізації експлойтів вразливостей під час проведення активного аналізу захищеності корпоративних мереж. На основі результатів аналізу кількісних показників якості роботи механізму валідації виявлених вразливостей та використанні методів нечіткої логіки було сформовано нечітку систему, визначено функції належності для кожної з лінгвістичних змінних та побудовано базу знань, що дозволяє визначити рівень якості роботи механізму валідації виявлених вразливостей на основі всієї наявної інформації. Водночас, задля виключення «людського фактору» допущення помилки при валідації вразливостей, ґрунтуючись на сформованій нечіткій базі знань та визначених рівнях ефективності модулів експлойтів вразливостей, сформовано правила реалізації окремих модулів експлойтів під час проведення активного аналізу захищеності корпоративної мережі. Отримані результати надають можливість створювати експертні системи діагностування ефективності механізму валідації виявлених вразливостей цільових систем, а також допомагають вирішити питання відсутності кваліфікованих спеціалістів з аналізу та підтримки належного рівня інформаційної безпеки корпоративних мереж.The dynamics of the increase in the number of vulnerabilities of software and hardware platforms of corporate networks, the accessibility of exploit modules for these vulnerabilities in the Internet and the Darknet, along with the lack of a sufficient number of highly qualified cybersecurity specialists make the problem of effective automation of preventive information protection mechanisms quite urgent. In particular, the basic algorithms for the sequential implementation of exploits embedded in the vulnerability exploitation tools are quite primitive, and the proposed approaches to their improvement require constant adaptation of mathematical models of the implementation of attacking actions. This justifies the direction of this research. This paper considers the issue of forming decision-making rules for the implementation of vulnerabilities’ exploits during an active analysis of the corporate networks’ security. Based on the results of the analysis of quantitative indicators of the quality of the validation mechanism of the identified vulnerabilities and the use of fuzzy logic methods, a fuzzy system was formed, membership functions for each of the linguistic variables were determined and a knowledge base was built, which makes it possible to determine the quality level of the validation mechanism of the identified vulnerabilities based on all available information. At the same time, in order to eliminate the “human factor” of making mistakes when validating vulnerabilities, based on the built fuzzy knowledge base and the established levels of exploit modules’ efficiency, the rules for the implementation of individual exploit modules during an active analysis of the corporate network’s security were formed. Results of research make it possible to create expert systems for diagnosing the effectiveness of the validation mechanism of the identified vulnerabilities of target systems, and also help to solve the problem of the lack of qualified specialists in the analysis and maintenance of an appropriate level of information security of corporate networks

GraphBAD: A General Technique for Anomaly Detection in Security Information and Event Management

The reliance on expert knowledge—required for analysing security logs and performing security audits—has created an unhealthy balance, where many computer users are not able to correctly audit their security configurations and react to potential security threats. The decreasing cost of IT and the increasing use of technology in domestic life are exacerbating this problem, where small companies and home IT users are not able to afford the price of experts for auditing their system configuration. In this paper, we present GraphBAD, a graph-based analysis tool that is able to analyse security configurations in order to identify anomalies that could lead to potential security risks. GraphBAD, which does not require any prior domain knowledge, generates graph-based models from security configuration data and, by analysing such models, is able to propose mitigation plans that can help computer users in increasing the security of their systems. A large experimental analysis, conducted on both publicly available (the well-known KDD dataset) and synthetically generated testing sets (file system permissions), demonstrates the ability of GraphBAD in correctly identifying security configuration anomalies and suggesting appropriate mitigation plans