6 research outputs found
Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift
International audienceRecent advancements in Artificial Intelligence (AI) have brought new capabilities to behavioural analysis (UEBA) for cyber-security consisting in the detection of hostile action based on the unusual nature of events observed on the Information System.In our previous work (presented at C&ESAR 2018 and FIC 2019), we have associated deep neural networks auto-encoders for anomaly detection and graph-based events correlation to address major limitations in UEBA systems. This resulted in reduced false positive and false negative rates, improved alert explainability, while maintaining real-time performances and scalability. However, we did not address the natural evolution of behaviours through time, also known as concept drift. To maintain effective detection capabilities, an anomaly-based detection system must be continually trained, which opens a door to an adversary that can conduct the so-called “frog-boiling” attack by progressively distilling unnoticed attack traces inside the behavioural models until the complete attack is considered normal. In this paper, we present a solution to effectively mitigate this attack by improving the detection process and efficiently leveraging human expertise. We also present preliminary work on adversarial AI conducting deception attack, which, in term, will be used to help assess and improve the defense system. These defensive and offensive AI implement joint, continual and active learning, in a step that is necessary in assessing, validating and certifying AI-based defensive solutions
Protection d’un système d’information par une intelligence artificielle : une approche en trois phases basée sur l’analyse UEBA des comportements pour détecter un scénario hostile
International audienceThe analysis of the behaviour of individuals and entities (UEBA) is an area of artificial intelligence domain that detects hostile actions (e.g. attacks, fraud, influence, poisoning) due to the unusual nature of observed events. A UEBA process usually involves two phases, learning and inference. The market IDS (Intrusion Detection Systems) still suffer from biases, including over-simplification of problems, underexploitation of the AI potential, insufficient consideration of events temporality, and perfectible management of the memory cycle of behaviors. In addition, while an alert generated by a signature-based IDS can refer to the signature on which the detection is based, an IDS in the UEBA domain produces results, often associated with a simple score, whose explainable character is less obvious. Our unsupervised approach is to enrich this process by adding a third phase to correlate related events, with the benefit of a reduction of false positives and negatives. We also seek to avoid a so-called "boiled frog" bias inherent in continuous learning. Our first results are interesting because they allow a complete and explainable detection, generate few false positives, are reproducible in various contexts (e.g. in an information system and a workstation, based on flows and actions events) both from synthetic and real data, and circumvent the biases mentioned.L’analyse des comportements des personnes et des entités (UEBA, en anglais) est un domaine de l’intelligence artificielle qui permet de détecter des actions hostiles (ex. : attaques, fraudes, influence, empoisonnement) grâce au caractère inhabituel des évènements observés. Un procédé UEBA comprend habituellement deux phases, d’apprentissage et d’inférence. Les systèmes de détection d’intrusion (IDS, en anglais) du marché souffrent encore de biais notamment d’une sur-simplification des problématiques, d’une sous-exploitation du potentiel de l’IA, d’une prise en compte insuffisante de la temporalité des évènements, et d’une gestion perfectible du cycle de la mémoire des comportements. En outre, alors qu’une alerte générée par un IDS à base de signatures peut se référer à l’identifiant de la signature sur laquelle se fonde la détection, les IDS du domaine UEBA produisent des résultats, souvent associés à un score, dont le caractère explicable est moins évident. Notre approche, non supervisée, consiste à enrichir ce procédé en lui adjoignant une troisième phase permettant de corréler des évènements présumés liés entre eux, avec pour bénéfice une réduction des faux positifs et négatifs. Nous cherchons également à éviter un biais dit « de la grenouille ébouillantée » inhérent à l’apprentissage continu. Nos premiers résultats sont d’autant plus intéressants qu’ils permettent une détection complète revêtant un caractère explicable, engendrent peu de faux positifs, sont reproductibles dans des contextes variés (ex. : dans un système d’information et/ou un poste de travail, à partir d’évènements de type flux et/ou actions) aussi bien à partir de données synthétiques que réelles, et répondent aux différents biais évoqués
Protection d’un système d’information par une intelligence artificielle : une approche en trois phases basée sur l’analyse des comportements pour détecter un scénario hostile
International audienceThe analysis of the behaviour of individuals and entities (UEBA) is an area of artificial intelligence that detects hostile actions (e.g. attacks, fraud, influence, poisoning) due to the unusual nature of observed events, by affixing to a signature-based operation. A UEBA process usually involves two phases, learning and inference. Intrusion detection systems (IDS) available still suffer from bias, including over-simplification of problems, underexploitation of the AI potential, insufficient consideration of the temporality of events, and perfectible management of the memory cycle of behaviours. In addition, while an alert generated by a signature-based IDS can refer to the signature on which the detection is based, the IDS in the UEBA domain produce results, often associated with a score, whose explainable character is less obvious. Our unsupervised approach is to enrich this process by adding a third phase to correlate events (incongruities, weak signals) that are presumed to be linked together, with the benefit of a reduction of false positives and negatives. We also seek to avoid a so-called "boiled frog" bias inherent in continuous learning. Our first results are interesting and have an explainable character, both on synthetic and real data.L’analyse des comportements des personnes et des entités (UEBA, en anglais) est un domaine de l’intelligence artificielle qui permet de détecter des actions hostiles (ex. : attaques, fraudes, influence, empoisonnement) grâce au caractère inhabituel des évènements observés, par apposition à un fonctionnement basé sur des signatures. Un procédé UEBA comprend habituellement deux phases, d’apprentissage et d’inférence. Les systèmes de détection d’intrusion (IDS, en anglais) du marché souffrent encore de biais notamment d’une sur-simplification des problématiques, d’une sous-exploitation du potentiel de l’IA, d’une prise en compte insuffisante de la temporalité des évènements, et d’une gestion perfectible du cycle de la mémoire des comportements. En outre, alors qu’une alerte générée par un IDS à base de signatures peut se référer à l’identifiant de la signature sur laquelle se fonde la détection, les IDS du domaine UEBA produisent des résultats, souvent associés à un score, dont le caractère explicable est moins évident. Notre approche, non supervisée, consiste à enrichir ce procédé en lui adjoignant une troisième phase permettant de corréler des évènements (incongruités, signaux faibles) présumés liés entre eux, avec pour bénéfice une réduction des faux positifs et négatifs. Nous cherchons également à éviter un biais dit « de la grenouille ébouillantée » inhérent à l’apprentissage continu. Nos premiers résultats sont intéressants et revêtent un caractère explicable, autant sur des données synthétiques que réelles
Intelligence artificielle adversaire vs défensive en cyber-sécurité : un tournoi mutuellement profitable ?
International audienceL’intelligence artificielle comprend une diversité de sous-domaines au nombre desquels figure l’UEBA (User and Entity Behaviour Analytics). Ce dernier, en plein essor, repose sur l’analyse automatique des comportements humains et non humains. Plus spécifiquement, dans le domaine de la cyber-sécurité, un procédé UEBA consiste à détecter des actions hostiles en se basant sur la nature inhabituelle des événements observés sur un système d'information.Les systèmes défensifs de type UEBA existant à ce jour souffrent de certaines limitations que nous cherchons à contourner. À cette fin, nous avons conçu un système de type UEBA associant, d’une part, des réseaux de neurones profonds auto-encodeurs permettant la détection d'anomalies comportementales individuelles, avec d’autre part, un procédé permettant de corréler une pluralité d’événements organisés en graphes afin de détecter les scénarios hostiles constituant une attaque notamment de type APT (Advanced Persistent Threat).Déjà , notre système réduit le taux de faux positifs et négatifs, il produit des alertes fortement explicables et possède une capacité de mise à l’échelle horizontale. Cependant, nous n'avons pas encore adressé la problématique dite de la « dérive conceptuelle », laquelle se manifeste par une obsolescence progressive du modèle appris des comportements, inhérente à l'évolution temporelle naturelle des comportements du système observé.Pour contourner cette dérive, il est nécessaire d’entrainer en continu un système de détection basé sur les anomalies, ce qui ouvre la porte à un adversaire susceptible de mener une attaque dite de la « grenouille ébouillantée », laquelle consiste pour l’attaquant à distiller progressivement les traces d’une attaque afin que ces dernières demeures inaperçues et soient in fine intégrées au modèle des comportements normaux, rendant ainsi l’attaque indétectable.Nous présentons ici un aperçu de notre solution capable d’affaiblir efficacement une telle attaque en améliorant le processus de détection et en tirant parti de l'expertise humaine. Nous présentons également des travaux préliminaires sur une intelligence artificielle adversaire menant une attaque par leurrage, qui sera utilisée pour aider à évaluer et à améliorer le système de défense. Ces systèmes défensif et offensif mettent en œuvre un apprentissage joint, continu et actif, dans une étape qui est nécessaire à l'évaluation, à la validation et à la certification des solutions défensives basées sur l'intelligence artificielle de type UEBA ou autre