Distributed Network Anomaly Detection on an Event Processing Framework

Network Intrusion Detection Systems (NIDS) are an integral part of modern data centres to ensure high availability and compliance with Service Level Agreements (SLAs). Currently, NIDS are deployed on high-performance, high-cost middleboxes that are responsible for monitoring a limited section of the network. The fast increasing size and aggregate throughput of modern data centre networks have come to challenge the current approach to anomaly detection to satisfy the fast growing compute demand. In this paper, we propose a novel approach to distributed intrusion detection systems based on the architecture of recently proposed event processing frameworks. We have designed and implemented a prototype system using Apache Storm to show the benefits of the proposed approach as well as the architectural differences with traditional systems. Our system distributes modules across the available devices within the network fabric and uses a centralised controller for orchestration, management and correlation. Following the Software Defined Networking (SDN) paradigm, the controller maintains a complete view of the network but distributes the processing logic for quick event processing while performing complex event correlation centrally. We have evaluated the proposed system using publicly available data centre traces and demonstrated that the system can scale with the network topology while providing high performance and minimal impact on packet latency

Closing the loop of SIEM analysis to Secure Critical Infrastructures

Critical Infrastructure Protection is one of the main challenges of last years. Security Information and Event Management (SIEM) systems are widely used for coping with this challenge. However, they currently present several limitations that have to be overcome. In this paper we propose an enhanced SIEM system in which we have introduced novel components to i) enable multiple layer data analysis; ii) resolve conflicts among security policies, and discover unauthorized data paths in such a way to be able to reconfigure network devices. Furthermore, the system is enriched by a Resilient Event Storage that ensures integrity and unforgeability of events stored.Comment: EDCC-2014, BIG4CIP-2014, Security Information and Event Management, Decision Support System, Hydroelectric Da

AI Solutions for MDS: Artificial Intelligence Techniques for Misuse Detection and Localisation in Telecommunication Environments

This report considers the application of Articial Intelligence (AI) techniques to the problem of misuse detection and misuse localisation within telecommunications environments. A broad survey of techniques is provided, that covers inter alia rule based systems, model-based systems, case based reasoning, pattern matching, clustering and feature extraction, articial neural networks, genetic algorithms, arti cial immune systems, agent based systems, data mining and a variety of hybrid approaches. The report then considers the central issue of event correlation, that is at the heart of many misuse detection and localisation systems. The notion of being able to infer misuse by the correlation of individual temporally distributed events within a multiple data stream environment is explored, and a range of techniques, covering model based approaches, `programmed' AI and machine learning paradigms. It is found that, in general, correlation is best achieved via rule based approaches, but that these suffer from a number of drawbacks, such as the difculty of developing and maintaining an appropriate knowledge base, and the lack of ability to generalise from known misuses to new unseen misuses. Two distinct approaches are evident. One attempts to encode knowledge of known misuses, typically within rules, and use this to screen events. This approach cannot generally detect misuses for which it has not been programmed, i.e. it is prone to issuing false negatives. The other attempts to `learn' the features of event patterns that constitute normal behaviour, and, by observing patterns that do not match expected behaviour, detect when a misuse has occurred. This approach is prone to issuing false positives, i.e. inferring misuse from innocent patterns of behaviour that the system was not trained to recognise. Contemporary approaches are seen to favour hybridisation, often combining detection or localisation mechanisms for both abnormal and normal behaviour, the former to capture known cases of misuse, the latter to capture unknown cases. In some systems, these mechanisms even work together to update each other to increase detection rates and lower false positive rates. It is concluded that hybridisation offers the most promising future direction, but that a rule or state based component is likely to remain, being the most natural approach to the correlation of complex events. The challenge, then, is to mitigate the weaknesses of canonical programmed systems such that learning, generalisation and adaptation are more readily facilitated

A Security Supervision System for Hybrid Networks

The traditional way of protecting networks and applications with e.g., firewalls and encryption, is no longer sufficient to protect effectively emerging hybrid wired-cum-wireless networks including ad hoc networks. Intrusion detection mechanisms should be coupled with preventive measures so as to identify unauthorised abuses. To this end, we propose a novel Hybrid Distributed Security Operation Center (HDSOC) which collects logs that are generated by any application/service, layer of the protocol stack or resource (e.g., router), providing a global view of the supervised system based on which complex and distributed intrusions can be detected. Our HDSOC further (i) distributes its capabilities and (ii) provides extensive coordination capabilities for guarantying that both the networks and the HDSOC components do not constitute isolated entities largely unaware of each others

A Holistic Approach to Service Survivability

We present SABER (Survivability Architecture: Block, Evade, React), a proposed survivability architecture that blocks, evades and reacts to a variety of attacks by using several security and survivability mechanisms in an automated and coordinated fashion. Contrary to the ad hoc manner in which contemporary survivable systems are built--using isolated, independent security mechanisms such as firewalls, intrusion detection systems and software sandboxes--SABER integrates several different technologies in an attempt to provide a unified framework for responding to the wide range of attacks malicious insiders and outsiders can launch. This coordinated multi-layer approach will be capable of defending against attacks targeted at various levels of the network stack, such as congestion-based DoS attacks, software-based DoS or code-injection attacks, and others. Our fundamental insight is that while multiple lines of defense are useful, most conventional, uncoordinated approaches fail to exploit the full range of available responses to incidents. By coordinating the response, the ability to survive even in the face of successful security breaches increases substantially. We discuss the key components of SABER, how they will be integrated together, and how we can leverage on the promising results of the individual components to improve survivability in a variety of coordinated attack scenarios. SABER is currently in the prototyping stages, with several interesting open research topics

Resilient event collection in SIEM systems

Tese de mestrado em Segurança Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2013A importância da Segurança da Informação tem crescido rapidamente nos últimos anos, com uma maior consciencialização da sociedade civil e das empresas para o problema. As notícias recorrentes de ataques direcionados e roubo de informação em larga escala que resultam em grandes prejuízos financeiros, por vezes tendo como consequência o encerramento das organizações envolvidas, justificam o investimento em mecanismos de proteção da informação. No âmago da capacidade para monitorização da segurança em tempo-real está o Security Operations Center (SOC), o conjunto de pessoas, processos e sistemas onde se concentram as capacidades de análise e resposta a incidentes de Segurança da Informação. A base tecnológica do SOC é construída sobre o sistema de Gestão de Informação e Eventos de Segurança, vulgo SIEM. Este sistema permite recolher eventos de segurança de diversas fontes e encontrar padrões de ataque analisando relações entre eles. No entanto, tal como acontece com todos os sistemas informáticos, um atacante que tenha conhecimento da sua existência irá procurar ultrapassar as proteções implementadas, prevenindo que a equipa do SOC seja alertada para o ataque em curso. A relevância dos sistemas SIEM tem vindo a aumentar no contexto da maior importância atribuída a questões de segurança da informação. Considerando um número cada vez mais elevado de eventos e as múltiplas origens onde estes são gerados, as equipas de monitorização estão cada vez mais dependentes de consolas únicas onde a informação é centralizada e processada. Como consequência existe também uma maior dependência dos sistemas centrais, tornando-os pontos únicos de falha. Os sistemas SIEM são intrinsecamente complexos devido à necessidade de recolha de eventos de segurança a partir de fontes com tecnologias muito diversas, com localizações dispersas. O facto de desempenharem diversas funções aumenta esta complexidade, necessitando de módulos para recolha, consolidação, processamento e armazenamento de eventos. Para além destes módulos, que podem ou não traduzir-se em componentes fisicamente distintos, os sistemas SIEM estão fortemente dependentes dos sensores colocados junto às fontes de eventos, bem como da rede de comunicações que permite o envio desses eventos entre os diversos componentes, até à consola central. A inexistência de investigação diretamente focada no aumento da resiliência dos sistemas SIEM resulta na implementação de soluções pouco adaptadas aos riscos e desafios associados a infraestruturas de segurança. Estando maioritariamente focada na proteção de segurança ao nível da rede, muitos dos desenvolvimentos recentes centram-se na capacidade de identificar padrões de tráfego maliciosos. Esta abordagem reflete-se em publicações direcionadas aos sistemas de detecção e prevenção de intrusões (IDS/IPS), com menos enfoque na implementação resiliente de sistemas SIEM. A nossa percepção, corroborada por uma pesquisa alargada de trabalhos desenvolvidos nesta área, aponta para um elevado número de implementações padrão, assumindo cenários teóricos e sem tomar em linha de conta o efeito de ataques contra o próprio sistema SIEM. Neste trabalho começamos por efetuar uma análise às falhas de segurança que podem afectar o desempenho do processo de recolha de eventos de segurança, incluindo falhas acidentais mas também possíveis ataques deliberados ao sistema SIEM que possibilitem a uma entidade maliciosa ultrapassar os mecanismos de segurança implementados. Com base nessa análise endereçamos os problemas de fiabilidade que afetam qualquer sistema informático, apontando soluções que permitam lidar com falhas acidentais e, dessa forma, aumentar a disponibilidade do sistema. Ao reduzir a probabilidade de falhas que impeçam a recolha de eventos de segurança, estamos a contribuir diretamente para diminuir a janela de oportunidade disponível para que ataques à infraestrutura não sejam detectados. Focando o risco de falhas maliciosas, propomos soluções que impeçam os atacantes de explorar com sucesso vulnerabilidades no processo de recolha de eventos de segurança. Este processo envolve sistemas heterogéneos, desde a fonte dos eventos até à consola central, passando pela rede de comunicação responsável por interligar toda a infraestrutura. Consideramos fundamental atingir um nível de robustez elevado, mesmo na presença de infraestrutura parcialmente comprometida. O principal objectivo deste trabalho passa por definir um método sistemático de recolha e correlação resiliente de eventos de segurança num sistema SIEM, mesmo na presença de componentes maliciosos sob controlo de atacantes. Para atingir este objectivo centramo-nos na robustez das regras de correlação, desde a sua concepção e desenho até à implementação final no sistema SIEM. Os sistemas SIEM contêm um conjunto alargado de regras padrão que, como demonstramos, partem de premissas demasiado optimistas relativamente ao processo de recolha de eventos. Descrevemos, ao longo do trabalho, de que forma estas regras padrão podem ser melhoradas para lidar com as diversas possibilidades de falhas e ataques maliciosos, aumentando desta forma a resiliência total do sistema SIEM e o nível de confiança que a equipa do SOC pode depositar nesta ferramenta essencial. Utilizando casos de uso reais, demonstramos a metodologia proposta para aumentar a resiliência das regras de correlação. Tendo como ponto de partida uma regra base, aplicamos passo a passo a metodologia, detalhando e avaliando cada evolução da regra, até ser atingido um nível de robustez elevado. Com o propósito de sistematizar a metodologia proposta para o aumento de qualidade das regras de correlação, desenvolvemos uma aplicação denominada AutoRule. Esta ferramenta recebe como entrada uma ou mais regras de correlação e efetua uma análise automática, detectando possíveis lacunas e sugerindo correções. Apesar de não suprir a necessidade de análise com base na experiência prática na definição de regras de correlação, a aplicação AutoRule permite à equipa de configuração do sistema SIEM atuar de forma precisa e direcionada, corrigindo as regras de correlação e, dessa forma, tornando-as mais resilientes. Finalmente, para demonstrar e medir a eficácia da nossa proposta, foi posta em prática a metodologia através de uma implementação em cenário real, recorrendo ao sistema SIEM utilizado para monitorizar os eventos de segurança na rede corporativa da EDP – Energias de Portugal, S.A. Tratando-se de um grupo multinacional com mais de 12000 colaboradores ativos, a rede informática monitorizada por este sistema SIEM fornece a possibilidade de analisar em larga escala os efeitos das melhorias propostas. A metodologia proposta para aumentar a resiliência das regras de correlação traduziu-se num acréscimo da eficácia das mesmas, resultando num sistema mais fiável. A consequência mais direta é uma melhoria operacional do SOC, que passa a dispor de informação mais precisa e mais adequada ao seu contexto de operação. Para além da proposta teórica, a implementação permitiu também validar a operação num cenário real da aplicação AutoRule, desenvolvida para automatizar a análise das regras de correlação. As melhorias introduzidas nas regras de correlação desenvolvidas no contexto da operação do SOC EDP, seguindo os passos da metodologia, foram sendo testadas com recurso à aplicação. Os resultados demonstram que a eficácia medida das regras correspondeu também a um melhor resultado obtido através da análise automática, existindo por isso motivos para confiar nesta análise. A aplicação AutoRule possibilitou ainda uma comparação entre as regras predefinidas, instaladas de forma automática com a solução ArcSight, e as regras que seguiram o processo de melhoria preconizado pela metodologia proposta. As avaliações finais que fazemos da implementação num cenário real são francamente positivas, ratificando a nossa proposta teórica e conferindo-lhe um elevado grau de confiança quanto à possibilidade de aplicação em larga escala, de forma independente da tecnologia de sistema SIEM escolhida.Information Security has become a relevant subject in recent years, with greater awareness to the topic from major companies and general public. The frequent news regarding targeted attacks and large-scale information thefts resulting in major financial losses, sometimes even resulting in company bankruptcy, justify investments in protection mechanisms. At the heart of real-time security monitoring is the Security Information and Event Management system, commonly known as SIEM. These systems allow for security event collection and pattern discovery, by analyzing relationships between those events in real-time. However, as with all computer systems, an attacker who is aware of its existence will seek to overcome the protection mechanisms in place, preventing the security experts from being alerted to the ongoing attacks. We present an analysis of possible attacks to a SIEM system and seek solutions to prevent successful exploitation of those attacks, even if the attackers are able to take control over part of the infrastructure. Instead of suggesting massive changes throughout the multiple systems and network components, we propose an approach based on the capabilities of the SIEM system to collect and correlate security events from multiple sources. We advocate that it is possible to detect faults, malicious or accidental, though real time analysis of the collected events using carefully crafted and resilient correlation rules. Our goal is to define a systematic method to resiliently collect and correlate security events in a SIEM system, despite the presence of components already under the control of attackers. The effectiveness of the proposed methodology is evaluated in a real production environment, simulating attacks and accidental failures and observing their effects in the capability of the SIEM system to identify abnormal behavior. We also develop and demonstrate an application capable of automatically analyzing correlation rules, identifying vulnerabilities and proposing improvements to increase heir overall resilience