Cyber Threat Intelligence : Challenges and Opportunities

The ever increasing number of cyber attacks requires the cyber security and forensic specialists to detect, analyze and defend against the cyber threats in almost realtime. In practice, timely dealing with such a large number of attacks is not possible without deeply perusing the attack features and taking corresponding intelligent defensive actions, this in essence defines cyber threat intelligence notion. However, such an intelligence would not be possible without the aid of artificial intelligence, machine learning and advanced data mining techniques to collect, analyse, and interpret cyber attack evidences. In this introductory chapter we first discuss the notion of cyber threat intelligence and its main challenges and opportunities, and then briefly introduce the chapters of the book which either address the identified challenges or present opportunistic solutions to provide threat intelligence.Comment: 5 Page

Mining Threat Intelligence about Open-Source Projects and Libraries from Code Repository Issues and Bug Reports

Open-Source Projects and Libraries are being used in software development while also bearing multiple security vulnerabilities. This use of third party ecosystem creates a new kind of attack surface for a product in development. An intelligent attacker can attack a product by exploiting one of the vulnerabilities present in linked projects and libraries. In this paper, we mine threat intelligence about open source projects and libraries from bugs and issues reported on public code repositories. We also track library and project dependencies for installed software on a client machine. We represent and store this threat intelligence, along with the software dependencies in a security knowledge graph. Security analysts and developers can then query and receive alerts from the knowledge graph if any threat intelligence is found about linked libraries and projects, utilized in their products

Adaptive Traffic Fingerprinting for Darknet Threat Intelligence

Darknet technology such as Tor has been used by various threat actors for organising illegal activities and data exfiltration. As such, there is a case for organisations to block such traffic, or to try and identify when it is used and for what purposes. However, anonymity in cyberspace has always been a domain of conflicting interests. While it gives enough power to nefarious actors to masquerade their illegal activities, it is also the cornerstone to facilitate freedom of speech and privacy. We present a proof of concept for a novel algorithm that could form the fundamental pillar of a darknet-capable Cyber Threat Intelligence platform. The solution can reduce anonymity of users of Tor, and considers the existing visibility of network traffic before optionally initiating targeted or widespread BGP interception. In combination with server HTTP response manipulation, the algorithm attempts to reduce the candidate data set to eliminate client-side traffic that is most unlikely to be responsible for server-side connections of interest. Our test results show that MITM manipulated server responses lead to expected changes received by the Tor client. Using simulation data generated by shadow, we show that the detection scheme is effective with false positive rate of 0.001, while sensitivity detecting non-targets was 0.016+-0.127. Our algorithm could assist collaborating organisations willing to share their threat intelligence or cooperate during investigations.Comment: 26 page

Applications of Machine Learning to Threat Intelligence, Intrusion Detection and Malware

Artificial Intelligence (AI) and Machine Learning (ML) are emerging technologies with applications to many fields. This paper is a survey of use cases of ML for threat intelligence, intrusion detection, and malware analysis and detection. Threat intelligence, especially attack attribution, can benefit from the use of ML classification. False positives from rule-based intrusion detection systems can be reduced with the use of ML models. Malware analysis and classification can be made easier by developing ML frameworks to distill similarities between the malicious programs. Adversarial machine learning will also be discussed, because while ML can be used to solve problems or reduce analyst workload, it also introduces new attack surfaces

Cyber Threat Intelligence Platform

Cieľom práce je vytvoriť webovú platformu, ktorá poskytne zjednodušený popis, spracovanie a výmenu bezpečnostných incidentov za pomoci dostupných štandardov STIX, TAXII, CybOX, IDEA. Platforma poskytuje restové API pre zhromažďovanie externých udalostí vo fomráte IDEA, nástroj pre vytvárenie STIX formátovaných modelov udalostí a mechanizmus pre výmenu spracovaných udalostí s využitím služieb popísaných štandardom TAXII.Main goal of this thesis is to create an web application platform, which provides simplified characterization, adaptation and exchange of cyber threat incidents using the STIX, TAXII, CybOX and IDEA standards. Platform has implemented rest API to collect external events in IDEA format, tool for creating STIX formatted models of events and model exchange mechanism based on TAXII described services.

Unified cyber threat intelligence

Tese de mestrado, Informática, Universidade de Lisboa, Faculdade de Ciências, 2018Ao longo dos anos, a preocupação com a Ciber Seguranc¸a (a proteção de sistemas, redes e de informações num ciber espaço) nas grandes empresas tem vindo a aumentar, isto porque, atualmente a maioria das organizações depende de dados informatizados e partilham grandes quantidades de informação por todo o globo, tornando-se em alvos mais fáceis para muitas formas de ataque. Consequentemente, um ciberataque pode prejudicar o nome e a reputação de uma empresa, resultando na perda de vantagem competitiva, criando um incumprimento legal / regulamentar e causando danos financeiros. De modo a evitar um possível comprometimento nas infraestruturas de uma organização, é necessário tomar medidas de precaução, isto é, fazer uma análise e gestão dos riscos a que uma empresa está exposta e assim delinear uma estratégia, de maneira a minimizar, mitigar e / ou anticipar ataques. A Portugal Telecom, conhecida também por PT Portugal ou Grupo PT, tratando-se da maior operadora de telecomunicações em Portugal, não descura da preocupação com a Ciber Segurança. Como tal, esta possui uma direção dedicada à segurança e privacidade da informação, a Direção de Cyber Security and Privacy (DCY). Para que haja uma proteção ciber resiliente nas infraestruturas / ativos da PT, a DCY divide-se em diferentes operações:_ Cyber Security Governance: respons´avel pela gestão das operações / programas de Ciber Segurança da DCY, incutindo objetivos a cada uma das operações; _ Cyber Security Operations: responsável pela resposta a incidentes; _ Cyber Watch: responsável pela análise proativa de riscos, isto é, identificação dos vários ativos de informação que podem ser afetados por um ciberataque e monitorizar continuamente o ambiente de risco. O projeto ”Unified Cyber Threat Intelligence” encontra-se dentro da operação de CyberWatch da DCY e está a ser desenvolvido na Portugal Telecom, no âmbito da disciplina PEI (Projeto em Engenharia Informática) do Mestrado em Informática (MI) da Faculdade de Ciências da Universidade de Lisboa (FCUL). A Cyber Watch é composta por diferentes áreas, como por exemplo, Cyber Higiene, Cyber Awareness ou Cyber Intelligence, de maneira a que a análise proativa de riscos seja o mais eficaz possível. O foco deste projeto dentro da Cyber Watch insere-se dentro da Cyber Intelligence. A Cyber Intelligence é um tipo de informação que fornece a uma organização suporte nas decisões, levando a uma vantagem estratégica proporcionando aos utilizadores informações constantemente atualizadas sobre possíveis fontes de ataque. No contexto da Portugal Telecom, a Cyber Intelligence decompõe-se em diferentes ramificações, sendo as mais importantes para este projeto as fontes de risco (risky sources), estas referem-se a todos eventos ocorridos na Internet no geral e os alvos comprometidos (compromised targets), tratando-se dos eventos que ocorreram dentro da organização. O objetivo principal deste projeto é a implementação de uma arquitetura escalável para a recolha, análise, remoção de duplicados, classificação, etiquetagem e filtragem de Cyber Intelligence Events, sendo estes aplicados no contexto de organizações, unidades de negócio, infraestruturas, ativos ou atores. Desta forma, será possível realizar uma análise forense aos Cyber Intelligence Events recolhidos, de modo a que haja uma melhor compreensão sobre o tipo de ataques a que as organizações estão expostas. Um evento, no contexto da CyberWatch da Portugal Telecom, trata-se de um facto ou ocorrência observável na Internet pública (envolvendo endereços IP e / ou Fully Qualified Domain Names (FQDNs)), onde este aconteceu num certo período de tempo. Para o processamento deste tipo de eventos utilizar-se-á o IntelMQ. Este trata-se de uma plataforma para recolher e processar feeds de seguranc¸a, isto é, correntes de informação composta por factos e evidências de que um certo evento aconteceu, como por exemplo, endereços IP ou domínios que estão envolvidos em atividades maliciosas. O IntelMQ tem como objetivo principal ajudar analistas de ciber segurança a recolher e processar Cyber Intelligence Events permitindo o redirecionamento / envio da informação tratada para outros sistemas. Para que um evento IntelMQ seja válido são necessários certos requisitos para que este façaa sentido. Para tal, os requisitos mínimos são: _ O nome da Feed de Segurança onde o IntelMQ foi coletar o evento; _ O tipo de evento que foi encontrado, por exemplo, spam ou malware; _ A taxonomia do evento, por exemplo, Conteúdo Abusivo (poderá estar associado a spam) ou Código Malicioso (poderá estar associado a malware); _ O tempo de origem, a hora e data reportados por uma fonte de informação (feed);_ O tempo de observação, a hora e data em que o IntelMQ processou o evento. Adicionalmente, um evento IntelMQ deverá conter pelo menos um dos seguintes campos: _ IP de origem, o endereço IP observado que iniciou uma ligação; _ FQDN de origem, o nome DNS relacionado a um host de onde originou a ligação; _ URL de origem, refere-se a um recurso mal-intencionado onde a sua interpretação é definida pelo tipo de abuso, por exemplo, um URL em que o abuso seja do tipo phishing refere-se a um recurso de phishing; _ Conta de origem, nome de uma conta ou um enderec¸o de e-mail relacionado com a origem de um evento. A recolha e filtragem de Cyber Intelligence Events ser´a direcionada a entidades-alvo e será obtida através de diferentes fontes de informação, como por exemplo, open-source / paid intelligence feeds. Para este projeto foram utilizadas mais de trinta fontes de informação. Segue-se um pequeno exemplo de fontes já existentes no IntelMQ: _ Abuse.ch Ransomware Tracker: fornece listas de FQDNs, URLs e endereços IP que foram utilizados por diversas famílias de ransomware; _ PhishTank: fornece informações relacionadas com tentativas de phishing; _ VXVault: fornece listas de endereços IP e de FQDNs que estão envolvidos em atividades maliciosas. As fontes de informação irão sustentar o IntelMQ e este, por sua vez, fará a remoção de eventos duplicados (deduplication), classificação, etiquetagem e filtragem de todos os dados recebidos. Para a recolha de informação direcionada às entidades-alvo foi necessário, primeiramente, observar e mapear (scouting / mapping) estas entidades, de modo a obter os atributos / campos mais relevantes de cada entidade, tal como, endereços IP públicos (IPv4 e IPv6), FQDNs, entre outros. Após a identificação destes campos, foi possível direccionar a filtragem de informação utilizando o IntelMQ. Para o scouting e mapping de cada entidade-alvo será utilizado o Maltego. Este tratase de um sistema interativo de data mining, que constrói gráficos direcionados para a análise de correlação de dados (link analysis). O Maltego é utilizado para investigações online para encontrar relações entre diferentes pedaços de informação de diversas fontes localizadas na Internet. Com o Maltego é possível criar ”case-files” através de uma representação gráfica de cada entidade-alvo com os atributos mais relevantes de cada uma. Estas representações gráficas contêm agregações e relações de informação relativas a eventos direcionados à entidade-alvo. Após o scouting e mapping e após a definição dos atributos mais relevantes de cada entidade-alvo, foi possível direcionar a recolha de Cyber Intelligence Events no IntelMQ. Este foi configurado através de um programa Ruby (desenvolvido ao longo deste projeto), denominado ”intelmq configurations generator.rb”. O programa utiliza os metadados recolhidos durante a fase de scouting, de modo a, reescrever os ficheiros de configuração do IntelMQ e gerando regras de filtragem, consoante a gama de enderec¸os IP e / ou FQDNs do conjunto de entidades-alvo. Os eventos são filtrados de acordo com as características de cada entidade-alvo, e são enviados em tempo-real para ficheiros que representam o universo de eventos de cada entidade, assim como para a plataforma Hidra, que permite a análise forense dos eventos filtrados.Over the years to the present day, the concern around Cyber Security in organisations has increased substantially, because, most of the organisations rely on digitized information and share large amounts of data across the globe, becoming easier targets for many forms of attack. A cyber attack can damage an organisation’s name and reputation, and can also result in loss of competitive advantage, create legal / regulatory noncompliance and cause steep financial damage. In order to avoid a possible attack in an organisation’s infrastructure is necessary to develop a strategy for the collection, analysis and correlation of information. In this way, it will be possible to better understand the type of attacks that an organisation might be exposed to, and in the future predict these attacks. The main goal of this project was the development of a scalable architecture to collect, deduplicate, classificate, tag, filter and analyse Cyber Intelligence Events and applying them into the context of organisations, business units, infrastructures, assets and actors. It was necessary to collect and process security feeds, which are streams of information consisting of facts and evidences that a certain event occurred, such as IP addresses or domains that were involved in malicious activities - Cyber Intelligence Events. The Cyber Intelligence Events were filtered, according to a group of attributes composed by IP addresses, URLs and FQDNs of seven target-entities. The events were sent to an analysis platform, allowing to forensically analyse them, to better understand what, how and who performed the attack