Using author topic to detect insider threats from email traffic

Abstract One means of preventing insider theft is by stopping potential insiders from becoming actual thieves. This article discusses an approach to assist managers in identifying potential insider threats. By using the Author Topic (16) clustering algorithm, we discern employees interests from their daily emails. These interests then provide a means to create an implicit and an explicit social network graph. This approach locates potential insiders by finding individuals who either (1) feel alienated from the organization (a key warning sign of a possible disgruntled worker) or (2) have a hidden interest in a sensitive( e.g. proprietary or classified) topic. In both cases, this is revealed when someone demonstrates an interest in a topic but does not share that interest with anyone in the organization. By applying this technique to the Enron email corpus, we produce coherent, sensible topics and reveal Sherron Watkins, the famous Enron whistle-blower, as a potential insider threat from the viewpoint of the individuals behind the Enron scandal

Using PLSI-U to Detect Insider Threats by Datamining Email

Despite a technology bias that focuses on external electronic threats, insiders pose the greatest threat to an organisation. This paper discusses an approach to assist investigators in identifying potential insider threats. We discern employees\u27 interests from e-mail using an extended version of PLSI. These interests are transformed into implicit and explicit social network graphs, which are used to locate potential insiders by identifying individuals who feel alienated from the organisation or have a hidden interest in a sensitive topic. By applying this technique to the Enron e-mail corpus, a small number of employees appear as potential insider threats

The Wolf of SUTD (TWOS): A dataset of malicious insider threat behavior based on a gamified competition

In this paper we present open research questions and options for data analysis of our previously designed dataset called TWOS: The Wolf of SUTD. In specified research questions, we illustrate the potential use of the TWOS dataset in multiple areas of cyber security, which does not limit only to malicious insider threat detection but are also related to authorship verification and identification, continuous authentication, and sentiment analysis. For the purpose of investigating the research questions, we present several state-of-the-art features applicable to collected data sources, and thus we provide researchers with a guidance how to start with data analysis. The TWOS dataset was collected during a gamified competition that was devised in order to obtain realistic instances of malicious insider threat. The competition simulated user interactions in/among competing companies, where two types of behaviors (normal and malicious) were incentivized. For the case of malicious behavior,we designed two types of malicious periods that was intended to capture the behavior of two types of insiders – masqueraders and traitors. The game involved the participation of 6 teams consisting of 4 students who competed with each other for a period of 5 days. Their activities were monitored by several data collection agents and producing data for mouse, keyboard, process and file-system monitor, network traffic, emails, and login/logout data sources. In total, we obtained 320 hours of active participation that included 18 hours of masquerader data and at least two instances of traitor data. In addition to expected malicious behaviors, students explored various defensive and offensive strategies such as denial of service attacks and obfuscation techniques, in an effort to get ahead in the competition. The TWOS dataset was made publicly accessible for further research purposes. In this paper we present the TWOS dataset that contains realistic instances of insider threats based on a gamified competition. The competition simulated user interactions in/among competing companies, where two types of behaviors (normal and malicious) were incentivized. For the case of malicious behavior, we designed sessions for two types of insider threats (masqueraders and traitors). The game involved the participation of 6 teams consisting of 4 students who competed with each other for a period of 5 days, while their activities were monitored considering several heterogeneous sources (mouse, keyboard, process and file-system monitor, network traffic, emails and login/logout). In total, we obtained 320 hours of active participation that included 18 hours of masquerader data and at least two instances of traitor data. In addition to expected malicious behaviors, students explored various defensive and offensive strategies such as denial of service attacks and obfuscation techniques, in an effort to get ahead in the competition. Furthermore, we illustrate the potential use of the TWOS dataset in multiple areas of cyber security, which does not limit to malicious insider threat detection, but also areas such as authorship verification and identification, continuous authentication, and sentiment analysis. We also present several state-of-the-art features that can be extracted from different data sources in order to guide researchers in the analysis of the dataset. The TWOS dataset is publicly accessible for further research purposes. © 2018, Innovative Information Science and Technology Research Group. All rights reserved

Advanced persistent threats

Tese de mestrado, Segurança Informática, Universidade de Lisboa, Faculdade de Ciências, 2015Os sistemas computacionais tornaram-se uma parte importante da nossa sociedade, para além de estarmos intrinsecamente ligados a eles, a maioria da informação que utilizamos no nosso dia-a-dia está no seu formato digital. Ao contrário de um documento físico, um documento digital está exposto a uma maior variedade de ameaças, principalmente se estiver de alguma forma disponível `a Internet. Informação é poder, por isso não é de admirar que alguém, algures esteja a tentar roubá-la, assim, é facto que os adversários já operam neste novo mundo. Ladrões, terroristas e mesmo a máfia começaram a utilizar a internet como um meio para alcançar os seus fins. A cibersegurança tenta proteger a informação e os sistemas contra estes e outros tipos de ameaças, utilizando anti-vírus, firewalls ou detetores de intrusões, entre outros. Infelizmente as notícias continuam a sair, milhões de euros roubados a bancos por via informática, empresas saqueadas da sua propriedade intelectual e governos envergonhados por os seus segredos serem expostos ao mundo. A questão coloca-se, porque é que os sistemas de segurança estão a falhar? Como está o adversário a ultrapassá-los? A verdade hoje em dia é que os atacantes não só adquiriram talentos avançados na área como também têm acesso a ferramentas extremamente sofisticadas e vão fazer uso delas para serem bem-sucedidos nos seus objetivos, sejam estes o roubo de informação, o objetivo mais comum e por isso o mais abordado neste trabalho, seja o ataque a infraestruturas críticas. Advanced Persistent Threat(APT), ou ameaça avançada persistente, é um termo utilizado para caracterizar atacantes sofisticados, organizados e com recursos para concretizar ataques informáticos. Inventado pela força aérea Americana em 2006, o termo era uma forma de discutir intrusões informáticas com pessoal não militar. Nas suas origens, a palavra Ameaça indica que o adversário não é um pedaço de código automático, ou seja, o adversário ´e humano e ´e este humano que controla parte do ataque e contribui para o seu sucesso, avançada porque este humano é treinado e especializado na utilização de todo o espectro informático de forma a melhor conseguir atingir o seu objectivo e persistente, pois esse objectivo é formalmente definido, ou seja, o ataque só está concluído quando atingir o alvo em pleno. Infelizmente, o termo passou a ser utilizado para descrever qualquer ataque informático e a ter uma conotação extremamente comercial devido aos sistemas anti-APT que invadiram o mercado pouco tempo depois do ataque sofrido pela Google em 2010. Neste trabalho abordamos estes pressupostos, e explica-se o verdadeiro significado do termo juntamente com uma forma mais científica, claramente mais útil do ponto das abordagens da engenharia. Nomeadamente, sugere-se uma visão mais abrangente da campanha de ataque, não se focando apenas no software utilizado pelo adversário, mas tentando olhar para a campanha como um todo; equipas, organização, manutenção e orçamento, entre outros. Mostramos também porque estes ataques são diferentes, relativamente às suas tácticas, técnicas e procedimentos, e porque merecem ser distinguidos com a sua própria designação e o seu próprio ciclo de vida. Para além de identificarmos vários ciclos de vida associados às APTs, o ciclo de vida mais utilizado para caracterizar estas campanhas de ataque foi analisado em detalhe, desde as primeiras etapas de reconhecimento até à conclusão dos objectivos. Discute-se também a essência de cada passo e porque são, ou não, importantes. De seguida realiza-se uma análise ao tipo de atacante por trás destas campanhas, quem são, quais as suas histórias e objectivos. Avalia-se também porque é que os mecanismos de defesa tradicionais continuam a ser ultrapassados e n˜ao conseguem acompanhar o passo rápido dos atacantes. Isto acontece principalmente devido à utilização de listas do que é malicioso e o bloqueio apenas do que se encontra nessa lista, chamado de black listing. Ainda que se tenha já realizado trabalho na área de deteccão de anomalias, mostra-se também o porquê de esses sistemas continuarem a não ser suficientes, nomeadamente devido ao facto de definirem os seus pressupostos base erroneamente. Durante a realização deste trabalho percebeu-se a falta de estatísticas que pudessem responder a algumas questões. E por isso foi realizado um estudo aos relatórios disponíveis relativos a este tipo de ataques e apresentados os resultados de uma forma simples, organizada e resumida. Este estudo veio ajudar a perceber quais os maiores objectivos neste tipo de ataque, nomeadamente a espionagem e o roubo de informação confidencial; quais os maiores vectores de ataque (sendo o e-mail o grande vencedor devido à facilidade de explorar o vector humano); quais as aplicações alvo e a utilização, ou não, de vulnerabilidades desconhecidas. Esperamos que esta recolha de informação seja útil para trabalhos futuros ou para interessados no tema. Só depois de realizado este estudo foi possível pensar em formas de contribuir para a solução do problema imposto pelas APTs. Uma distinção ficou clara, existe não só a necessidade de detectar APTs, mas também a criticalidade da sua prevenção. A melhor forma de não ser vítima de infeção é a aplicação de boas práticas de segurança e, neste caso, a formação de todo o pessoal relativamente ao seu papel na segurança geral da organização. Aborda-se também a importância da preparação; segurança não é apenas proteger-se dos atacantes, mas principalmente saber como recuperar. Relativamente à deteção, foi realizado trabalho em duas vertentes, primeiramente e visto o trabalho ter sido realizado em ambiente de empresa, foi elaborado um plano para um sistema capaz de detectar campanhas de ataque que utilizassem o vetor de infeção do e-mail, fazendo uso dos sistemas já desenvolvidos pela AnubisNetworks que, sendo uma empresa de segurança informática com fortes ligações ao e-mail, tinha o conhecimento e as ferramentas necessárias para a concretização do sistema. O sistema faz uso de uma caracterização de pessoas, chamado de people mapping, que visa a identificar os principais alvos dentro da empresa e quem exibe maiores comportamentos de risco. Esta caracterização possibilita a criação de uma lista de pessoal prioritário, que teria o seu e-mail (caso tivesse anexos ou endereços) analisado em ambiente de sandbox. Este sistema acabou por não ser construído e é apenas deixada aqui a sua esquematização, sendo que fica lançado o desafio para a sua realização. De forma a contribuir não só para a empresa, mas também para a comunidade científica de segurança, foi de seguida realizado trabalho de deteção em vários pontos de qualquer rede informática seguindo os quatro principais passos na execução de uma campanha APT. Decidimos então utilizar um ciclo de vida composto por quatro etapas, sendo elas, a fase de reconhecimento, a infeção inicial, o controlo e o roubo de informação. Neste modelo, procuraram-se possíveis sistemas para a deteção de eventos relacionados com APTs nos três principais pontos de qualquer rede: a Internet, a Intranet e a máquina cliente. Ao analisar cada fase em cada ponto da rede, foi possível perceber realmente quais as principais áreas de estudo e desenvolvimento para melhor detectar APTs. Mais concretamente, concluiu-se que a internet seria o ponto ideal de deteção das fases de reconhecimento, a intranet para detetar controlo e roubo de informação e a máquina cliente para detetar infeção inicial. Conclui-se o trabalho apresentando o nosso ponto de vista relativamente ao futuro, isto é, quem vai fazer uso das táticas utilizadas nas campanhas APT visto serem extremamente bem sucedidas, como vão os atacantes adaptar-se aos novos mecanismos de defesa e quais os novos possíveis vetores de infeção.Computer systems have become a very important part of our society, most of the information we use in our everyday lives is in its digital form, and since information is power it only makes sense that someone, somewhere will try to steal it. Attackers are adapting and now have access to highly sophisticated tools and expertise to conduct highly targeted and very complex attack campaigns. Advanced Persistent Threat, or APT, is a term coined by the United States Air Force around 2006 as a way to talk about classified intrusions with uncleared personnel. It wrongly and quickly became the standard acronym to describe every sort of attack. This work tries to demystify the problem of APTs, why they are called as such, and what are the most common tactics, techniques and procedures. It also discusses previously proposed life-cycles, profile the most common adversaries and takes a look at why traditional defences will not stop them. A big problem encountered while developing this work was the lack of statistics regarding APT attacks. One of the big contributions here consists on the search for publicly available reports, its analysis, and presentation of relevant information gathered in a summarised fashion. From the most targeted applications to the most typical infection vector, insight is given on how and why the adversaries conduct these attacks. Only after a clear understanding of the problem is reached, prevention and detection schemes were discussed. Specifically, blueprints for a system to be used by AnubisNetworks are presented, capable of detecting these attacks at the e-mail level. It is based on sandboxing and people mapping, which is a way to better understand people, one of the weakest links in security. The work is concluded by trying to understand how the threat landscape will shape itself in upcoming years

Insider threat identification using the simultaneous neural learning of multi-source logs

Insider threat detection has drawn increasing attention in recent years. In order to capture a malicious insider's digital footprints that occur scatteredly across a wide range of audit data sources over a long period of time, existing approaches often leverage a scoring mechanism to orchestrate alerts generated from multiple sub-detectors, or require domain knowledge-based feature engineering to conduct a one-off analysis across multiple types of data. These approaches result in a high deployment complexity and incur additional costs for engaging security experts. In this paper, we present a novel approach that works with a variety of security logs. The security logs are transformed into texts in the same format and then arranged as a corpus. Using the model trained by Word2vec with the corpus, we are enabled to approximate the posterior probabilities for insider behaviours. Accordingly, we label the transformed events as suspicious if their behavioural probabilities are smaller than a given threshold, and a user is labelled as malicious if he/she is associated with multiple suspicious events. The experiments are undertaken with the Carnegie Mellon University (CMU) CERT Programs insider threat database v6.2, which not only demonstrate that the proposed approach is effective and scalable in practical applications but also provide a guidance for tuning the parameters and thresholds

Detecting threatening insiders with lightweight media forensics

This research uses machine learning and outlier analysis to detect potentially hostile insiders through the automated analysis of stored data on cell phones, laptops, and desktop computers belonging to members of an organization. Whereas other systems look for specific signatures associated with hostile insider activity, our system is based on the creation of a “storage profile” for each user and then an automated analysis of all the storage profiles in the organization, with the purpose of finding storage outliers. Our hypothesis is that malicious insiders will have specific data and concentrations of data that differ from their colleagues and coworkers. By exploiting these differences, we can identify potentially hostile insiders. Our system is based on a combination of existing open source computer forensic tools and datamining algorithms. We modify these tools to perform a “lightweight” analysis based on statistical sampling over time. In this, our approach is both efficient and privacy sensitive. As a result, we can detect not just individuals that differ from their co-workers, but also insiders that differ from their historic norms. Accordingly, we should be able to detect insiders that have been “turned” by events or outside organizations. We should also be able to detect insider accounts that have been taken over by outsiders. Our project, now in its first year, is a three-year project funded by the Department of Homeland Security, Science and Technology Directorate, Cyber Security Division. In this paper we describe the underlying approach and demonstrate how the storage profile is created and collected using specially modified open source tools. We also present the results of running these tools on a 500GB corpus of simulated insider threat data created by the Naval Postgraduate School in 2008 under grant from the National Science Foundation

Towards Identifying Human Actions, Intent, and Severity of APT Attacks Applying Deception Techniques -- An Experiment

Attacks by Advanced Persistent Threats (APTs) have been shown to be difficult to detect using traditional signature- and anomaly-based intrusion detection approaches. Deception techniques such as decoy objects, often called honey items, may be deployed for intrusion detection and attack analysis, providing an alternative to detect APT behaviours. This work explores the use of honey items to classify intrusion interactions, differentiating automated attacks from those which need some human reasoning and interaction towards APT detection. Multiple decoy items are deployed on honeypots in a virtual honey network, some as breadcrumbs to detect indications of a structured manual attack. Monitoring functionality was created around Elastic Stack with a Kibana dashboard created to display interactions with various honey items. APT type manual intrusions are simulated by an experienced pentesting practitioner carrying out simulated attacks. Interactions with honey items are evaluated in order to determine their suitability for discriminating between automated tools and direct human intervention. The results show that it is possible to differentiate automatic attacks from manual structured attacks; from the nature of the interactions with the honey items. The use of honey items found in the honeypot, such as in later parts of a structured attack, have been shown to be successful in classification of manual attacks, as well as towards providing an indication of severity of the attack