The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation

This report surveys the landscape of potential security threats from malicious uses of AI, and proposes ways to better forecast, prevent, and mitigate these threats. After analyzing the ways in which AI may influence the threat landscape in the digital, physical, and political domains, we make four high-level recommendations for AI researchers and other stakeholders. We also suggest several promising areas for further research that could expand the portfolio of defenses, or make attacks less effective or harder to execute. Finally, we discuss, but do not conclusively resolve, the long-term equilibrium of attackers and defenders.Future of Humanity Institute, University of Oxford, Centre for the Study of Existential Risk, University of Cambridge, Center for a New American Security, Electronic Frontier Foundation, OpenAI. The Future of Life Institute is acknowledged as a funder

Reducing the risk of e-mail phishing in the state of Qatar through an effective awareness framework

In recent years, cyber crime has focused intensely on people to bypass existing sophisticated security controls; phishing is one of the most common forms of such attack. This research highlights the problem of e-mail phishing. A lot of previous research demonstrated the danger of phishing and its considerable consequences. Since users behaviour is unpredictable, there is no reliable technological protective solution (e.g. spam filters, anti-viruses) to diminish the risk arising from inappropriate user decisions. Therefore, this research attempts to reduce the risk of e-mail phishing through awareness and education. It underlines the problem of e-mail phishing in the State of Qatar, one of world s fastest developing countries and seeks to provide a solution to enhance people s awareness of e-mail phishing by developing an effective awareness and educational framework. The framework consists of valuable recommendations for the Qatar government, citizens and organisations responsible for ensuring information security along with an educational agenda to train them how to identify and avoid phishing attempts. The educational agenda supports users in making better trust decisions to avoid phishing that could complement any technical solutions. It comprises a collection of training methods: conceptual, embedded, e-learning and learning programmes which include a television show and a learning session with a variety of teaching components such as a game, quizzes, posters, cartoons and a presentation. The components were tested by trial in two Qatari schools and evaluated by experts and a representative sample of Qatari citizens. Furthermore, the research proves the existence and extent of the e-mail phishing problem in Qatar in comparison with the UK where people were found to be less vulnerable and more aware. It was discovered that Qatar is an attractive place for phishers and that a lack of awareness and e-law made Qatar more vulnerable to the phishing. The research identifies the factors which make Qatari citizens susceptible to e-mail phishing attacks such as cultural, country-specific factors, interests and beliefs, religion effect and personal characteristics and this identified the need for enhancing Qatari s level of awareness on phishing threat. Since literature on phishing in Qatar is sparse, empirical and non-empirical studies involved a variety of surveys, interviews and experiments. The research successfully achieved its aim and objectives and is now being considered by the Qatari Government

Advanced persistent threats

Tese de mestrado, Segurança Informática, Universidade de Lisboa, Faculdade de Ciências, 2015Os sistemas computacionais tornaram-se uma parte importante da nossa sociedade, para além de estarmos intrinsecamente ligados a eles, a maioria da informação que utilizamos no nosso dia-a-dia está no seu formato digital. Ao contrário de um documento físico, um documento digital está exposto a uma maior variedade de ameaças, principalmente se estiver de alguma forma disponível `a Internet. Informação é poder, por isso não é de admirar que alguém, algures esteja a tentar roubá-la, assim, é facto que os adversários já operam neste novo mundo. Ladrões, terroristas e mesmo a máfia começaram a utilizar a internet como um meio para alcançar os seus fins. A cibersegurança tenta proteger a informação e os sistemas contra estes e outros tipos de ameaças, utilizando anti-vírus, firewalls ou detetores de intrusões, entre outros. Infelizmente as notícias continuam a sair, milhões de euros roubados a bancos por via informática, empresas saqueadas da sua propriedade intelectual e governos envergonhados por os seus segredos serem expostos ao mundo. A questão coloca-se, porque é que os sistemas de segurança estão a falhar? Como está o adversário a ultrapassá-los? A verdade hoje em dia é que os atacantes não só adquiriram talentos avançados na área como também têm acesso a ferramentas extremamente sofisticadas e vão fazer uso delas para serem bem-sucedidos nos seus objetivos, sejam estes o roubo de informação, o objetivo mais comum e por isso o mais abordado neste trabalho, seja o ataque a infraestruturas críticas. Advanced Persistent Threat(APT), ou ameaça avançada persistente, é um termo utilizado para caracterizar atacantes sofisticados, organizados e com recursos para concretizar ataques informáticos. Inventado pela força aérea Americana em 2006, o termo era uma forma de discutir intrusões informáticas com pessoal não militar. Nas suas origens, a palavra Ameaça indica que o adversário não é um pedaço de código automático, ou seja, o adversário ´e humano e ´e este humano que controla parte do ataque e contribui para o seu sucesso, avançada porque este humano é treinado e especializado na utilização de todo o espectro informático de forma a melhor conseguir atingir o seu objectivo e persistente, pois esse objectivo é formalmente definido, ou seja, o ataque só está concluído quando atingir o alvo em pleno. Infelizmente, o termo passou a ser utilizado para descrever qualquer ataque informático e a ter uma conotação extremamente comercial devido aos sistemas anti-APT que invadiram o mercado pouco tempo depois do ataque sofrido pela Google em 2010. Neste trabalho abordamos estes pressupostos, e explica-se o verdadeiro significado do termo juntamente com uma forma mais científica, claramente mais útil do ponto das abordagens da engenharia. Nomeadamente, sugere-se uma visão mais abrangente da campanha de ataque, não se focando apenas no software utilizado pelo adversário, mas tentando olhar para a campanha como um todo; equipas, organização, manutenção e orçamento, entre outros. Mostramos também porque estes ataques são diferentes, relativamente às suas tácticas, técnicas e procedimentos, e porque merecem ser distinguidos com a sua própria designação e o seu próprio ciclo de vida. Para além de identificarmos vários ciclos de vida associados às APTs, o ciclo de vida mais utilizado para caracterizar estas campanhas de ataque foi analisado em detalhe, desde as primeiras etapas de reconhecimento até à conclusão dos objectivos. Discute-se também a essência de cada passo e porque são, ou não, importantes. De seguida realiza-se uma análise ao tipo de atacante por trás destas campanhas, quem são, quais as suas histórias e objectivos. Avalia-se também porque é que os mecanismos de defesa tradicionais continuam a ser ultrapassados e n˜ao conseguem acompanhar o passo rápido dos atacantes. Isto acontece principalmente devido à utilização de listas do que é malicioso e o bloqueio apenas do que se encontra nessa lista, chamado de black listing. Ainda que se tenha já realizado trabalho na área de deteccão de anomalias, mostra-se também o porquê de esses sistemas continuarem a não ser suficientes, nomeadamente devido ao facto de definirem os seus pressupostos base erroneamente. Durante a realização deste trabalho percebeu-se a falta de estatísticas que pudessem responder a algumas questões. E por isso foi realizado um estudo aos relatórios disponíveis relativos a este tipo de ataques e apresentados os resultados de uma forma simples, organizada e resumida. Este estudo veio ajudar a perceber quais os maiores objectivos neste tipo de ataque, nomeadamente a espionagem e o roubo de informação confidencial; quais os maiores vectores de ataque (sendo o e-mail o grande vencedor devido à facilidade de explorar o vector humano); quais as aplicações alvo e a utilização, ou não, de vulnerabilidades desconhecidas. Esperamos que esta recolha de informação seja útil para trabalhos futuros ou para interessados no tema. Só depois de realizado este estudo foi possível pensar em formas de contribuir para a solução do problema imposto pelas APTs. Uma distinção ficou clara, existe não só a necessidade de detectar APTs, mas também a criticalidade da sua prevenção. A melhor forma de não ser vítima de infeção é a aplicação de boas práticas de segurança e, neste caso, a formação de todo o pessoal relativamente ao seu papel na segurança geral da organização. Aborda-se também a importância da preparação; segurança não é apenas proteger-se dos atacantes, mas principalmente saber como recuperar. Relativamente à deteção, foi realizado trabalho em duas vertentes, primeiramente e visto o trabalho ter sido realizado em ambiente de empresa, foi elaborado um plano para um sistema capaz de detectar campanhas de ataque que utilizassem o vetor de infeção do e-mail, fazendo uso dos sistemas já desenvolvidos pela AnubisNetworks que, sendo uma empresa de segurança informática com fortes ligações ao e-mail, tinha o conhecimento e as ferramentas necessárias para a concretização do sistema. O sistema faz uso de uma caracterização de pessoas, chamado de people mapping, que visa a identificar os principais alvos dentro da empresa e quem exibe maiores comportamentos de risco. Esta caracterização possibilita a criação de uma lista de pessoal prioritário, que teria o seu e-mail (caso tivesse anexos ou endereços) analisado em ambiente de sandbox. Este sistema acabou por não ser construído e é apenas deixada aqui a sua esquematização, sendo que fica lançado o desafio para a sua realização. De forma a contribuir não só para a empresa, mas também para a comunidade científica de segurança, foi de seguida realizado trabalho de deteção em vários pontos de qualquer rede informática seguindo os quatro principais passos na execução de uma campanha APT. Decidimos então utilizar um ciclo de vida composto por quatro etapas, sendo elas, a fase de reconhecimento, a infeção inicial, o controlo e o roubo de informação. Neste modelo, procuraram-se possíveis sistemas para a deteção de eventos relacionados com APTs nos três principais pontos de qualquer rede: a Internet, a Intranet e a máquina cliente. Ao analisar cada fase em cada ponto da rede, foi possível perceber realmente quais as principais áreas de estudo e desenvolvimento para melhor detectar APTs. Mais concretamente, concluiu-se que a internet seria o ponto ideal de deteção das fases de reconhecimento, a intranet para detetar controlo e roubo de informação e a máquina cliente para detetar infeção inicial. Conclui-se o trabalho apresentando o nosso ponto de vista relativamente ao futuro, isto é, quem vai fazer uso das táticas utilizadas nas campanhas APT visto serem extremamente bem sucedidas, como vão os atacantes adaptar-se aos novos mecanismos de defesa e quais os novos possíveis vetores de infeção.Computer systems have become a very important part of our society, most of the information we use in our everyday lives is in its digital form, and since information is power it only makes sense that someone, somewhere will try to steal it. Attackers are adapting and now have access to highly sophisticated tools and expertise to conduct highly targeted and very complex attack campaigns. Advanced Persistent Threat, or APT, is a term coined by the United States Air Force around 2006 as a way to talk about classified intrusions with uncleared personnel. It wrongly and quickly became the standard acronym to describe every sort of attack. This work tries to demystify the problem of APTs, why they are called as such, and what are the most common tactics, techniques and procedures. It also discusses previously proposed life-cycles, profile the most common adversaries and takes a look at why traditional defences will not stop them. A big problem encountered while developing this work was the lack of statistics regarding APT attacks. One of the big contributions here consists on the search for publicly available reports, its analysis, and presentation of relevant information gathered in a summarised fashion. From the most targeted applications to the most typical infection vector, insight is given on how and why the adversaries conduct these attacks. Only after a clear understanding of the problem is reached, prevention and detection schemes were discussed. Specifically, blueprints for a system to be used by AnubisNetworks are presented, capable of detecting these attacks at the e-mail level. It is based on sandboxing and people mapping, which is a way to better understand people, one of the weakest links in security. The work is concluded by trying to understand how the threat landscape will shape itself in upcoming years

Cross Domain IW Threats to SOF Maritime Missions: Implications for U.S. SOF

As cyber vulnerabilities proliferate with the expansion of connected devices, wherein security is often forsaken for ease of use, Special Operations Forces (SOF) cannot escape the obvious, massive risk that they are assuming by incorporating emerging technologies into their toolkits. This is especially true in the maritime sector where SOF operates nearshore in littoral zones. As SOF—in support to the U.S. Navy— increasingly operate in these contested maritime environments, they will gradually encounter more hostile actors looking to exploit digital vulnerabilities. As such, this monograph comes at a perfect time as the world becomes more interconnected but also more vulnerable

Campus Safety Data Gathering, Classification, and Ranking Based on Clery-Act Reports

Most existing campus safety rankings are based on criminal incident history with minimal or no consideration of campus security conditions and standard safety measures. Campus safety information published by universities/colleges is usually conceptual/qualitative and not quantitative and are based-on criminal records of these campuses. Thus, no explicit and trusted ranking method for these campuses considers the level of compliance with the standard safety measures. A quantitative safety measure is important to compare different campuses easily and to learn about specific campus safety conditions. In this thesis, we utilize Clery-Act reports of campuses to automatically analyze their safety conditions and generate a safety rank based on these reports. We first provide a survey of campus safety and security measures. We utilize our survey results to provide an automated data-gathering method for capturing standard campus safety data from Clery-act reports. We then utilize the collected information to classify existing campuses based on their safety conditions. Our research model is also capable to predict the safety rank of campuses based on their Clery-Act report by comparing it to existing Clery-Act reports of other campuses and reported rank on public resources. Our research on this thesis uses a number of languages, tools, and technologies such as Python, shell scripts, text conversion, data mining, spreadsheets, and others. We provide a detailed description of our research work on this topic, explain our research methodology, and finally describe our findings and results. This research contributes to the automated campus safety data generation, classification, and ranking

Deep Learning for Phishing Detection: Taxonomy, Current Challenges and Future Directions

This work was supported in part by the Ministry of Higher Education under the Fundamental Research Grant Scheme under Grant FRGS/1/2018/ICT04/UTM/01/1; and in part by the Faculty of Informatics and Management, University of Hradec Kralove, through SPEV project under Grant 2102/2022.Phishing has become an increasing concern and captured the attention of end-users as well as security experts. Existing phishing detection techniques still suffer from the de ciency in performance accuracy and inability to detect unknown attacks despite decades of development and improvement. Motivated to solve these problems, many researchers in the cybersecurity domain have shifted their attention to phishing detection that capitalizes on machine learning techniques. Deep learning has emerged as a branch of machine learning that becomes a promising solution for phishing detection in recent years. As a result, this study proposes a taxonomy of deep learning algorithm for phishing detection by examining 81 selected papers using a systematic literature review approach. The paper rst introduces the concept of phishing and deep learning in the context of cybersecurity. Then, taxonomies of phishing detection and deep learning algorithm are provided to classify the existing literature into various categories. Next, taking the proposed taxonomy as a baseline, this study comprehensively reviews the state-of-the-art deep learning techniques and analyzes their advantages as well as disadvantages. Subsequently, the paper discusses various issues that deep learning faces in phishing detection and proposes future research directions to overcome these challenges. Finally, an empirical analysis is conducted to evaluate the performance of various deep learning techniques in a practical context, and to highlight the related issues that motivate researchers in their future works. The results obtained from the empirical experiment showed that the common issues among most of the state-of-the-art deep learning algorithms are manual parameter-tuning, long training time, and de cient detection accuracy.Ministry of Higher Education under the Fundamental Research Grant Scheme FRGS/1/2018/ICT04/UTM/01/1Faculty of Informatics and Management, University of Hradec Kralove, through SPEV project 2102/202

The Future of Government: Lessons Learned from around the World

The report provides a summary of the discussions that have taken place within the framework of Forum activities on how the strategies, structures and practices of governments must change in the coming years, and how new networks and technologies can be leveraged to transform government capacity. It includes a series of policy briefs, which distils some of the most current and vital information for government modernization available, and concludes with case studies from around the world