Nowadays, the World Wide Web (WWW) is simultaneously an accumulator and a provider of huge
amounts of information, which is delivered to users through news, blogs, social networks, etc.
The exponential growth of information is a major challenge for the community in general, since
the frequent demand and correlation of news becomes a repetitive task, potentially tedious and
prone to errors. Although information scrutiny is still performed manually and on a regular basis
by most people, the emergence of Open-Source Intelligence (OSINT) systems in recent years for
monitoring, selection and extraction of textual information from social networks and the Web
promise to change the life of some of them. These systems are now very popular and useful
tools for professionals from different areas, such as the cyber-security community, where being
updated with the latest news and trends can lead to a direct impact on threat response.
This work aims to address the previously motivated problem through the implementation of a
dynamic OSINT system. For this system, two algorithms were developed: one to dynamically
add, remove and rate user accounts with relevant tweets in the computer security area; and
another one to classify the publications of those users. The relevance of a user depends not
only on how frequently he publishes, but also on his importance (status) in the social network,
as well as on the relevance of the information published by him. Text mining functions are
proposed herein to achieve the objective of measuring the relevance of text segments.
The proposed approach is innovative, involving dynamic management of the relevance of users
and their publications, thus ensuring a more reliable and important source of information framework.
Apart from the algorithms and functions on which they were build (which were also proposed
in the scope of this work), this dissertation describes several experiments and tests used
in their evaluation. The qualitative results are very interesting and demonstrate the practical
usefulness of the approach. In terms of human-machine interface, a mural of information,
generated dynamically and automatically from the social network Twitter, is provided to the
end-user. In the current version of the system, the mural is presented in the form of a web
page, highlighting the news by its relevancy (red for high relevance, yellow for moderate relevance,
and green for low relevance).
The main contributions of this work are the two proposed algorithms and their evaluation. A
fully working prototype of a system with their implementation, along with a mural for showing
selected news, is another important output of this work.Atualmente, a World Wide Web (WWW) fornece aos utilizadores enormes quantidades de informação
sob os mais diversos formatos: notícias, blogs, nas redes sociais, entre outros. O
crescimento exponencial desta informação representa um grande desafio para a comunidade
em geral, uma vez que a procura e correlação frequente de notícias acaba por se tornar numa
tarefa repetitiva, potencialmente aborrecida e sujeita a erros. Apesar da maioria das pessoas
ainda fazer o escrutínio da informação de forma manual e regularmente, têm surgido, nos
últimos anos, sistemas Open-Source Intelligence (OSINT) que efetuam a vigilância, seleção e
extração de informação textual, a partir de redes sociais e da web em geral. Estes sistemas são
hoje ferramentas muito populares e úteis aos profissionais de diversas áreas, como a da cibersegurança,
onde estar atualizado com as notícias e as tendências mais recentes pode levar a um
impacto direto na reação a ameaças.
O objetivo deste trabalho passa pela tentativa de solucionar o problema motivado anteriormente,
através da implementação de um sistema dinâmico OSINT. Para este sistema foram desenvolvidos
dois algoritmos: um para adicionar, remover e classificar, dinamicamente, contas
de utilizadores com tweets relevantes na área da segurança informática e outro para classificar
as publicações desses utilizadores. A relevância de um utilizador depende não só da sua
frequência de publicação mas também da sua importância (status) na rede social, bem como a
relevância da informação publicada. Neste último ponto, são propostas funções de prospeção
de texto que permitem medir a relevância de segmentos de texto.
A abordagem proposta é inovadora, envolvendo gestão dinâmica da relevância dos utilizadores
e das suas publicações, garantindo assim um quadro de fonte de informação mais fidedigna
e importante. Para além dos algoritmos e das funções que os compõem (também propostas
no contexto deste trabalho), esta dissertação descreve várias experiências e testes usados na
sua avaliação. Os resultados qualitativos constatados são pertinentes, denotando uma elevada
utilidade prática. Em termos de interface homem-máquina, é disponibilizado um mural de informação
contínua que vai sendo gerado dinâmica e automaticamente, a partir da rede social
Twitter, e apresentado sob a forma de uma página web, destacando as notícias apresentadas
pelo grau de relevância que possuem (vermelho para relevância elevada, amarelo para relevância
moderada e verde para relevância reduzida).
As contribuições principais deste trabalho compreendem os dois algoritmos propostos e a sua
avaliação. Um protótipo totalmente funcional de um sistema que os implementa, acompanhado
pelo mural que mostra as notícias selecionadas, constituem outro resultado importante do
trabalho
