Data anonymization : algorithms, techniques and tools

Nos últimos anos, o volume de informação online tem vindo a crescer exponencialmente. Os dados pessoais de cada indivíduo são utilizados de forma contínua pelo governo, por empresas ou por indivíduos, com a finalidade de criar dados estatísticos. Estes podem depois ser utilizados em campanhas de marketing, na previsão de tendências futuras, na ajuda em investigações ao nível da ciência e da medicina e muitos outros exemplos. O maior problema com a utilização destes dados é que eles podem conter informação sensível e informação que permita identificar um indivíduo, podendo causar graves problemas a nível pessoal como, por exemplo, roubo de identidade, extração de dinheiro, etc., dependendo dos dados divulgados. Para resolver este problema existe a anonimização de dados. Esta tem como finalidade alterar os dados de modo a ocultar informação sensível e que podem permitir a identificação de um indivíduo, tornando-os menos precisos. Uma das maiores dificuldades perante a anonimização de dados é que ao mesmo tempo que se mantém a privacidade dos indivíduos, a utilidade dos dados deve permanecer e, para isto, é necessário ter em atenção as técnicas e os algoritmos que são utilizadas e a quantidade de vezes que estas são aplicadas. Neste trabalho são estudadas as técnicas de anonimização mais comuns, como a generalização, a supressão, a anatomização, a permutação e a perturbação e também alguns dos algoritmos de anonimização mais conhecidos, como o k-anonimato e o l diversidade. Para a avaliação e a aplicação destas técnicas e algoritmos foram utilizadas as ferramentas open-source, ARX Data Anonymization Tool, UTD Anonymization Toolbox e Amnesia. Utilizando a metodologia OSSpal foi também realizada a avaliação de cada uma destas ferramentas. A metodologia OSSpal tem como finalidade avaliar ferramentas open-source de forma a ajudar os utilizadores e as organizações a encontrar as melhores, recorrendo a um conjunto de categorias. No contexto desta tese, as categorias utilizadas foram a funcionalidade, as características funcionais do software, o suporte e os serviços, a documentação, os atributos da tecnologia do software, a comunidade e a adaptação e o processo de desenvolvimento. Nesta tese, o trabalho experimental realizado consistiu na avaliação das três ferramentas de anonimização utilizando dois dataset reais. O UTD Anonymization Toolbox só foi utilizado com um dos datasets, o de menor tamanho, porque esta ferramenta requer a introdução manual dos elementos do dataset num ficheiro, o que pode originar erros. Na avaliação das ferramentas é possível verificar que o ARX Data Anonymization Tool é a ferramenta que apresenta os dados de forma mais simples e que permite uma melhor visualização por parte do utilizador. O Amnesia é fácil de utilizar pois mostra ao utilizador todos os passos necessários para anonimizar um dataset, apesar de mostrar alguns erros, porém, o UTD Anonymization Toolbox foi a ferramenta que apresentou mais dificuldades na utilização devido ao facto de não ter uma interface gráfica, mas também porque a introdução dos dados tem de ser feita de forma manual. Após a avaliação experimental é possível concluir que o ARX Data Anonymization Tool é a melhor ferramenta para ser usada na anonimização de dados, seguindo-se o Amnesia e, por último o UTD Anonymization Toolbox

DataHub e Apache Atlas: uma análise comparativa de ferramentas de catalogação de dados

Big Data introduces a significant increase of complexity to projects, in which, the use of inadequate data will inevitably produce inadequate and incorrect analysis. Data Catalogs centralize the system’s metadata into one place, providing a global view of the stored data, so it is essential to use appropriate data catalog tools. The choice of the tool that best suits the needs of the projects must be well-founded. This paper uses the OSSpal methodology, usually used for comparing open-source technologies, to do a comparative analysis of two tools: DataHub and Apache Atlas.Big Data introduz um acréscimo significativo de complexidade aos projetos, nos quais, a utilização de dados inadequados irá produzir, inevitavelmente, análises inadequadas e incorretas. Os catálogos de dados centralizam todos os metadados de um sistema de Big Data num único local, fornecendo uma visão global dos dados armazenados, pelo que é fundamental a utilização de ferramentas de catalogação de dados adequadas aos projetos em que inserem. A escolha da ferramenta que melhor se adequa às necessidades dos projetos deve ser o mais fundamentada possível. Neste trabalho foi aplicada a metodologia OSSpal, de comparação de tecnologias open-source, para a análise comparativa de duas ferramentas: DataHub e Apache Atlas.FCT - Fundação para a Ciência e a Tecnologia(POCI/LISBOA-01-0247-FEDER-046119

DataHub and Apache Atlas: A Comparative Analysis of Data Catalog Tools

Big Data introduces a significant increase of complexity to projects, in which, the use of inadequate data will inevitably produce inadequate and incorrect analysis. Data Catalogs centralize the system’s metadata into one place, providing a global view of the stored data, so it is essential to use appropriate data catalog tools. The choice of the tool that best suits the needs of the projects must be well-founded. This paper uses the OSSpal methodology, usually used for comparing open-source technologies, to do a comparative analysis of two tools: DataHub and Apache Atlas

Evaluation methodology for visual analytics software

O desafio do Visual Analytics (VA) é produzir visualizações que ajudem os utilizadores a concentrarem-se no aspecto mais relevante ou mais interessante dos dados apresentados. A sociedade actual enfrenta uma quantidade de dados que aumenta rapidamente. Assim, os utilizadores de informação em todos os domínios acabam por ter mais informação do que aquela com que podem lidar. O software VA deve suportar interacções intuitivas para que os analistas possam concentrar-se na informação que estão a manipular, e não na técnica de manipulação em si. Os ambientes de VA devem procurar minimizar a carga de trabalho cognitivo global dos seus utilizadores, porque se tivermos de pensar menos nas interacções em si, teremos mais tempo para pensar na análise propriamente dita. Tendo em conta os benefícios que as aplicações VA podem trazer e a confusão que ainda existe ao identificar tais aplicações no mercado, propomos neste trabalho uma nova metodologia de avaliação baseada em heurísticas. A nossa metodologia destina-se a avaliar aplicações através de testes de usabilidade considerando as funcionalidades e características desejáveis em sistemas de VA. No entanto, devido à sua natureza quatitativa, pode ser naturalmente utilizada para outros fins, tais como comparação para decisão entre aplicações de VA do mesmo contexto. Além disso, seus critérios poderão servir como fonte de informação para designers e programadores fazerem escolhas apropriadas durante a concepção e desenvolvimento de sistemas de VA

Análise de aplicações de gestão de projetos para suporte à gestão de conhecimento

A Gestão do Conhecimento é um elemento essencial para a execução bem-sucedida de projetos. Dada a natureza temporária dos projetos e das equipas que neles participam, a transferência, integração e gestão do conhecimento entre projetos revela-se muito importante para propiciar a partilha de “melhores práticas” evitando a repetição de erros anteriores, com vista a aumentar a probabilidade de sucesso dos projetos e da organização. Por esta razão, as aplicações de Gestão de Projetos podem desempenhar um papel significativo no suporte à Gestão do Conhecimento. A presente tese teve como objetivo fazer a análise e avaliação das aplicações de gestão de projetos do quadrante Líder da Gartner, relativamente às suas potencialidades para a Captura, Armazenamento, Partilha e Aplicação de conhecimento, para suporte aos artefactos do Project Management Body of Knowledge (PMBOK). Posteriormente, comparou-se os resultados dessa análise com os da aplicação “Confluence”. Esta aplicação serviu como referência de comparação, sendo recomendada na literatura pelas suas capacidades de gestão de conhecimento. Como resultado desta investigação obteve-se um artefacto de análise e comparação das aplicações, cujo desenvolvimento seguiu a metodologia Design Science Research. Os resultados obtidos permitem fazer uma análise comparativa das potencialidades de cada aplicação para as diferentes etapas do ciclo de vida da gestão do conhecimento, relativamente aos artefactos do PMBOK. Das sete aplicações do quadrante Líder da Gartner, a que mais se destacou foi “Targetprocess” com boas classificações por análise comparativa com as restantes, relativamente às suas capacidades para a Captura, Armazenamento, Partilha e Aplicação de conhecimento.Knowledge Management is an essential element for the successful implementation of projects. Due to the temporary nature of the projects and the teams that participate in them, the transfer, integration, and management of knowledge among projects becomes very important to promote sharing best practices and to avoid the repetition of previous mistakes, to increase the probability of success for the projects and the organization. For this reason, Project Management applications can play a significant role in supporting Knowledge Management. The thesis aims to analyse and evaluate the project management applications of the Gartner Leader quadrant, regarding their potential for the Capture, Storage, Sharing and Application of knowledge to support the artifacts in the Project Management Body of Knowledge (PMBOK). Subsequently, the results of this analysis were compared to those of the “Confluence” application. This application was used as a benchmark, recommended by the literature for its knowledge management capabilities. As a result of this research, an artifact of analysis and comparison of the applications was produced, whose development was based on the Design Science Research methodology. The results obtained make it possible to perform a comparative analysis of the capabilities of each application for the different stages of the knowledge management life cycle regarding the PMBOK artifacts. Out of the seven applications in the Gartner Leader quadrant, “Targetprocess” was the one that stood out the most with great ratings when compared to the others regarding its capabilities for Capturing, Storing, Sharing, and Applying knowledge

Metodologias e ferramentas utilizadas pelas empresas certificadas pela NP 4457, para a gestão de projetos de inovação

O presente trabalho, propõe-se identificar as metodologias e ferramentas mais utilizadas na gestão de projetos de inovação, pelas empresas portuguesas certificadas pela norma NP 4457:2007 – Investigação, Desenvolvimento e Inovação, com o propósito de confirmar quais as vantagens da utilização destas na otimização do processo de Gestão de Projetos e na valorização da capacidade inovadora das organizações. Numa primeira fase, a pesquisa, focou-se numa revisão da literatura e na análise da bibliografia para identificar e caracterizar quais as metodologias e ferramentas, relativas à gestão dos projetos, estudadas e desenvolvidas pelos diferentes investigadores e autores. Posteriormente, foi efetuado um inquérito por questionário, cujas questões se basearam na análise dos artigos resultantes das pesquisas efetuadas, a todas as empresas portuguesas certificadas segundo a norma NP 4457:2007. Face aos resultados obtidos, concluiu-se que as metodologias mais utilizadas por estas empresas são a Agile, PMBOK e V-Model, sendo que a ferramenta mais adotada é o Microsoft Project. Constatou-se, de igual forma, que a seleção da metodologia e das ferramentas não está associada à dimensão da empresa, ou ao sector onde esta se insere. As vantagens e desvantagens decorrentes da utilização, tanto das metodologias como das ferramentas, identificadas por este estudo, corroboram as identificadas na literatura analisada. Por fim os resultados evidenciam que a adoção, tanto de metodologias, como de ferramentas, levam as empresas ao cumprimento dos prazos de entrega e à melhoria do processo de Gestão de Projetos que, por sua vez, conduz à satisfação dos clientes.The present work proposes to identify the methodologies and tools most used in the management of innovation projects, by portuguese companies certified by the NP 4457:2007 standard – Research, Development, and Innovation, with the purpose of confirming the advantages of using these in the optimizing processes and valuing the innovative capacity of organizations. In a first phase, the research focused on a literature review and bibliography analysis to identify and characterize the methodologies and tools related to project management, studied, and developed by different researchers and authors. A questionnaire survey was carried out, whose questions were based on the analysis of the articles resulting from the research, to all portuguese companies certified according to the NP 4457:2007 standard. Regarding the results obtained, it was concluded that the methodologies most used by these companies are Agile, PMBOK and V-Model, and the most adopted tool is Microsoft Project. It was also found that the selection of methodology and tools is not associated with the size of the company, or the sector in which it operates. The advantages and disadvantages resulting from the use of both methodologies and tools, identified by this study, corroborate those identified in the analysed literature. Finally, the results show that the adoption of both methodologies and tools, lead companies to meet delivery deadlines and improve the Project Management process that leads to customer satisfaction.Mestrado em Gestão da Qualidade Tota

Gestão de documentos de arquivo com uso de sistemas em software de código aberto

A Gestão de Documentos de Arquivo é um processo essencial para as Organizações Públicas ou Privadas e para indivíduos focando-se no registo, descrição, acesso e preservação dos documentos associados às suas atividades. Cada vez mais organizações e indivíduos têm de gerir enormes massas documentais não se referindo estes documentos apenas a textos escritos, mas também arquivos fotográficos, sonoros, entre outros. Entretanto o crescimento da massa documental digital, com as evoluções tecnológicas dos últimos anos, tem vindo a acelerar, contrariamente ao suporte físico, que cada vez mais é digitalizado e destruído ou simplesmente substituído pelo formato digital. A evolução dos Sistemas de Informação permitiu avanços na Gestão de Documentos de Arquivo, pois facilitou a sua operacionalização, contribuindo para maturar práticas e conceitos. Em especial, o movimento do Software Livre trouxe novos sistemas nas mais diversas áreas, incluindo as da Gestão de Documentos de Arquivo. A implementação mais alargada destes sistemas trouxe a descoberto necessidades que podem ser colmatadas com implementações de arquiteturas mais modernas, garantindo maior elasticidade e disponibilidade. Ao verificar a existência limitada de investigações sobre este tema, esta dissertação procura, em termos gerais, identificar se é possível implementar um Sistema de Gestão de Documentos de Arquivo unicamente com software livre. No âmbito da investigação, foi necessário identificar os principais requisitos alinhados com normas e standards relevantes, criar um modelo conceptual para selecionar implementações e, criar um protótipo que demonstre ser possível resolver o problema definido. A investigação foi conduzida socorrendo-se da metodologia DSRM, ao realizar cada uma das atividades definidas, aplicando-as ao problema e objetivos da dissertação. Finalmente, a investigação demonstra, através da concretização do modelo conceptual, desenhado a partir das técnicas investigadas e descritas na revisão de literatura, que é possível implementar um Sistema de Gestão de Documentos de Arquivo, com Software Livre ou de Código Aberto.Document Management is an essential process for Public or Private Organizations and also for individuals, that focuses in recording, describing, accessing and preserving documents linked to their activities. In an increasing matter, individuals and organizations need to manage huge amounts of documents, these documents not being solely text-based but also photographic archives, sound archives, among others. Meanwhile the growth of digital assets, with all the technological evolution from the past years, has been accelerating, and the physical assets have been decreasing in proportion, as they are mostly scanned and destroyed or simply replaced by a digital format. The evolution of Information Systems allowed breakthroughs in Document Management as it has facilitated it’s operationalization, contributing to practices and concept maturity. In particular, the Free Software Movement brought a wave of new systems in the most diverse fields, including Document Management. The increase in implementations in the field uncovered new requirements that can be covered with the use of modern architectures, that warrant more elasticity and availability. Observing the limited amount of investigations on this theme, this dissertation aims, in general, to identify if it is possible to implement a Document Management System only with Open Source Software. Within the scope of the research, it was necessary to identify the main requirements aligned with relevant norms and standards, create a conceptual model to select implementations and, create a prototype that demonstrates that it is possible to solve the defined problem. The research was conducted using the DSRM methodology, by performing each activity defined, applying them to the problem and goals of the dissertation. Finally, the research demonstrates, through the implementation of the conceptual model, designed based on the investigated techniques and described in the literature review, that it is possible to implement a Document Management System, with Free or Open Source Software