Big data analytics: a predictive analysis applied to cybersecurity in a financial organization

Project Work presented as partial requirement for obtaining the Master’s degree in Information Management, with a specialization in Knowledge Management and Business IntelligenceWith the generalization of the internet access, cyber attacks have registered an alarming growth in frequency and severity of damages, along with the awareness of organizations with heavy investments in cybersecurity, such as in the financial sector. This work is focused on an organization’s financial service that operates on the international markets in the payment systems industry. The objective was to develop a predictive framework solution responsible for threat detection to support the security team to open investigations on intrusive server requests, over the exponentially growing log events collected by the SIEM from the Apache Web Servers for the financial service. A Big Data framework, using Hadoop and Spark, was developed to perform classification tasks over the financial service requests, using Neural Networks, Logistic Regression, SVM, and Random Forests algorithms, while handling the training of the imbalance dataset through BEV. The main conclusions over the analysis conducted, registered the best scoring performances for the Random Forests classifier using all the preprocessed features available. Using the all the available worker nodes with a balanced configuration of the Spark executors, the most performant elapsed times for loading and preprocessing of the data were achieved using the column-oriented ORC with native format, while the row-oriented CSV format performed the best for the training of the classifiers.Com a generalização do acesso à internet, os ciberataques registaram um crescimento alarmante em frequência e severidade de danos causados, a par da consciencialização das organizações, com elevados investimentos em cibersegurança, como no setor financeiro. Este trabalho focou-se no serviço financeiro de uma organização que opera nos mercados internacionais da indústria de sistemas de pagamento. O objetivo consistiu no desenvolvimento uma solução preditiva responsável pela detecção de ameaças, por forma a dar suporte à equipa de segurança na abertura de investigações sobre pedidos intrusivos no servidor, relativamente aos exponencialmente crescentes eventos de log coletados pelo SIEM, referentes aos Apache Web Servers, para o serviço financeiro. Uma solução de Big Data, usando Hadoop e Spark, foi desenvolvida com o objectivo de executar tarefas de classificação sobre os pedidos do serviço financeiros, usando os algoritmos Neural Networks, Logistic Regression, SVM e Random Forests, solucionando os problemas associados ao treino de um dataset desequilibrado através de BEV. As principais conclusões sobre as análises realizadas registaram os melhores resultados de classificação usando o algoritmo Random Forests com todas as variáveis pré-processadas disponíveis. Usando todos os nós do cluster e uma configuração balanceada dos executores do Spark, os melhores tempos para carregar e pré-processar os dados foram obtidos usando o formato colunar ORC nativo, enquanto o formato CSV, orientado a linhas, apresentou os melhores tempos para o treino dos classificadores

Machine learning approaches for dietary assessment

When considering individuals with dietary limitations, automatic food recognition, and assessment are paramount. Smartphone-oriented applications are convenient and handy when dish recognition and the elements inside are required. Machine learning (deep learning) applied to image recognition, alongside other classification techniques (for example, bag-of-words), are possible approaches to tackle this problem. The current most promising approach to the classification problem is deep leaning, which requires high computation for training, but it is an extremely fast and computationally light classifier. Since the requirement for the classifiers to be as accurate as possible, the humans must also be considered as the classifier. This work tests and compares deep-learning methods bag-of-words applied to computer vision, and the human visual system. Results show that deep learning is better when considering a low number of food categories. However, with more food categories, the human overcomes the machine algorithms

An overview on software testing and auditing

More and more people are dependent on technology. They increasingly use electronic services for day-to-day routines, and user loyalty to the software is essential, being defined by the excellence of the SW. The fewer flaws it has, the greater the likelihood of being able to retain the user’s loyalty. For this situation to be possible, tests are crucial in the development stage since they have the main purpose of identifying errors. To be possible to have a good quality of software, it is important to realize the importance of carrying out tests, as well as to understand what types of tests exist and realize which ones fit in each situation. In addition, the article addresses the life cycle and levels as sociated with software testing. In terms of test automation, there are some tools for developing this type of test, referencing the Katalon stu- diom robot framework, Protractoe and Watir; each is framed in different practical situations.info:eu-repo/semantics/publishedVersio

Tethered particle motion in close proximity to a polystyrene surface

Tese de mestrado, Engenharia Física, Universidade de Lisboa, Faculdade de Ciências, 2010Tethered particle motion is a powerful technique to study the dynamics and mechanics of macromolecules, e.g. Deoxyribonucleic acid (DNA). It involves the analysis of Brownian motion of a particle (bead) tethered to a surface by a DNA molecule. In this work we describe the method to construct the system of a magnetic bead tethered to polystyrene surface by a DNA linker molecule. As tether we used a double helix DNA chain which is cut from a DNA plasmid form (circular shape) and provided with two different specific groups to connect the beads and the polystyrene surface respectively. Using magnetic tweezers we submit 500 nm diameter superparamagnetic beads to different magnetic forces and record the Brownian motion of the beads. Using an in-house made Matlab™ script we were able to track the 2 dimensional bead’s movement in order to study the influence of the magnetic force on the Brownian motion, with emphasis to the maximum mean radius of the bead’s excursion. We determined the mean radial displacement by calculating the 2-dimensional mean square displacement and fitting it with a modified relation from the work of Kusumi et al [1]. describing restricted diffusion. These results were verified by comparing them to the probability distribution function of the bead displacement plots. The observed results shown that the radial distance of the project center of the bead has a dependency of 1∕√Fmag with the magnetic force and the DNA spring constant depends linearly of the applied force. This results allows us to draw conclusions about the quality of the different methods used for the sample preparation and data analysis

O controlo de gestão num estabelecimento militar com autonomia administrativa e financeira

O presente estudo aborda a necessidade de mudança do controlo de gestão numa entidade com autonomia administrativa e financeira, mais especificamente, o caso das Oficinas Gerais de Fardamento e Equipamento (OGFE). O tema é restringido ao Balanced Scorecard, alvo de atenções mais acentuadas, na actualidade pela Administração Pública de Portugal, e pretende demonstrar de que forma este instrumento é necessário e vem inovar os utilizados. Para além de um enquadramento do BSC no controlo de gestão é efectuada uma revisão de literatura que tem por objectivo expor o potencial do BSC. São abordados com alguma profundidade os conceitos essenciais do BSC e superficialmente temas mais recentes como o alinhamento que não tenham ligação directa ao caso em estudo. A teoria termina numa redacção do BSC na Administração Pública, breve exposição sobre as adaptações típicas dos serviços públicos. Este estudo de caso explicativo utiliza técnicas de recolha diversas. Desde a pesquisa documental, essencial para extrair as potencialidades dos instrumentos existentes. Bem como entrevistas qualitativas com o objectivo de ter um contacto com a realidade vivida pelos gestores. Mas também questionários que possibilitaram incidir sobre o tema específico do BSC e ainda avaliar as preferências dos clientes do Centro Comercial das OGFE. A necessidade de implementar o instrumento em estudo ficou patente e as acções de melhoria demonstram a utilidade imediata que foi possível comprovar no período em que o trabalho decorreu

Mecanização da poda e da vindima. Efeitos no rendimento e qualidade da casta Loureiro

Mestrado em Engenharia Agronómica - Instituto Superior de Agronomia / ULVisto que a poda e a vindima são as operações mais morosas e com mais encargos numa vinha, e tendo em conta que a mão-de-obra especializada é cada vez mais escassa, torna-se indispensável a mecanização destas operações, de forma a garantir a realização das mesmas em tempo oportuno, bem como a diminuição dos seus encargos financeiros. Por estas razões, o presente trabalho teve o objetivo de avaliar os efeitos da poda mecânica em sebe e da poda manual, para compreender os efeitos fisiológicos e agronómicos destes tipos de poda na casta Loureiro. Foram comparadas duas modalidades: poda mecânica em sebe, com a vegetação apoiada por arames fixos (MCA); poda mista com condução da vegetação em Lys (LYS). Foram avaliados diversos parâmetros durante o repouso e a atividade vegetativa das videiras, não se observando diferenças para a carga à poda, abrolhamento, área foliar, superfície foliar exposta, potencial hídrico, produtividades e qualidade do mosto. O índice de fertilidade potencial foi significativamente superior no LYS, devido à existência de olhos mais férteis provenientes das varas do braço inferior. Na taxa de assimilação de CO2 verificou-se que a modalidade MCA obteve uma taxa mais elevada na primeira medição (11 horas), no entanto ao meio dia solar estes valores eram invertidos, observando-se taxas mais elevadas no LYS. Quanto às produtividades, não se observaram diferenças significativas, no entanto verificaram-se produtividades elevadas, com o LYS a atingir as 29 toneladas/hectare e a CAR a atingir as 28 toneladas/hectare, sem perda de qualidade das uvas, dando indicação do bom funcionamento da poda mecânica (CAR-M) na região dos vinhos verdes. Em termos de poupança de tempo, verificou-se uma redução de 40% do tempo de poda da modalidade de poda mecânica (MCA) em relação ao sistema de poda manual LYSN/

Competing globally with cost accounting: a case study

In recent years, information has played a key role in business competitiveness, allowing not only to inform managers about external contexts, but also to internal problems. Thus, cost accounting has relevant tools, with the ability to provide information about how the resources of a company are used, making it possible to evaluate and improve their performance. The main goal of this research is to develop a different costing system model to a company, in order to provide distinct information on the costs of production processes, to help managers make better operational and strategic decisions. This company business is processing and packaging fruit and vegetables, in particular they are organized by three main sectors: fruit, potatoes and 4th range products. Those cost allocation methodologies could be identified, on one hand, the profitability of each product, helping to define the best medium-term strategy and, on the other hand, some operational faults. Basically, this work aims to prove the importance of costing models to improve the performance and the competitiveness in a real context.info:eu-repo/semantics/publishedVersio

DETEÇÃO DA FAIXA DE RODAGEM PARA CONDUÇÃO AUTÓNOMA

Neste documento é apresentado um projeto de investigação e desenvolvimento de um algoritmo de deteção de linhas com recurso a visão computacional, através de técnicas clássicas (i.e., sem recurso a técnicas de aprendizagem automática), aplicado à deteção de linhas delimitadoras de vias de trânsito no contexto da competição de condução autónoma no Festival Nacional de Robótica, aplicado num veículo de condução autónoma (iTruck) à escala 1:10 em ambiente altamente estruturado. Dada a necessidade de aumentar o campo de visão, fruto da anterior participação no Festival, fizeram-se melhorias na câmara frontal do iTruck que levou ao estudo de diversos métodos de calibração para câmaras com elevado campo de visão. Os desenvolvimentos efetuados neste domínio resultaram na publicação de um artigo científico e respetivo software associado: P.F.Martins, H.Costelha, L.C.Bento and C.Neves, "Monocular Camera Calibration for Autonomous Driving — a comparative study," IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC), 2020. No âmbito da deteção de linhas delimitadoras de vias de trânsito no contexto da competição de condução autónoma no Festival Nacional de Robótica, foram pesquisadas diversas soluções disponíveis na comunidade científica com o objetivo de servir de base para um novo desenvolvimento. Durante este processo testaram-se várias técnicas e algoritmos, de forma isolada, para extrair uma avaliação de desempenho no caso em estudo. O algoritmo final é resultado do desenvolvimento de 3 algoritmos criados especificamente para o cenário da competição de modo a aumentar a redundância e confiança da deteção. Cada um dos algoritmos foi desenvolvido com base nas técnicas avaliadas e otimizado consoante os seus resultados. Entre estas encontram-se técnicas baseadas na transformada de Hough, detetor de bordos Canny e caixas deslizantes. A sua agregação segue uma determinada ordem, por forma a aumentar a sua eficácia, e devolvem um conjunto de equações polinomiais de segunda ordem em cada uma das linha detetadas. A decisão final é tomada em duas etapas: tendo em conta o grau de confiança de cada algoritmo e pela validação dos resultados consoante as hipóteses dos algoritmos paralelos. Os testes de validação realizados offline com base em dados reais, demonstram o correto funcionamento do sistema final. A combinação dos algoritmos colmata as falhas e pontos fracos de cada um, permitindo desta forma uma correta deteção em todas as zonas da pista. No futuro deverá ser melhorado o algoritmo de decisão e controlo e, consequentemente, efetuados testes dinâmicos no veículo em tempo real para validar o comportamento global

Recrutamento e seleção de quadros especializados numa consultora de recursos humanos

Mestrado em Gestão de Recursos HumanosO recrutamento e a seleção de recursos humanos vêm assumindo uma crescente importância estratégica para as organizações, sendo hoje encarados como ramos particularmente potenciadores de vantagem competitiva. Tal, deve-se à proeminente necessidade, por parte das empresas, de procurarem manter-se competitivas através da atração dos mais distintos profissionais. Com este desígnio, a Consultoria de Recrutamento tem vindo a prosperar num passado recente, amplificando-se o número de empresas exclusivamente vocacionadas para esta área de recursos humanos. O alavancar deste serviço veio proporcionar ganhos expressivos em diversos segmentos de muitas empresas e uma redefinição e aperfeiçoamento dos processos estratégicos das mesmas. A presente análise possui o fito de discorrer acerca das atividades desenvolvidas durante o período de estágio curricular desenvolvido na empresa MSearch. Tendo integrado uma empresa que patenteia a sua atuação pelo mercado da consultoria de recrutamento, o estágio teve um enfoque primordial nas atividades associadas direta e indiretamente a esta prática, mais corporeamente ao que aos perfis e à área de Finance & Banking respeita. Por se tratar de uma área singular da Gestão de Recursos Humanos, o presente relatório de estágio revela particular incidência nas práticas de recrutamento e seleção mais utilizadas pela empresa supracitada. Para uma melhor compreensão das temáticas abordadas e com sustento nas atividades desenvolvidas, é proposta uma revisão de literatura que elenca, numa perspetiva de exposição teórica, os modelos, as técnicas e os métodos utilizados para cada etapa de um processo de recrutamento, conforme desenvolvido pela MSearch. Para finalizar, é apresentada uma análise interpretativa dos conteúdos abordados, à luz da confrontação das atividades realizadas com as teorizações literárias, assim como uma apreciação pessoal da experiência de estágio.The recruitment and selection of human resources have been assuming a strategic growing importance to organizations, being seen nowadays as particularly enhancing branches for competitive advantage. This is caused by the prominent need, of the companies, for seeking to stay competitive by attracting the most distinguished professionals. With this aim, Recruitment Consultancy has been thriving in the recent past, amplifying the number of companies devoted exclusively to this area of human resources. The leverage of this service has provided significant gains in several segments of many companies and a redefinition and refinement of their strategic processes. This analysis has the aim of describing the activities developed during the internship developed in MSearch. Having integrated a company that carries its performance in the recruitment consultancy market, the internship had a primordial focus on the activities directly and indirectly associated with this practice, essentially concerning the profiles and the area of Finance & Banking. Because it is a singular area of Human Resource Management, this paper reveals a particular focus on the most common recruitment and selection practices by the company mentioned above. For a better understanding of the addressed topics and with support on the developed activities, it is proposed a literature review that lists, in a perspective of theoretical exposition, the models, techniques and methods used for in each stage of a recruitment process, as developed by MSearch. To conclude, an interpretative analysis of the addressed contents is presented, based on the confrontation of the activities performed with the literature, as well as a personal appreciation of the internship experience