Benchmark aplicado à Deteção de Objetos de Mamoas Arqueológicas a partir de dados LiDAR

Human history and its archaeological evidence are priceless and should be preserved, esteemed and respected. However, the traditional work of an archaeologist is mainly manual labour, sluggish and requires specialized knowledge as well as considerable experience, which represents quite a limitation due to the available community of archaeologists. Besides this fact, concerns about global warming, the generalized rise of sea levels or destruction due to human activities, among others, contribute to a growing fear of losing some archaeological sites as the traditional method of identification and preservation of these sites can’t keep up with the propagation speed of such problems. Because of this, a growing willingness to implement Artificial Intelligence techniques has been evidenced, which allows some help to the archaeologist in several tasks, with particular focus to archaeological sitting identification, through remote detection. Currently, there are no applications or tools that can execute such work, however, there has been a growing effort in studies and work on a scientific and academic level. This thesis aims to implement a tool that, through LiDAR data readings, gathered from some geographical area, can perform object detection to specific archaeological findings (such as mounds), testing a variety of machine learning models to, assigning a classification, determine if it’s in the presence of an archaeological mound. The input of the work done for this thesis consists of a Digital Terrain Model (DTM), a Local Relief Model (LRM) and a Slope obtained from drone flights over Viana do Castelo, with the use of LiDAR sensors. The combination of these three images was processed to achieve a single image with higher identification of certain features for future model training. For comparison reasons, two datasets were built with different margin sizes around each archaeological mound. The goal of the thesis is to perform tests on some object detection architectures, compare the efficiency of their evaluations and be able to determine which of the tested models performs a better prediction result on detecting the presence of an archaeological mound. This study was able to perform the comparison of a total of nine Deep Learning (DL) architectures, testing four two-stage detectors and five one-stage detectors. As expected, most of the two-stage detectors outperformed the one-stage detectors in terms of mean average precision for the detection of archaeological mounds, except for the one stage detector Fully Convolutional One-Stage (FCOS), which achieved the highest mean average precision from all, showing results between 68.1% to 78.6% for both size dataset.A história da humanidade e as suas evidências arqueológicas são inestimáveis e devem ser preservadas, respeitadas e valorizadas. No entanto, o trabalho tradicional de um arqueólogo é principalmente uma tarefa manual, lenta e requer conhecimento especializado, bem como considerável experiência, o que representa uma limitação significativa devido à disponibilidade limitada de arqueólogos. Além disso, preocupações com o aquecimento global, o aumento generalizado do nível do mar ou a destruição devido a atividades humanas, entre outras, contribuem para um crescente receio de perder alguns sítios arqueológicos, já que o método tradicional de identificação e preservação desses sítios não consegue acompanhar a velocidade de propagação de tais problemas. Decorrente destes factos, aliado a uma tendência generalizada e com sucesso no recurso a técnicas de Inteligência Artificial em outras especialidades, também na Arqueologia tem-se vindo a verificar uma adesão significativa. A adoção de técnicas de Inteligência Artificial tem permitido alguma ajuda aos arqueólogos em várias tarefas, com especial foco na identificação de sítios arqueológicos através do recurso a métodos de deteção remota. Atualmente, não existem aplicações ou ferramentas que possam executar este trabalho, no entanto, tem-se verificado um esforço crescente de estudo e desenvolvimento de trabalho nesse sentido, quer ao nível académico quer científico. Esta tese tem como objetivo implementar uma ferramenta que, através da leitura de dados LiDAR, coletados de uma determinada área geográfica, consiga efetuar uma deteção de objetos referentes a vestígios arqueológicos específicos (mamoas), recorrendo a uma variedade de modelos de machine learning, atribuindo uma classificação para determinar se identificou ou não com sucesso a presença de uma mamoa. O ponto de partida do trabalho realizado nesta tese inicia-se com o acesso e trabalho realizado sobre três técnicas de visualização aplicada sobre dados LiDAR, nomeadamente consiste no acesso a ficheiros como Digital Terrain Model (DTM), Local Relief Model (LRM) e Slope. Estes dados LiDAR e consequente conversão nas técnicas de visualização anteriormente citadas ocorreram a partir de voos de drones, equipados com sensores LiDAR que, sobrevoando a zona de Viana do Castelo, proporcionou a obtenção de tais dados. Adicionalmente aos três ficheiros de técnicas de visualização, foi também disponibilizado um ficheiro shape que fornece informação georreferenciada da localização de mamoas na área sobrevoada pelos drones. Com recurso ao software QGIS, foi possível identificar que, as localizações das mamoas encontravam-se relativamente concentradas numa parte específica das imagens. Desta forma, e considerando o tamanho dos ficheiros em questão, efetuou-se uma seleção nas imagens, cortando áreas que já apresentassem uma distância considerável da mamoa mais próxima, de forma a tornar mais ágil o processo de trabalho e treino dos modelos escolhidos. Posteriormente, e com as imagens em tamanho mais reduzido, efetuou-se uma operação de combinação entre as três tipologias de imagens, obtendo uma única imagem onde, incorporando as características destas, permitiu realçar determinados aspetos com intuito de, posteriormente, auxiliar nas tarefas de treino e teste dos modelos de aprendizagem profunda a que foram aplicados. Seguiu-se o processo de pré-processamento de dados tendo sido definido e trabalhado um programa que executasse a mesma tarefa, fornecendo como output um dataset em formato COCO, formato escolhido dada popularidade e sucesso verificado na aplicação a métodos de deteção de objetos. A construção deste dataset foi igualmente realizada de forma a criar estrutura de ficheiros que, respeitando na mesma o formato COCO, proporcionasse a aplicação da técnica de leave-one-out cross-validation, uma vez que, foi considerado a melhor opção dada existência de apenas 77 mamoas, de forma a evitar cenários de enviesamento de dados ou até overfitting. Para diversificar e enriquecer esta análise comparativa, foram criados dois datasets diferentes, cujas bounding boxes em volta das mamoas apresentavam tamanhos diferentes, nomeadamente 15x15 metros e 30x30 metros. Como o objetivo da tese é a realização de testes em algumas arquiteturas de deteção de objeto, foi utilizada um projeto que, está precisamente preparado e desenvolvido para a realização de análises de benchmark, de várias metodologias de classificação de imagem, nas quais estão incluídas as de deteção de objeto. Esta biblioteca permitiu a realização do estudo comparativo não só entre as arquiteturas analisadas e identificadas como as mais promissoras e populares na análise de estado de arte, como ainda permitiu a comparação com outras arquiteturas dada a variedade de oferta de modelos que a mesma proporcionava. Este estudo conseguiu realizar a comparação com um total de nove arquiteturas de aprendizagem profunda, testando quatro detetores two-stage e cinco detetores one-stage. Como era esperado, a maioria dos detetores two-stage superou os detetores one-stage em termos de precisão média de deteção de mamoas, com exceção do modelo Fully Convolutional One-Stage (FCOS), que alcançou a maior precisão média de todos os modelos testados, apresentando resultados entre 68,1% e 78,6% em ambos os datasets. Igualmente esperado foi a confirmação do modelo one-stage Single Shot Detector (SSD) como sendo o modelo com mais rápido tempo de processamento de treino, apesar de, entre os restantes modelos, a diferença de tempo já ser menos significativa e não se notar uma supremacia dos modelos one-stage como seria inicialmente esperado

Computing server power modeling in a data center: survey,taxonomy and performance evaluation

Data centers are large scale, energy-hungry infrastructure serving the increasing computational demands as the world is becoming more connected in smart cities. The emergence of advanced technologies such as cloud-based services, internet of things (IoT) and big data analytics has augmented the growth of global data centers, leading to high energy consumption. This upsurge in energy consumption of the data centers not only incurs the issue of surging high cost (operational and maintenance) but also has an adverse effect on the environment. Dynamic power management in a data center environment requires the cognizance of the correlation between the system and hardware level performance counters and the power consumption. Power consumption modeling exhibits this correlation and is crucial in designing energy-efficient optimization strategies based on resource utilization. Several works in power modeling are proposed and used in the literature. However, these power models have been evaluated using different benchmarking applications, power measurement techniques and error calculation formula on different machines. In this work, we present a taxonomy and evaluation of 24 software-based power models using a unified environment, benchmarking applications, power measurement technique and error formula, with the aim of achieving an objective comparison. We use different servers architectures to assess the impact of heterogeneity on the models' comparison. The performance analysis of these models is elaborated in the paper

D-SPACE4Cloud: A Design Tool for Big Data Applications

The last years have seen a steep rise in data generation worldwide, with the development and widespread adoption of several software projects targeting the Big Data paradigm. Many companies currently engage in Big Data analytics as part of their core business activities, nonetheless there are no tools and techniques to support the design of the underlying hardware configuration backing such systems. In particular, the focus in this report is set on Cloud deployed clusters, which represent a cost-effective alternative to on premises installations. We propose a novel tool implementing a battery of optimization and prediction techniques integrated so as to efficiently assess several alternative resource configurations, in order to determine the minimum cost cluster deployment satisfying QoS constraints. Further, the experimental campaign conducted on real systems shows the validity and relevance of the proposed method

Implementation of Deep Learning models for Information Extraction on Identification Documents

Internship Report presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data ScienceThe development of object detection models has revolutionized the analysis of personal information on identification cards, leading to a decrease in external human labor. Although previous strategies have been employed to address this issue without using machine learning models, they all present certain limitations, which artificial intelligence aims to overcome. This report delves into the development of a deep learning-based object detection capable of recognizing relevant information from Portuguese identification cards. All the decisions made during the project will be accompanied by a detailed background theory. Additionally, we provide an in-depth analysis of Optical Character Recognition (OCR) technology, which was utilized throughout the project to generate text from images. As the newest member of the Machine learning Team of Biometrid, I had the privilege of being involved in this project that led to the improvement of the current approach that does not leverage machine learning in the detection of relevant sections from ID cards. The findings of this project provide a foundation for further research into the use of AI in identification card analysis

Visibility in underwater robotics: Benchmarking and single image dehazing

Dealing with underwater visibility is one of the most important challenges in autonomous underwater robotics. The light transmission in the water medium degrades images making the interpretation of the scene difficult and consequently compromising the whole intervention. This thesis contributes by analysing the impact of the underwater image degradation in commonly used vision algorithms through benchmarking. An online framework for underwater research that makes possible to analyse results under different conditions is presented. Finally, motivated by the results of experimentation with the developed framework, a deep learning solution is proposed capable of dehazing a degraded image in real time restoring the original colors of the image.Una de las dificultades más grandes de la robótica autónoma submarina es lidiar con la falta de visibilidad en imágenes submarinas. La transmisión de la luz en el agua degrada las imágenes dificultando el reconocimiento de objetos y en consecuencia la intervención. Ésta tesis se centra en el análisis del impacto de la degradación de las imágenes submarinas en algoritmos de visión a través de benchmarking, desarrollando un entorno de trabajo en la nube que permite analizar los resultados bajo diferentes condiciones. Teniendo en cuenta los resultados obtenidos con este entorno, se proponen métodos basados en técnicas de aprendizaje profundo para mitigar el impacto de la degradación de las imágenes en tiempo real introduciendo un paso previo que permita recuperar los colores originales

Benchmarking Object Detection Deep Learning Models in Embedded Devices

Object detection is an essential capability for performing complex tasks in robotic applications. Today, deep learning (DL) approaches are the basis of state-of-the-art solutions in computer vision, where they provide very high accuracy albeit with high computational costs. Due to the physical limitations of robotic platforms, embedded devices are not as powerful as desktop computers, and adjustments have to be made to deep learning models before transferring them to robotic applications. This work benchmarks deep learning object detection models in embedded devices. Furthermore, some hardware selection guidelines are included, together with a description of the most relevant features of the two boards selected for this benchmark. Embedded electronic devices integrate a powerful AI co-processor to accelerate DL applications. To take advantage of these co-processors, models must be converted to a specific embedded runtime format. Five quantization levels applied to a collection of DL models are considered; two of them allow the execution of models in the embedded general-purpose CPU and are used as the baseline to assess the improvements obtained when running the same models with the three remaining quantization levels in the AI co-processors. The benchmark procedure is explained in detail, and a comprehensive analysis of the collected data is presented. Finally, the feasibility and challenges of the implementation of embedded object detection applications are discussed.This work has received support from the following programs: PID2019-104966GB-I00 (Spanish Ministry of Science and Innovation), IT-1244-19 (Basque Government), KK-2020/00049, KK-2021/00111 and KK-2021/00095 (Elkartek projects 3KIA, ERTZEAN and SIGZE, funded by the SPRI-Basque Government) and the AI-PROFICIENT project funded by European Union’s Horizon 2020 research and innovation program under grant agreement no. 9573