TSPO: an autoML approach to time series forecasting

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced AnalyticsTime series forecasting is an essential tool in many fields. In recent years, machine learning has gained popularity as an appropriate tool for time series forecasting. When employing machine learning algorithms, it is necessary to optimise a machine learning pipeline, which is a tedious manual effort and requires time series analysis and machine learning expertise. AutoML (automatic machine learning) is a sub-field of machine learning research that addresses this issue by providing integrated systems that automatically find machine learning pipelines. However, none of the available open-source tools is yet explicitly designed for time series forecasting. The proposed system TSPO (Time Series Pipeline Optimisation) aims at providing an autoML tool specifically designed to solve time series forecasting tasks to give non-experts the capability to employ machine learning strategies for time series forecasting. The system utilises a genetic algorithm to find an appropriate set of time series features, machine learning models and a set of suitable hyper-parameters. The optimisation objective is defined as minimising the obtained error, which is measured with a time series variant of k-fold cross-validation. TSPO outperformed the official machine learning benchmarks of the M4-Competition in 9 out of 12 randomly selected time series. TSPO captured the characteristics of all analysed time series consistently better compared to the benchmarks. The results indicate that TSPO is capable of producing robust and accurate forecasts without any human input.A previsão de séries temporais é uma importante ferramenta em muitas disciplinas. Nos últimos anos, a aprendizagem automática ganhou popularidade como ferramenta apropriada para a previsão de séries temporais. Ao utilizar algoritmos de aprendizagem automática, é necessário otimizar pipelines de aprendizagem automática, que é um esforço manual, tedioso e que requer experiência na área. O AutoML (aprendizagem automática automatizada) é um subcampo de aprendizagem automática que aborda esse problema, fornecendo sistemas integrados que encontram automaticamente pipelines de aprendizagem automática. No entanto, nenhuma das ferramentas de código aberto disponíveis é explicitamente destinada à previsão de séries temporais. O sistema proposto TSPO (Time Series Pipeline Optimisation) visa fornecer uma ferramenta de aprendizagem automática projetada especificamente para resolver problemas de previsão de séries temporais. Dando a não especialistas a capacidade de utilizar estratégias de aprendizagem automática para previsão de séries temporais. O sistema utiliza um algoritmo genético para encontrar um conjunto apropriado de pipelines de séries temporais, modelos de aprendizagem automática e um conjunto de hiperparâmetros adequados. O objetivo da otimização é definido como a minimização do erro obtido, medido com uma variante da validação cruzada k-fold aplicada a séries temporais. O TSPO superou os benchmarks oficiais de aprendizagem automática da competição M4 em 9 das 12 séries temporais aleatoriamente selecionadas. Além disso o TSPO capturou as características de todas as séries temporais analisadas melhor que os benchmarks. Os resultados indicam que o TSPO é capaz de produzir previsões robustas e precisas sem qualquer contribuição humana

Serviços web para aprendizagem automática

Deep learning has become increasingly popular over the years, having proved their efficiency in input-output functions for distinct types of data. However, their mathematical complexity and the training optimizations can be challenging. Moreover, access to dedicated hardware and the setup of a working environment is most of the times a barrier to its usage. This dissertation describes the design and implementation of a web platform to be used by students and advanced researchers. This platform aims to abstract the processes behind this technology and simplify its usage. It is a multi-user distributed platform that offers services, software and hardware, through a common web browser interface. The solution allows easy addition of new computational nodes, the upload of datasets, the visual design of models and datasets, the monitoring of hardware and training sessions, and also supports validation and test procedures.A utilização de deep learning tem vindo a aumentar em diferentes áreas aplicacionais devido à sua eficiência em processos de previsão e à capacidade de se adaptar a vários tipos de dados. No entanto, a sua complexidade matemática e as otimizações dos processos de treino são desafiantes. Mais ainda, o acesso a hardware dedicado e a configuração correcta de um ambiente de trabalho são muitas vezes barreiras à sua utilização. Esta dissertação propõe uma arquitetura e descreve a implementação de uma plataforma web de serviços de deep learning para utilização de estudantes e investigadores. Esta plataforma permite abstrair os processos complexos que suportam esta tecnologia, simplificando e democratizando o seu uso. Trata-se de uma solução distribuída e multiutilizador que oferece serviços, desde hardware a software, através de um navegador web comum. A solução permite a adição fácil de unidades computacionais de processamento, a inserção de dados de estudo, o desenho dos modelos com ferramentas visuais, a monitorização de sessões de treino, teste e validação destes modelos.Mestrado em Engenharia de Computadores e Telemátic

Mobile application to identify recyclable materials

This dissertation proposes a system to help the consumer recycle efficiently. The system is composed by a mobile application that can capture images of waste and classify their category through the usage of a machine learning model. Furthermore, this application can communicate with a server to update the model with new improved versions and also upload the images to the server in order to contribute to the creation of more precise model versions. The system has been validated by a fully working prototype. Although the proof of concept has been achieved, with some types of waste items correctly categorized, the machine learning model produced is not precise enough to be used in real-life scenarios, that is, for any type of waste. The main contributions of this study are a compendium of information in the area of computer vision and machine learning to categorize waste, and a working prototype system that utilizes crowdsourcing and machine learning elements to help the consumer recycle more efficiently.Nesta dissertação é proposto um sistema para ajudar o consumidor a reciclar eficientemente. O sistema é composto por uma aplicação móvel que captura imagens de lixo e classifica a sua categoria usando um modelo de aprendizagem automática. Consegue também comunicar com um servidor para atualizar o modelo com versões melhoradas e enviar as imagens para o servidor para contribuir para a criação de modelos mais precisos. Foi demonstrado através de um protótipo totalmente funcional que o sistema proposto funciona. Algumas imagens de lixo foram categorizadas correctamente, mas o modelo de aprendizagem automática produzido durante este projeto não é preciso o suficiente, em qualquer categoria de lixo, para usar em cenários da vida real. As principais contribuições deste estudo são um compêndio de informação na área de visão de computador e aprendizagem automática para categorizar lixo, e um sistema protótipo funcional que utiliza elementos de contribuição colaborativa e aprendizagem automática para ajudar o consumidor a reciclar mais eficientemente

Agentes com aprendizagem automática para jogos de computador

In recent years, new Reinforcement Learning algorithms have been developed. These algorithms use Deep Neural Networks to represent the agent’s knowledge. After surpassing previous Artificial Intelligence (AI) milestones, such as Chess and Go, these Deep Reinforcement Learning (DRL) methods were able to surpass the human level in very complex games like Dota 2, where long-term planning is required and in which professional teams of human players train daily to win e-sports competitions. These algorithms start from scratch, do not use examples of human behavior, and can be applied in various domains. Learning from experience, new and better behaviors were discovered, indicating a lot of potential in these algorithms. However, they require a lot of computational power and training time. Computer games are used in an AI course at the University of Aveiro as an application domain of the AI knowledge acquired by students. The students should develop software agents for these games and try to get the best scores. The objective of this dissertation is to develop agents using the latest DRL techniques and to compare their performance with the agents developed by students. To begin with, DRL agents were developed for a simpler game like Tic-Tac-Toe, where various learning options will be addressed until a robust agent capable of playing against multiple opponents is created. Then, DRL agents capable of playing the version of Pac-Man used in the University of Aveiro course, in the 2018/19 academic year, were developed through the realization of various experiments where the parameters used in the learning process were modified in order to obtain better scores. The developed agent, that obtained the best score, is able to play in all game configurations used in the evaluation of the course and reached the top 7 ranking, among more than 50 agents developed by students that used hard-coded strategies with pathfinding algorithms.Nos últimos anos, novos algoritmos de Aprendizagem por Reforço foram desenvolvidos. Estes algoritmos usam Redes Neuronais Profundas para representar o conhecimento do agente. Após ultrapassarem marcos anteriores da Inteligência Artificial (AI), como o Xadrez e o Go, esses métodos de Aprendizagem Profunda por Reforço (DRL) foram capazes de superar o nível humano em jogos muito complexos como o Dota 2, onde é necessário um planeamento a longo prazo e nos quais equipas profissionais de jogadores humanos treinam diariamente para ganhar competições de desportos eletrónicos. Estes algoritmos começam do zero, não usam exemplos de comportamento humano e podem ser aplicados em vários domínios. Aprendendo pela experiência, novos e melhores comportamentos foram descobertos, indicando um grande potencial nestes algoritmos. No entanto, eles exigem muito poder computacional e tempo de treino. Os jogos de computador são utilizados numa disciplina de AI da Universidade de Aveiro como domínio de aplicação dos conhecimentos de AI adquiridos pelos alunos. Os alunos devem desenvolver agentes de software para esses jogos e tentar obter as melhores pontuações. O objetivo desta dissertação é desenvolver agentes usando as mais recentes técnicas de DRL e comparar o seu desempenho com o dos agentes desenvolvidos pelos alunos. Para começar, os agentes com DRL foram desenvolvidos para um jogo mais simples como o Jogo do Galo, onde várias opções de aprendizagem foram abordadas até ser criado um agente robusto capaz de jogar contra vários oponentes. Posteriormente, foram desenvolvidos agentes com DRL capazes de jogar a versão do Pac-Man utilizada na disciplina da Universidade de Aveiro, no ano letivo de 2018/19, através da realização de diversas experiências onde os parâmetros utilizados no processo de aprendizagem foram modificados de forma a obter melhores pontuações. O agente desenvolvido, que obteve a melhor pontuação, consegue jogar em todas as configurações de jogo utilizadas na avaliação da disciplina e alcançou o top 7 das classificações, entre mais de 50 agentes desenvolvidos por alunos que utilizaram estratégias embutidas no código com algoritmos de pesquisa.Mestrado em Engenharia Informátic

The impact of machine learning on the efficiency of the B2B sales service in pharmaceutical companies

The explanatory study examines the possible value of Machine Learning in the B2B sales process in pharmaceutical companies. Sales representatives accounting for a wide range of activities, suffering from time consuming and repetitive tasks. This study investigates the potential of Machine Learning applications for B2B sales in order to facilitate sales representative’s daily tasks and enhance the entire sales process. The results have been obtained through qualitative research based on 8 interviews with AI-experts, pharma consultants and sales representatives as well as secondary data in form of academic articles and reports. The findings reveal that, compared to other departments, ML-applications in B2B sales are less applied at the current stage, but mostly in the customer service process. The interviews have shown that the usage of ML-applications is possible within all steps of the sales process and enhances its overall efficiency and effectivity in terms of time, costs and quality. Furthermore, tasks which increase the efficiency of the sales department through ML applications are outlined. By applying ML within the B2B sales process, the daily work of sales representatives can be facilitated, which ultimately could not only have a positive impact on customer satisfaction, but also on employee commitment leading to competitive advantage in the price intense environment of the pharmaceutical industry.O presente estudo foca-se na possível importância da Aprendizagem Automática no serviço de vendas B2B em Empresas Farmacêuticas. Representantes de vendas responsáveis por uma grande variedade de actividades, afectados pelas demoradas e longas tarefas. Esta dissertação examina o potêncial da Aprendizagem Automática nas vendas B2B a fim de facilitar as tarefas diárias dos representantes de vendas, e de melhorar ainda todo o processo de vendas. Os resultados são obtidos através de uma pesquisa qualitativa baseada em 10 entrevistas com AI-experts, consultantes farmacêuticos e representantes de vendas, assim como fichas de dados provenientes de artigos e relatórios. Os resultados revelam que, em comparação com outros departamentos, a aplicação da Aprendizagem Automática em vendas B2B são actualmente menos aplicadas, sobretudo no que diz respeito ao atendimento ao cliente. As entrevistas mostraram que o uso da Aprendizagem Automática é possível em todas as fases do processo de vendas sendo que melhora toda a sua eficiência e efetividade em termos de tempo, custos e qualidade. Posteriormente, as tarefas de vendas mais eficientes dentro das farmácias estão estabelecidas; pelo que, a introdução da Aprendizagem Automática dentro do processo de vendas B2B poderá facilitar e, inclusive, melhorar o trabalho dos representantes de vendas, sendo que esta otimazação poderá, por conseguinte, não só ter um impacto positivo na satisfação do cliente como também no compromisso dos empregados originando, desta forma, uma vantagem competitiva face ao intenso ambiente de preços na industria farmacêutica

Aprendizagem automática baseada em algoritmos genéticos

Ao me ter sido apresentado o tema focado neste trabalho, a curiosidade apoderou-se de mim para tentar perceber o que eram os algoritmos genéticos, a aprendizagem automática e a aplicação dos algoritmos genéticos sobre este tipo de aprendizagem e onde é que estas técnicas podiam ser aplicadas. Assim, neste trabalho é realizado um estudo destes temas relativamente ao seu funcionamento, aplicabilidade, problemas e soluções existentes, bem como, a comparação entre duas das mais conhecidas abordagens ao nível da aprendizagem automática baseada em algoritmos genéticos. São no fim apresentados programas exemplificativos de implementações de aplicação de algoritmos genéticos a problemas de optimização/descoberta e de aprendizagem automática. Este texto está organizado em cinco capítulos, sendo o primeiro a introdução, o segundo é uma apresentação dos algoritmos genéticos, no terceiro capítulo é apresentada a técnica de aprendizagem automática baseada em algoritmos genéticos, as suas diferentes abordagens e implementações, aplicabilidade e comparação entre abordagens. No quarto capítulo são apresentados alguns exemplos práticos que pretendem demonstrar a forma como se implementam algumas das abordagens referidas nos capítulos anteriores com o intuito de ver o seu funcionamento na prática e comparar diferentes algoritmos no mesmo problema

Aprendizagem automática aplicada à deteção de pessoas baseada em radar

The present dissertation describes the development and implementation of a radar-based system with the purpose of being able to detect people amidst other objects that are moving in an indoor scenario. The detection methods implemented exploit radar data that is processed by a system that includes the data acquisition, the pre-processing of the data, the feature extraction, and the application of these data to machine learning models specifically designed to attain the objective of target classification. Beyond the basic theoretical research necessary for its sucessful development, the work contamplates an important component of software development and experimental tests. Among others, the following topics were covered in this dissertation: the study of radar working principles and hardware; radar signal processing; techniques of clutter removal, feature exctraction, and data clustering applied to radar signals; implementation and hyperparameter tuning of machine learning classification systems; study of multi-target detection and tracking methods. The people detection application was tested in different indoor scenarios that include a static radar and a radar dynamically deployed by a mobile robot. This application can be executed in real time and perform multiple target detection and classification using basic clustering and tracking algorithms. A study of the effects of the detection of multiple targets in the performance of the application, as well as an assessment of the efficiency of the different classification methods is presented. The envisaged applications of the proposed detection system include intrusion detection in indoor environments and acquisition of anonymized data for people tracking and counting in public spaces such as hospitals and schools.A presente dissertação descreve o desenvolvimento e implementação de um sistema baseado em radar que tem como objetivo detetar e distinguir pessoas de outros objetos que se movem num ambiente interior. Os métodos de deteção e distinção exploram os dados de radar que são processados por um sistema que abrange a aquisição e pré-processamento dos dados, a extração de características, e a aplicação desses dados a modelos de aprendizagem automática especificamente desenhados para atingir o objetivo de classificação de alvos. Além do estudo da teoria básica de radar para o desenvolvimento bem sucedido desta dissertação, este trabalho contempla uma componente importante de desenvolvimento de software e testes experimentais. Entre outros, os seguintes tópicos foram abordados nesta dissertação: o estudo dos princípios básicos do funcionamento do radar e do seu equipamento; processamento de sinal do radar; técnicas de remoção de ruído, extração de características, e segmentação de dados aplicada ao sinal de radar; implementação e calibração de hiper-parâmetros dos modelos de aprendizagem automática para sistemas de classificação; estudo de métodos de deteção e seguimento de múltiplos alvos. A aplicação para deteção de pessoas foi testada em diferentes cenários interiores que incluem o radar estático ou transportado por um robot móvel. Esta aplicação pode ser executada em tempo real e realizar deteção e classificação de múltiplos alvos usando algoritmos básicos de segmentação e seguimento. O estudo do impacto da deteção de múltiplos alvos no funcionamento da aplicação é apresentado, bem como a avaliação da eficiência dos diferentes métodos de classificação usados. As possíveis aplicações do sistema de deteção proposto incluem a deteção de intrusão em ambientes interiores e aquisição de dados anónimos para seguimento e contagem de pessoas em espaços públicos tais como hospitais ou escolas.Mestrado em Engenharia de Computadores e Telemátic

Aplicações de sistemas multiagentes e aprendizagem automática no processamento da linguagem natural

A proposta desse trabalho é o estudo de três áreas da Inteligência Artificial: Aprendizagem Automática, Processamento da Linguagem Natural e Sistemas Multiagentes. Além do estudo isolado de cada área, foi feita uma pesquisa das intersecções que existem entre essas áreas: Aprendizagem Automática para Processamento da Linguagem Natural, Aprendizagem em Sistemas Multiagentes e Sistemas Multiagentes no Processamento da Linguagem Natural. Nas conclusões, discutimos as potencialidades da aplicação de Sistemas Multiagentes no Processamento baseado em corpus.I Workshop de Agentes y Sistemas Inteligentes (WASI)Red de Universidades con Carreras en Informática (RedUNCI

Aplicações de sistemas multiagentes e aprendizagem automática no processamento da linguagem natural

A proposta desse trabalho é o estudo de três áreas da Inteligência Artificial: Aprendizagem Automática, Processamento da Linguagem Natural e Sistemas Multiagentes. Além do estudo isolado de cada área, foi feita uma pesquisa das intersecções que existem entre essas áreas: Aprendizagem Automática para Processamento da Linguagem Natural, Aprendizagem em Sistemas Multiagentes e Sistemas Multiagentes no Processamento da Linguagem Natural. Nas conclusões, discutimos as potencialidades da aplicação de Sistemas Multiagentes no Processamento baseado em corpus.I Workshop de Agentes y Sistemas Inteligentes (WASI)Red de Universidades con Carreras en Informática (RedUNCI

Machine learning models in decision support systems for diagnosing colorectal cancer based on metabolic profiles

In today’s ever-evolving technological landscape, the volume of data across sectors is grow ing, particularly in healthcare. Here, the gathering and processing of biochemical data aim to refine decision-making for patient treatments, especially using tools based on Machine Learning (ML). As a subset of Artificial Intelligence, ML harnesses algorithms to predict outcomes or unearth patterns that might otherwise remain concealed. The interpretability of ML models is pivotal, enabling healthcare professionals to place con fidence in and decipher the model’s predictions. This assumes particular significance when decisions could directly affect patient lives. This research embarked on an in-depth exploration of various ML algorithms and techniques to discern whether the combined metabolic profiles of amino acids and acylcarnitines might serve as new biochemical indicators for predicting colo-rectal cancer prognosis. Throughout this study, several algorithms and data preprocessing techniques were evaluated. Four distinct experiments validated the predictions of the models in different scenarios. These scenarios involved predicting Colorectal Cancer using amino acids with and without the age parameter, and similarly, using acylcarnitine with and without the age parameter. Each scenario’s predictions were elucidated using SHAP, both for overarching feature significance and individual instances. Preliminary analyses indicated that the constructed models demonstrated promising predic tive power, with notable variations for the different scenarios. Amongst the algorithms tested, Random Forest, Support Vector Machine, Gaussian Naive Bayes, and Gradient Boosting emerged as the top performers.No atual panorama tecnológico em constante evolução, o volume de dados em diversos setores está a aumentar, particularmente na saúde. Aqui, a recolha e processamento de dados bioquímicos visam aprimorar a tomada de decisão para tratamentos de pacientes, especialmente utilizando ferramentas baseadas em Aprendizagem Automática. Como um subconjunto da Inteligência Artificial, a Aprendizagem Automática utiliza algoritmos para prever resultados ou descobrir padrões que de outra forma poderiam permanecer ocultos. A interpretabilidade dos modelos de Aprendizagem Automática é fundamental, permitindo que os profissionais de saúde confiem e decifrem as previsões do modelo. Isto assume uma importância particular quando as decisões podem afetar diretamente a vida dos pacientes. Esta investigação levou a cabo uma exploração aprofundada de vários algoritmos e téc nicas de Aprendizagem Automática para determinar se os perfis metabólicos combinados de aminoácidos e acilcarnitinas poderiam servir como novos indicadores bioquímicos para a previsão e prognóstico do cancro colo-retal. Ao longo deste estudo, vários algoritmos e técnicas de pré-processamento de dados foram avaliados. Quatro experiências distintas validaram as previsões dos modelos em diferentes cenários. Estes cenários envolveram a previsão de Cancro Colorretal usando aminoácidos com e sem o atributo idade, e de forma semelhante, usando acilcarnitinas. As previsões de cada cenário foram elucidadas usando o SHAP, tanto para a importância geral dos atributos como para amostras individuais. Análises preliminares indicaram que os modelos construídos mostraram um poder preditivo promissor, com variações notáveis nos diferentes cenários. Entre os algoritmos testados, Random Forest, Support Vector Machines, Naive Bayes e Gradient Boosting destacaram-se com melhor desempenho