Improving k -means through distributed scalable metaheuristics

The recent growing size of datasets requires scalability of data mining algorithms, such as clustering algorithms. The MapReduce programing model provides the scalability needed, alongside with portability as well as automatic data safety and management. k-means is one of the most popular algorithms in data mining and can be easily adapted to the MapReduce model. Nevertheless, k-means has drawbacks, such as the need to provide the number of clusters (k) in advance and the sensitivity of the algorithm to the initial cluster prototypes. This paper presents two evolutionary scalable metaheuristics in MapReduce that automatically seek the solution with the optimal number of clusters and best clustering structure for scalable datasets. The first consists in an algorithm able to iteratively enhance k-means clusterings through evolutionary operators designed to handle distributed data. The second consists in applying evolutionary k-means to cluster each distributed portion of a dataset in an independent way, combining the obtained results into an ensemble afterwards. The proposed techniques are compared asymptotically and experimentally with other state-of-the-art clustering algorithms also developed in MapReduce. The results are analyzed by statistical tests and show that the first proposed metaheuristic yielded results with the best quality, while the second achieved the best computing times

Solução ciber-física para a gestão de edifícios suportada por dispositivos inteligentes e modelos de ambientes inteligentes

A utilização de dispositivos ligados à internet e modelos de ambientes inteligentes em sistemas de gestão de edifícios tem vindo a ganhar notoriedade nos últimos anos, sendo cada vez mais comum a sua aplicação em edifícios. Estes conceitos, de internet das coisas e ambientes inteligentes, fornecem um meio para automatizar e otimizar as operações de gestão de edifícios, levando a uma maior eficiência no uso dos recursos, diminuição de custos e aumento do conforto dos utilizadores. Contudo, muitas das soluções existentes carecem de interoperabilidade e modelos inteligentes que considerem as necessidades e requisitos únicos de edifícios individuais e as preferências e necessidades dinâmicas dos utilizadores. Como principal objetivo, esta dissertação propõe a conceção, implementação, teste e validação de uma solução robusta que integra modelos de ambientes inteligentes e mecanismos de acesso controlado a dados. A solução proposta inclui a utilização de sensores e dispositivos ligados à internet para a recolha e analise de dados em tempo real, que serão posteriormente usados para a criação de modelos de previsão de comportamento do edifício e dos seus utilizadores. Para a identificação de padrões e contextos, foram concebidos algoritmos de aprendizagem automática e técnicas de análise de dados. O acesso aos dados, da solução proposta, contempla um mecanismo de acesso seguro e eficiente, seguindo as diretrizes do Regulamento Geral sobre a Proteção de Dados (RGPD), nacional e europeu. Para suportar o uso da solução proposta, foi concebida e implementada uma interface gráfica que permite aos gestores e utilizadores do edifício monitorizarem e controlarem as operações em tempo real, proporcionando-lhes a capacidade de responder rapidamente às condições atuais, tomando decisões informadas. Esta interface gráfica, baseada em web, permite ainda consultar os dados históricos e interagir com os modelos de suporte que foram desenvolvidos. A solução proposta foi avaliada através de casos de estudo executados em ambiente realista. Os resultados destes estudos foram utilizados para avaliar a eficácia da solução proposta na melhoria do desempenho dos edifícios. Os estudos concluem que a utilização de dispositivos inteligentes e modelos de ambientes inteligentes na gestão de edifícios é uma abordagem promissora que pode culminar em melhorias significativas no desempenho e operação dos edifícios inteligentes. Esta dissertação contribui para o domínio dos edifícios inteligentes, fornecendo uma solução abrangente que integra dispositivos ligados à internet e modelos de ambientes inteligentes para melhorar o desempenho dos edifícios e o conforto dos utilizadores.The use of internet connected devices and ambient intelligence models in building management systems has been gaining notoriety in recent years, and its application in buildings is becoming more and more common. These concepts, of the internet of things and ambient intelligence, provide a means to automate and optimise building management operations, leading to greater efficiency in the use of resources, reduced costs and increased user comfort. However, many existing solutions lack interoperability and intelligent models that consider the unique needs and requirements of individual buildings and the dynamic preferences and needs of users. As the main objective, this dissertation proposes the design, implementation, testing and validation of a robust solution that integrates ambient intelligence models and controlled data access mechanisms. The proposed solution includes the use of sensors and devices connected to the internet for real-time data collection and analysis, which will be later used for the creation of forecasting models for the behaviour of the building and its users. For the identification of patterns and contexts, machine learning algorithms and data analysis techniques were designed. The data access, of the proposed solution, contemplates a safe and efficient access mechanism, following the guidelines of the national and European General Data Protection Regulation (GDPR). To support the use of the proposed solution, a graphic interface was designed and implemented to allow building managers and users to monitor and control operations in real time, providing them with the ability to quickly respond to current conditions, making informed decisions. This web-based graphical interface also allows consulting historical data and interacting with the support models that were developed. The proposed solution was evaluated through case studies executed in a realistic environment. The results of these studies were used to evaluate the effectiveness of the proposed solution in improving building performance. The studies conclude that the use of smart devices and ambient intelligence models in building management is a promising approach that can culminate in significant improvements in the performance and operation of smart buildings. This dissertation contributes to the domain of intelligent buildings by providing a comprehensive solution that integrates internet-connected devices and ambient intelligence models to improve building performance and user comfort