Desafios na orquestração e federação de clusters de múltiplos clientes

Abstract

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaThe growing need for efficient urban management has given rise to the concept of "Smart Cities". Ubiwhere is a company that offers platforms to municipal governments, including the Urban Platform, which leverages data collection and analysis to enhance decision-making. Four years after the launch of the Urban Platform, Ubiwhere faced challenges when it received multiple clients for the service. The company recognized the importance of refining how the infrastructure was functioning as well as how it was being deployed, managed, and monitored. This dissertation aims to address these issues by implementing an infrastructure based on multi-clusters, utilizing the Kubernetes environment. However, implementing such an infrastructure poses challenges in the management and deployment areas. In order to overcome these challenges, we implemented a multi-cluster configuration within Kubernetes, comprising a management cluster tailored to address specific administrative needs. Using Terraform, we orchestrated the provisioning of multiple Kubernetes clusters, with one designed as the management cluster. Within this management cluster, various tools and services were deployed to streamline operations, including Argo CD for continuous deployment and delivery, as well as monitoring services such as UptimeKuma, Thanos with Prometheus for infrastructure monitoring, Loki for log aggregation and OpenCost for overseeing core infrastructure and external APIs. These services collectively ensured comprehensive oversight in terms of uptime, metrics, logging, and cost monitoring, enabling effective management of the entire ecosystem.A necessidade crescente de uma gestão urbana eficiente deu origem ao conceito de "Smart Cities". A Ubiwhere é uma empresa que oferece plataformas aos governos municipais, incluindo a Plataforma Urbana, que aproveita a recolha e análise de dados para melhorar a tomada de decisões. Quatro anos após o lançamento da Plataforma Urbana, a Ubiwhere enfrentou diversos desafios quando recebeu vários clientes para o serviço. A empresa reconheceu a importância de refinar a forma como a infraestrutura estava a funcionar, bem como a forma como estava a ser implementada, gerida e monitorizada. Para ultrapassar estes desafios, implementámos uma configuração de vários clusters no Kubernetes, incluindo um cluster de gestão adaptado para responder a necessidades administrativas específicas. Utilizando o Terraform, orquestrámos o aprovisionamento de vários clusters Kubernetes, com um concebido para cluster de gestão. Neste cluster de gestão, foram implementadas várias ferramentas e serviços para simplificar as operações, incluindo o Argo CD para implementação e entrega contínuas, bem como serviços de monitorização como o UptimeKuma, o Thanos com o Prometheus para monitorização da infraestrutura, o Loki para agregação de registos e o OpenCost para supervisionar a infraestrutura central e as API externas. Estes serviços asseguraram coletivamente uma supervisão abrangente em termos de tempo de funcionamento, métricas, registo e monitorização de custos, permitindo uma gestão eficaz de todo o ecossistema