Towards effective dynamic resource allocation for enterprise applications

The growing use of online services requires substantial supporting infrastructure. The efficient deployment of applications relies on the cost effectiveness of commercial hosting providers who deliver an agreed quality of service as governed by a service level agreement for a fee. The priorities of the commercial hosting provider are to maximise revenue, by delivering agreed service levels, and minimise costs, through high resource utilisation. In order to deliver high service levels and resource utilisation, it may be necessary to reorganise resources during periods of high demand. This reorganisation process may be manual or alternatively controlled by an autonomous process governed by a dynamic resource allocation algorithm. Dynamic resource allocation has been shown to improve service levels and utilisation and hence, profitability. In this thesis several facets of dynamic resource allocation are examined to asses its suitability for the modern data centre. Firstly, three theoretically derived policies are implemented as a middleware for a modern multi-tier Web application and their performance is examined under a range of workloads in a real world test bed. The scalability of state-of-the art resource allocation policies are explored in two dimensions, namely the number of applications and the quantity of servers under control of the resources allocation policy. The results demonstrate that current policies presented in the literature demonstrate poor scalability in one or both of these dimensions. A new policy is proposed which has significantly improved scalability characteristics and the new policy is demonstrated at scale through simulation. The placement of applications in across a datacenter makes them susceptible to failures in shared infrastructure. To address this issue an application placement mechanism is developed to augment any dynamic resource allocation policy. The results of this placement mechanism demonstrate a significant improvement in the worst case when compared to a random allocation mechanism. A model for the reallocation of resources in a dynamic resource allocation system is also devised. The model demonstrates that the assumption of a constant resource reallocation cost is invalid under both physical reallocation and migration of virtualised resources

Integração da Cloud com a rede do operador

Mestrado em Engenharia Electrónica e TelecomunicaçõesA utilização das aplicações e as suas formas de comunicar mudaram muito com a proliferação do acesso à Internet. Com esta alteração muitas das aplicações passaram a estar acomodadas em equipamento do fornecedor em vez do equipamento do utilizador. Cloud computing (CC) é o conceito que veio ”patrocinar” ainda mais esta mudança. Hoje o fornecimento destes serviços é suportado pelo serviço Best Effort que a Internet disponibiliza. Este é um modelo viável para alguns serviços, mas simplesmente inaceitável para outros (por exemplo, transmissões de vídeo). No sentido de colmatar esta lacuna, existe uma grande aposta nos serviços integrados de cloud e de rede. A este paradigma denominamos de Cloud Networking. Este paradigma requer o estabelecimento a pedido e um controlo e gestão automática de recursos de rede e cloud, em que a virtualização de rede e de recursos cloud é uma peça fundamental, não só pela sua facilidade de migração de recursos virtuais entre diferentes máquinas físicas, mas também pela flexibilidade do estabelecimento de aplicações e serviços diferentes. Neste contexto o recente conceito de software-defined networks (SDN) pode vir ajudar a melhorar o desempenho dos serviços disponibilizados na cloud. Assim, esta dissertação tem dois objetivos. O primeiro visa trabalhar em mecanismos de gestão de recursos de cloud e rede de uma forma integrada. Concretamente esta dissertação propõe um algoritmo de mapeamento, bem como um mecanismo de reconfiguração de links por forma a otimizar a alocação de recursos e aumentar a aceitação de pedidos. O segundo objetivo passou por criar um bloco funcional de decisão de mapeamento e reconfiguração que se encaixa numa arquitetura SDN. Este bloco é responsável por receber, analisar e mapear pedidos de serviços de conetividade sobre uma rede Openflow. Os algoritmos usados neste componente têm em conta as considerações alcançadas na primeira parte da dissertação. Os resultados obtidos permitem verificar que o algoritmo de mapeamento de recursos de cloud e rede, bem como o mecanismo de reconfiguração de links, proporcionam um desempenho significativamente superior aos algoritmos do estado da arte, com uma maior aceitação e ganhos à custa de uma utilização inferior dos recursos de rede, e com um consumo energético inferior. O bloco funcional fecha o ciclo básico de controlo da arquitetura SDN para a receção e tratamento de serviços de conetividade. O estudo global dá uma noção do desempenho geral da arquitetura completa, e o estudo individual das diferentes partes do bloco funcional permite perceber quais as partes dentro do componente proposto que deverão ser melhoradas no futuro.The use of applications and their ways of communicating have greatly changed with the proliferation of Internet access. With this, these applications have come to be accommodated in the equipment supplier rather than the user equipment. Cloud computing (CC) is the concept that came and “sponsored” even more this change. Today the supply of these services is supported by the Best Effort service that the Internet provides. This is a feasible model for some services, but it is simply unacceptable to others (i.e video streams). In order to fill this gap, there is a big bet in integrating cloud and network elements together. To this paradigm we call Cloud Networking. This paradigm requires the establishment, application monitoring and automatic management of network and cloud resources, where both network and cloud virtualization are a key role, not only because of its easiness migration of virtual resources between physical machines, but also by the flexibility of setting different applications and services. In this context, the software-defined networks (SDN) can help improve the performance of the available cloud services. This Dissertation has two objectives. The first one is to work on mechanisms of resource management and cloud network in an integrated way. Specifically, this Dissertation proposes a mapping algorithm as well as a mechanism for reconfiguring links to optimize resource allocation and increase the acceptance of applications. The second goal is the creation of a functional component for mapping decision and reoptimization that fits in an SDN framework. This component is responsible for receiving, analyzing and mapping requests for connectivity services over an OpenFlow network. The algorithms used in this component take into account the considerations achieved with the first part of the Dissertation. The results lead us to conclude that the proposed mapping algorithm for cloud and network resources, as well as the mechanism for reconfiguring links, achieve a performance significantly superior to the state of art algorithms, with a higher acceptation and gains at the expense of a lower utilization of network resources, and a lower energy consumption. The functional component closes the control basic cycle of the SDN framework to the reception and treatment of connectivity services. The global performance study gives perception of the general performance of the complete SDN solution, and the individual study of the different parts of the functional component allows us to understand the parts inside the proposed component that should be improved in the future

Integração do paradigma de cloud computing com a infraestrutura de rede do operador

Doutoramento em Engenharia InformáticaThe proliferation of Internet access allows that users have the possibility to use services available directly through the Internet, which translates in a change of the paradigm of using applications and in the way of communicating, popularizing in this way the so-called cloud computing paradigm. Cloud computing brings with it requirements at two different levels: at the cloud level, usually relying in centralized data centers, where information technology and network resources must be able to guarantee the demand of such services; and at the access level, i.e., depending on the service being consumed, different quality of service is required in the access network, which is a Network Operator (NO) domain. In summary, there is an obvious network dependency. However, the network has been playing a relatively minor role, mostly as a provider of (best-effort) connectivity within the cloud and in the access network. The work developed in this Thesis enables for the effective integration of cloud and NO domains, allowing the required network support for cloud. We propose a framework and a set of associated mechanisms for the integrated management and control of cloud computing and NO domains to provide endto- end services. Moreover, we elaborate a thorough study on the embedding of virtual resources in this integrated environment. The study focuses on maximizing the host of virtual resources on the physical infrastructure through optimal embedding strategies (considering the initial allocation of resources as well as adaptations through time), while at the same time minimizing the costs associated to energy consumption, in single and multiple domains. Furthermore, we explore how the NO can take advantage of the integrated environment to host traditional network functions. In this sense, we study how virtual network Service Functions (SFs) should be modelled and managed in a cloud environment and enhance the framework accordingly. A thorough evaluation of the proposed solutions was performed in the scope of this Thesis, assessing their benefits. We implemented proof of concepts to prove the added value, feasibility and easy deployment characteristics of the proposed framework. Furthermore, the embedding strategies evaluation has been performed through simulation and Integer Linear Programming (ILP) solving tools, and it showed that it is possible to reduce the physical infrastructure energy consumption without jeopardizing the virtual resources acceptance. This fact can be further increased by allowing virtual resource adaptation through time. However, one should have in mind the costs associated to adaptation processes. The costs can be minimized, but the virtual resource acceptance can be also reduced. This tradeoff has also been subject of the work in this Thesis.A proliferação do acesso à Internet permite aos utilizadores usar serviços disponibilizados diretamente através da Internet, o que se traduz numa mudança de paradigma na forma de usar aplicações e na forma de comunicar, popularizando desta forma o conceito denominado de cloud computing. Cloud computing traz consigo requisitos a dois níveis: ao nível da própria cloud, geralmente dependente de centros de dados centralizados, onde as tecnologias de informação e recursos de rede têm que ser capazes de garantir as exigências destes serviços; e ao nível do acesso, ou seja, dependendo do serviço que esteja a ser consumido, são necessários diferentes níveis de qualidade de serviço na rede de acesso, um domínio do operador de rede. Em síntese, existe uma clara dependência da cloud na rede. No entanto, o papel que a rede tem vindo a desempenhar neste âmbito é reduzido, sendo principalmente um fornecedor de conectividade (best-effort) tanto no dominio da cloud como no da rede de acesso. O trabalho desenvolvido nesta Tese permite uma integração efetiva dos domínios de cloud e operador de rede, dando assim à cloud o efetivo suporte da rede. Para tal, apresentamos uma plataforma e um conjunto de mecanismos associados para gestão e controlo integrado de domínios cloud computing e operador de rede por forma a fornecer serviços fim-a-fim. Além disso, elaboramos um estudo aprofundado sobre o mapeamento de recursos virtuais neste ambiente integrado. O estudo centra-se na maximização da incorporação de recursos virtuais na infraestrutura física por meio de estratégias de mapeamento ótimas (considerando a alocação inicial de recursos, bem como adaptações ao longo do tempo), enquanto que se minimizam os custos associados ao consumo de energia. Este estudo é feito para cenários de apenas um domínio e para cenários com múltiplos domínios. Além disso, exploramos como o operador de rede pode aproveitar o referido ambiente integrado para suportar funções de rede tradicionais. Neste sentido, estudamos como as funções de rede virtualizadas devem ser modeladas e geridas num ambiente cloud e estendemos a plataforma de acordo com este conceito. No âmbito desta Tese foi feita uma avaliação extensa das soluções propostas, avaliando os seus benefícios. Implementámos provas de conceito por forma a demonstrar as mais-valias, viabilidade e fácil implantação das soluções propostas. Além disso, a avaliação das estratégias de mapeamento foi realizada através de ferramentas de simulação e de programação linear inteira, mostrando que é possível reduzir o consumo de energia da infraestrutura física, sem comprometer a aceitação de recursos virtuais. Este aspeto pode ser melhorado através da adaptação de recursos virtuais ao longo do tempo. No entanto, deve-se ter em mente os custos associados aos processos de adaptação. Os custos podem ser minimizados, mas isso implica uma redução na aceitação de recursos virtuais. Esta compensação foi também um tema abordado nesta Tese