Elastic neural network method for load prediction in cloud computing grid

Cloud computing still has no standard definition, yet it is concerned with Internet or network on-demand delivery of resources and services. It has gained much popularity in last few years due to rapid growth in technology and the Internet. Many issues yet to be tackled within cloud computing technical challenges, such as Virtual Machine migration, server association, fault tolerance, scalability, and availability. The most we are concerned with in this research is balancing servers load; the way of spreading the load between various nodes exists in any distributed systems that help to utilize resource and job response time, enhance scalability, and user satisfaction. Load rebalancing algorithm with dynamic resource allocation is presented to adapt with changing needs of a cloud environment. This research presents a modified elastic adaptive neural network (EANN) with modified adaptive smoothing errors, to build an evolving system to predict Virtual Machine load. To evaluate the proposed balancing method, we conducted a series of simulation studies using cloud simulator and made comparisons with previously suggested approaches in the previous work. The experimental results show that suggested method betters present approaches significantly and all these approaches

Planning and Optimization During the Life-Cycle of Service Level Agreements for Cloud Computing

Ein Service Level Agreement (SLA) ist ein elektronischer Vertrag zwischen dem Kunden und dem Anbieter eines Services. Die beteiligten Partner kl aren ihre Erwartungen und Verp ichtungen in Bezug auf den Dienst und dessen Qualit at. SLAs werden bereits f ur die Beschreibung von Cloud-Computing-Diensten eingesetzt. Der Diensteanbieter stellt sicher, dass die Dienstqualit at erf ullt wird und mit den Anforderungen des Kunden bis zum Ende der vereinbarten Laufzeit ubereinstimmt. Die Durchf uhrung der SLAs erfordert einen erheblichen Aufwand, um Autonomie, Wirtschaftlichkeit und E zienz zu erreichen. Der gegenw artige Stand der Technik im SLA-Management begegnet Herausforderungen wie SLA-Darstellung f ur Cloud- Dienste, gesch aftsbezogene SLA-Optimierungen, Dienste-Outsourcing und Ressourcenmanagement. Diese Gebiete scha en zentrale und aktuelle Forschungsthemen. Das Management von SLAs in unterschiedlichen Phasen w ahrend ihrer Laufzeit erfordert eine daf ur entwickelte Methodik. Dadurch wird die Realisierung von Cloud SLAManagement vereinfacht. Ich pr asentiere ein breit gef achertes Modell im SLA-Laufzeitmanagement, das die genannten Herausforderungen adressiert. Diese Herangehensweise erm oglicht eine automatische Dienstemodellierung, sowie Aushandlung, Bereitstellung und Monitoring von SLAs. W ahrend der Erstellungsphase skizziere ich, wie die Modellierungsstrukturen verbessert und vereinfacht werden k onnen. Ein weiteres Ziel von meinem Ansatz ist die Minimierung von Implementierungs- und Outsourcingkosten zugunsten von Wettbewerbsf ahigkeit. In der SLA-Monitoringphase entwickle ich Strategien f ur die Auswahl und Zuweisung von virtuellen Cloud Ressourcen in Migrationsphasen. Anschlie end pr ufe ich mittels Monitoring eine gr o ere Zusammenstellung von SLAs, ob die vereinbarten Fehlertoleranzen eingehalten werden. Die vorliegende Arbeit leistet einen Beitrag zu einem Entwurf der GWDG und deren wissenschaftlichen Communities. Die Forschung, die zu dieser Doktorarbeit gef uhrt hat, wurde als Teil von dem SLA@SOI EU/FP7 integriertem Projekt durchgef uhrt (contract No. 216556)

Compliance framework for change management in cloud environments

Mención Internacional en el título de doctorThe Governance, Risk and Compliance (GRC) area is one of the critical management areas for every organization. This is particularly the case for information technology (IT) departments where both human resources and technical infrastructures (software and hardware) need to work seamlessly in order to provide the expected benefits. The study of the literature shows that sound GRC methods are key to running and maintaining secure and compliant computing infrastructures. An important and particularly challenging aspect of the IT landscape is its constant and perpetual evolution in order to keep pace with new and emerging technologies that find their way faster and faster into the organizational infrastructure. Since assessments of risks and compliance aspects always refer to a certain (more or less static) situation, such frequent changes pose a real danger to the overall relevance of these assessments in the mid and longterm perspective. So, a sound approach to ensuring compliance not only punctually (both in time and space) but holistically – considering the complete IT landscape in a continuous way – needs to integrate with the change management function of the organization. Another important development in the last eight to ten years was the emergence of Cloud Computing (CC) as a straightforward and efficient way of providing IT functionality to organizations. While it poses many various challenges to IT management in general, CC is particularly relevant for GRC as it makes an IT provision approach that was previously sometimes applied – outsourcing – to a predominant approach to provide infrastructure (called Infrastructure‐as‐a‐Service or IaaS), platforms (called Platform‐as‐a‐Service or PaaS), and software (called Software‐as‐a‐Service or SaaS) within an organization. CC and outsourcing entail wider challenges for GRC as it involves the inclusion of an external party as a service provider within an organization reflecting specific aspects of provider selection, contract management, service level agreements (SLAs), and monitoring. They become even more challenging in the context of frequent and interdependent changes. Therefore, this thesis is aimed at the definition and validation of a Compliance Framework for Change Management in Cloud Environments (short: CFC MCC). The proposed solution of the problem has been approached from a multidisciplinary point of view taking in consideration aspects from computer science, IT management and IT governance, but also such aspects as legal and cultural dimensions. The proposed solution provides a framework to support the solicitation of requirements from different subject areas (e.g., organizational, technological, cultural) and their subsequent consideration within the change management process of established IT management frameworks such as ITIL. It can be tailored to the specific situation of most organizations and provides a consistent approach to address GRC aspects in rapidly evolving cloud‐based organizational IT landscapes. The scientific discourse within the thesis has been structured following best academic practices and recommendations. In the last phase of the research methodology an empirical validation has been performed to verify the applicability of the framework. The data obtained from the validation indicate that the application of the framework for ensuring compliance in CC environments constitutes a relevant improvement of the change management process.El área de gobernanza, riesgo y cumplimiento (por sus siglas en inglés GRC) es una de las áreas de gestión clave en todas las organizaciones. En el caso de los departamentos de Tecnología de la Información (por sus siglas en inglés IT de Information Technology) el área cuenta con una importancia igualmente crucial. Estos departamentos deben orquestar los recursos de capital intelectual y las infraestructuras hardware y software para contribuir a la generación de beneficios empresariales. La literatura ha demostrado que un conjunto de procedimientos en el área GRC es clave para prestar el servicio de forma eficiente a partir del mantenimiento de una infraestructura tecnológica segura y compatible. Un aspecto importante y particularmente retador en el entorno IT es su constante evolución con el propósito de habilitar la adopción de nuevas tecnologías en apoyo de los procesos corporativos. Dado que la evaluación de riesgos y los aspectos de cumplimiento se refieren a una determinada situación que se puede considerar más o menos estática, los continuos cambios en el entorno IT representan una amenaza para la incorporación de nuevas tecnologías en ámbitos corporativos desde el punto de vista GRC. Por ello, un enfoque sólido para garantizar el cumplimiento no sólo de forma puntual en tiempo y espacio sino de forma integral, considerando el entorno IT en una forma continua e integrada con la gestión del cambio corporativa. Otro desarrollo importante y modificador de la situación actual es la emergencia de la computación en la nube (CC, siglas en inglés de Cloud Computing) como una forma efectiva y eficaz de proporcionar la función IT en las organizaciones. Pese a que CC suscita diversos desafíos para la administración IT, es en particular relevante para GRC ya que habilita la externalización del servicio como una aproximación predominante para proporcionar infraestructura (llamado Infraestructure‐as‐a‐Service o IaaS), plataformas (llamado Platformas‐ a‐Service o PaaS) y software (llamado Software‐as‐a‐Service o SaaS) dentro de una organización. CC y la externalización suponen retos más amplios para GRC, ya que implican la inclusión de un proveedor de servicios externo dentro de una organización. Esta circunstancia aflora cuestiones relativas a la selección de proveedores, la gestión de contratos, los acuerdos de nivel de servicio (por sus siglas en inglés SLA), y el seguimiento de las relaciones y los servicios prestados. Estos aspectos, se convierten en un reto aún mayor en el contexto de los cambios frecuentes e interdependientes en el ámbito IT. Por lo tanto, esta tesis está dirigida a la definición y validación de un marco de cumplimiento para la gestión del cambio en entornos relativos a la nube (abreviatura: CFC MCC). La solución propuesta del problema ha sido abordada desde un punto de vista multidisciplinar, tomando en consideración aspectos de la informática, la gestión de IT y el gobierno de IT pero incorporando también aspectos tales como las dimensiones legales y culturales. La solución propuesta proporciona un marco para apoyar la solicitud de requisitos de diferentes áreas (por ejemplo, organizativos, tecnológicos, culturales) y su posterior consideración en el proceso de gestión del cambio de los marcos establecidos de gestión de TI como pueda ser ITIL. EL marco puede ser adaptado a la situación específica de las organizaciones y proporciona un enfoque coherente para abordar los aspectos de GRC en rápida evolución entornos de TI de la organización basados en la nube. El discurso científico dentro de la tesis se ha estructurado siguiendo las prácticas académicas y recomendaciones de investigación. En la última fase de la metodología de la investigación empírica una validación se ha realizado para verificar la aplicabilidad del marco. Los datos obtenidos de la validación indican que la aplicación del marco para garantizar el cumplimiento en entornos CC constituye una mejora relevante del proceso de gestión del cambio de las organizaciones.Programa Oficial de Doctorado en Ciencia y Tecnología InformáticaPresidente: Antonio de Amescua Seco.- Secretario: José Antonio Manzano Calvo.- Vocal: Ahmed Barnaw

Self-aware software architecture style and patterns for cloud-based applications

Modern cloud-reliant software systems are faced with the problem of cloud service providers violating their Service Level Agreement (SLA) claims. Given the large pool of cloud providers and their instability, cloud applications are expected to cope with these dynamics autonomously. This thesis investigates an approach for designing self-adaptive cloud architectures using a systematic methodology that guides the architect while designing cloud applications. The approach termed $Self-aware$ $Architecture$ $Pattern$ promotes fine-grained representation of architectural concerns to aid design-time analysis of risks and trade-offs. To support the coordination and control of architectural components in decentralised self-aware cloud applications, we propose a $Reputation-aware$ $posted$ $offer$ $market$ $coordination$ $mechanism$. The mechanism builds on the classic posted offer market mechanism and extends it to track behaviour of unreliable cloud services. The self-aware cloud architecture and its reputation-aware coordination mechanism are quantitatively evaluated within the context of an Online Shopping application using synthetic and realistic workload datasets under various configurations (failure, scale, resilience levels etc.). Additionally, we qualitatively evaluated our self-aware approach against two classic self-adaptive architecture styles using independent experts' judgment, to unveil its strengths and weaknesses relative to these styles

Migrations en temps réel des machines virtuelles interdépendantes

RÉSUMÉ Actuellement, les bonnes circulations et traitements des données sont devenus des clefs de succès dans tous les domaines techniques. Il est donc indispensable que les réseaux, véhiculant ces données, garantissent la qualité de leur transmission et réception. Cela est aussi applicable quand ces données sont échangées en continu par des hôtes virtuels distribués et interdépendants. La consolidation et répartition des charges (Load Balancing) devient un élément important pour améliorer les capacités et les services des réseaux. Cette répartition est possible par des réseaux infonuagiques utilisant des machines virtuelles. Comme ces machines peuvent être déployées et migrées en temps réel et à grande échelle, elles peuvent offrir de très bonnes possibilités de répartition des charges par leurs migrations en temps réel. Ainsi, il est important pour les décideurs de ces répartitions de charges de disposer des techniques efficaces permettant de minimiser les coûts de maintenance et de qualité de ces migrations en temps réel et de maximiser les retours sur investissement de leurs déploiements. Le problème de planification, de consolidation et de migration en temps réel des machines virtuelles (VMs) consiste à identifier les bons choix à effectuer pour placer les ressources d’un réseau de machines virtuelles et à déterminer les bonnes techniques pour les consolider par le déplacement de ces VMs entre des hôtes physiques. Ces déplacements des VMs doivent se faire sans interruption de service et dans des délais très réduits afin de respecter les contrats de niveaux de service et la qualité globale des services virtuels. Depuis quelques années, plusieurs recherches scientifiques se sont attardées sur l’étude de planification et de migration en temps réel des machines virtuelles. Cependant, ces études scientifiques se sont focalisées sur des VMs prises individuellement et non sur l’ensemble des VMs interdépendantes; cette démarche ne permet pas d’obtenir des solutions optimales prenant en considération les interdépendances entre ces VMs. D’autres études scientifiques se sont intéressées aux redéploiements dynamiques des charges d’un réseau en utilisant des migrations en temps réel des VMs et elles ont réussi à présenter des modélisations pour les résoudre. Cependant, elles n’ont pas considéré l’interdépendance entre des services applicatifs installés sur ces VMs; ces services ont besoin parfois d’échanger leurs informations afin d’effectuer leurs exécutions correctement. Cette thèse présente des techniques traitant de la planification, la consolidation, et la migration en temps réel de plusieurs machines virtuelles. L’interdépendance entre les VMs est considérée lors des développements de ces techniques. Notre travail est divisé en trois parties où chacune correspond à un de nos objectifs de recherche. Lors de la première partie, nous développons un modèle mathématique et son heuristique d’approximation pour solutionner le problème d’optimisation de la planification des emplacements des VMs prenant en considération leurs contraintes d’interdépendance; cette heuristique, efficace pour des grands ensembles de machines virtuelles, peut être ensuite exécutée par un logiciel installé sur une machine physique. Nous résolvons ce modèle grâce au solveur mathématique CPLEX en utilisant la méthode de programmation en nombres entiers mixte (MIP). L’objectif de ce modèle est de minimiser les coûts d’un réseau de VMs tout en respectant ses contraintes d’interdépendance. Afin de valider la performance de notre modélisation, nous résolvons avec CPLEX des petits ensembles de tests; ensuite, nous les vérifions et validons. Notre modèle est plus pertinent que celui de la modélisation sans les contraintes d’interdépendance qui donne des solutions dans des délais plus courts, mais qui demeurent non efficaces pour le bon fonctionnement des VMs interdépendantes. Comme le problème NP-difficile de « bin-packing » peut être réduit à notre problème de planification des VMs, ce dernier est aussi NP-difficile; pour cela, nous approximons sa modélisation avec une heuristique de recherche taboue qui est capable de traiter des grands ensembles en peu de temps. Cette heuristique trouve de bonnes solutions dans des délais acceptables pour des problèmes avec des grands ensembles. Cette heuristique visite une zone de solutions potentielles afin d’y trouver l’optimum local, puis elle refait cette même démarche dans des régions avoisinantes. Ainsi, notre heuristique réalise une exploration pertinente de l’espace des solutions possibles. Les performances de notre heuristique sont comparables à celles de notre modèle mathématique approximé dans le cas des problèmes avec des petits ensembles. De plus, cette heuristique est plus performante en ce qui concerne des temps de calcul puisqu’elle réussit à trouver de bonnes solutions dans des délais moindres que ceux des solutions exactes de CPLEX pour des grands ensembles de VMs. Lors de la deuxième partie de notre recherche, nous développons un modèle mathématique « multi-objectifs » (relaxé à un modèle « mono-objectif » par la méthode agrégée de la somme pondérée) et son heuristique d’approximation pour trouver une solution optimale pour le problème de migration en temps réel des VMs interdépendantes; cette modélisation obtient des solutions exactes et optimales pour un nombre réduit de VMs; cette heuristique, permettant de trouver des solutions quasi-optimales en peu de temps, peut être exécutée par un logiciel contrôleur installé sur une machine physique. Cette exécution peut être effectuée à intervalle régulier ou bien quand la qualité de service de certains services virtuels commence à se dégrader. En effet, avec cette modélisation « multi-objectifs » relaxé à « mono-objectif » via la méthode agrégée de la somme pondérée de chacun de nos objectifs, nous trouvons des solutions quasi-optimales pour nos quatre objectifs qui sont le délai de migration des VMs, leur délai d’arrêt, les pénalités dues aux non-respects des contrats de service, et leur qualité de service globale. La modélisation proposée permet plus de flexibilité en assignant un niveau relatif d’importance pour chacun des objectifs via leur facteur de pondération. Concernant la qualité globale de service et les pénalités des non-respects des contrats de niveaux de service (SLAs), les résultats obtenus grâce à notre modèle et son heuristique d’approximation sont meilleurs que la technique « pré-copie » utilisée et conçue pour les migrations en temps réel des VMs. Lors de la troisième partie de notre recherche, nous développons un modèle mathématique et son heuristique d’approximation visant à maximiser le profit net total tout en minimisant les pénalités des services virtuels aux contrats SLAs. Cette optimisation est une tâche complexe en raison de la difficulté de parvenir à un compromis réussi entre les pénalités sur les contrats de niveaux de service et le placement en temps réel des machines virtuelles (VM) interdépendantes. Cette troisième partie étudie donc ce problème de maximisation du profit net total tout en diminuant les pénalités de service et en réalisant des migrations en temps réel de machines virtuelles interdépendantes. Ce problème d’optimisation de placement en temps réel de machines virtuelles est NP-difficile puisque le problème NP-difficile « bin-packing » peut être réduit à ce problème, et son temps de calcul croit exponentiellement avec la taille des ensembles de machines virtuelles et de leurs machines physiques hôtes; pour cette raison, nous approximons notre modèle mathématique avec une heuristique de recherche taboue efficace. Nous testons notre formulation et heuristique pour des services virtuels, où le profit net total doit être maximisé, où les pénalités des services doivent être minimisées, et où des migrations efficaces en temps réel des VMs sont des sujets de préoccupation. Nos résultats de simulations montrent que notre heuristique d’approximation de notre modèle mathématique : (i) trouve de meilleures solutions que la configuration existante des milliers de machines utilisées dans des traces de Google; (ii) est adaptée pour de grandes ensembles des services virtuels avec des dizaines de milliers de machines virtuelles et machines physiques; et (iii) performe mieux en termes de pénalités et profits globaux que notre référence de comparaison c.-à-d. la configuration existante des machines utilisées dans des traces de Google.----------ABSTRACT Currently, data transmission and processing have become keys to success in many technology areas. Therefore, it is essential that networks guarantee the transmission and reception qualities of these data; also, this guarantee is important for data exchanged continuously by distributed and interconnected hosts. Also, “Load Balancing” techniques becomes an interesting key to improve network services and capacities. This load balancing technique is feasible with cloud networks based on virtual machines (VMs). Since these virtual machines can be deployed and live migrated on a large scale, they can offer very good possibilities of load balancing. Thus, it is important that decision makers dispose of effective techniques, such as load balancing, to minimize costs of these live migrations and to maximize their return on investment. Planning and live migration problems of virtual machines aim to identify right choices to place resources of virtual machine networks and to determine right techniques to move VMs between their physical hosts. These VMs’ moves should be done without service interruption and within very short delay. In recent years, several scientific researchers have studied planning and live migration of virtual machines; however, these scientific studies have focused on VMs individually without considering their interdependency constraints. Other scientific studies have investigated dynamic load balancing of a network using VM live migrations and they have succeeded to solve it using mathematical models; however, they did not consider the VMs’ interdependency. This thesis presents some techniques dealing with planning, consolidation, and live migrations of multiple virtual machines. These techniques take into account the VM interdependencies, the network service level contracts (SLAs) and overall quality. Our thesis is divided into three parts corresponding to our three research objectives. In the first part, we develop a mathematical model for VMs planning problem including the interdependency constraints. We solve this model using CPLEX as a mathematical solver with the mixed integer programming (MIP) method. The goal of this model is to minimize the overall cost of a VMs’ network while respecting its interdependent VMs constraints. To validate our modeling performance, we solved, with CPLEX, some small sets; then, we verified and validated our solutions. Our model is more relevant than other models ignoring interdependency constraints and which give solutions in a shorter time but remain ineffective for a proper functioning of interdependent VMs. Since VMs’ placement planning problem is an NP-hard problem (as the NP-hard “bin-packing” problem can be reduced to it), we approximate our model with a tabu search heuristic which is capable to handle large-sized sets. This heuristic finds good solutions in an acceptable delay by visiting areas of potential solutions in order to find local optimums, and then it repeats this process with other surrounding areas; thus, our heuristic performs relevant space explorations for possible solutions. Our heuristic has comparable performance to our approximated mathematical model in the case of small size sets; moreover, this heuristic is more efficient since its running time is lower than CPLEX to find near-enough exact solutions for large-sized sets. In the second part of our research, we have developed a "multi-objective" mathematical model to solve the problem of live migrations of interdependent VMs; this model is solved by relaxing it to a "mono-objective" model using the method of weighted sum of each of its objectives; thanks to this relaxation, we optimize four objectives simultaneously by dealing with live VM migrations, especially, their stop delays, their penalties on service level agreements and the overall quality of service. Our proposed model allows more flexibility by assigning a relative importance level for each objective. Results, of the overall quality of service and overall penalty on SLAs, obtained with our model are better than those of "pre-copy" VM live migrations ignoring VMs’ interdependency constraints. In the third part of this research, we develop a mathematical model to maximize the overall net profits of virtual services while minimizing the penalties on their SLAs. This optimization is a complex task because it is difficult to reach a successful compromise between decreasing the penalties on service level agreements and the live placement of interdependent virtual machines. This third part is therefore exploring this problem optimization of net profit and service penalties while performing live migrations of interdependent virtual machines. This live placement optimization problem of virtual machines is NP-hard and its calculation time grows exponentially with the size of virtual machine sets and their physical machines hosts; for this reason, we approximate our mathematical model with effective tabu search heuristic. We test our formulation and heuristic with virtual services which the overall net profit should be maximized, the penalty on SLAs should be minimized and live migrations should be effective. Our simulation results show that our heuristic: (i) finds better solutions than the existing configuration of machines used in Google traces; (ii) is adapted to large-sized virtual service sets with tens of thousands of virtual and physical machines; and (iii) performs better in terms of penalties and overall net profits when they are compared to those of the existing machines’ configuration of Google

ADVANCED SLA MANAGEMENT IN CLOUD COMPUTING

The advent of high-performance technologies and the increase in volume of data used by organizations led to the need for migration from an internal structure to Cloud environment. The continuous development of tools, methods and techniques have expanded the understanding of the various functions, structures and processes related to Cloud Computing. However, the increase in computing power led to the development and use of more complex models, including this scope the complexity of Service Level Agreements (SLA). The need for understanding at a high level of SLAs established between customers and service providers in Cloud led to different studies on the definition and standardization of these agreements. Nowadays, cloud computing technologies are becoming more and more popular, especially with respect to data storage. However, the processes used to determine the Cloud Service Agreements do not consider the final customer\u2019s needs, considering only the supply capacity of the service provider. For these reasons, the development of service agreements that meets the needs of customers should be designed in order to increase the usability of Cloud environments, and enabling the discovery of new areas of application in accordance with market demand. In this context, the use of ontologies that describes the information that composes each type of service, and thus enable an understanding of the agreements reached, is configured as an approach to be considered. Moreover, the generalization and abstraction of information that can be observed in different services allows a broader vision for managing SLAs. For these reasons, this thesis aims to find innovative methods for the composition of Service Level Agreements in Cloud Computing. In particular, the methods presented allow demonstrate the convergence of several consolidated techniques in research on Cloud SLA using a new approach that considers new demands on Cloud and allows control of the established agreements, in addition to effectively ensure the application of the concept of XaaS (everything as a service). The originality of the approach allows the registration, search, composition and control of services in Cloud using the same structure. The new approach presented in this thesis allows the understanding of the impact of the new services requested by customers, giving the provider the possibility of simulating the use of the necessary resources to meet the new services\u2019 requests. From the presentation of a conceptual framework we can demonstrate the use of our approach through the examples of different situations presented in the real world and considering the new market possibilities