A Self-organizing and Self-configuration Algorithm for Resource Management in Service-oriented Systems

With the ever increasing deployment of service-oriented distributed systems in large-scale and heterogeneous computing environments, clustering and communication overlay topology design has become more and more important to address several challenging issues and conflicting requirements, such as efficient scheduling and distribution of services among computing resources, reducing communication cost between services, high performance service and resource discovery while considering both inter-service and inter-node properties and also increasing the load distribution and the load balance. In this paper, a four-stage hierarchical clustering algorithm is proposed which automates the process of the optimally composing communicating groups in a dynamic way while preserving the proximity of the nodes. The simulation results show the performance of the algorithm with respect to load balance, scalability and efficiency

Utilizando la calidad de las respuestas como política de distribución de la información de recursos en grid computing

La computación de alto rendimiento (HPC, High Performance Computing) tiene como objetivo el estudio de los procedimientos y estrategias computacionales necesarios para resolver e ficientemente problemas complejos que demandan gran poder de cómputo. En sistemas distribuidos de gran escala como las Grids o las Federaciones de Clouds, resulta crucial saber dónde están los recursos y su disponibilidad para poder coordinar su utilización. Cómo se obtiene y disemina la información sobre estos recursos es lo que se denomina política de distribución de la información de recursos. Una clasi ficación posible para políticas de distribución de la información es considerarlas centralizadas o descentralizadas. Estas últimas se dividen en estructuradas o no-estructuradas. Las políticas Jerárquica, Super-Peer, Random y Best-Neighbor resultan representativas dentro de esta clasifi cación. Contar con una política de distribución que sea a la vez escalable, tolerante a fallas, que no demande mantenimiento en exceso ni consuma recursos de red y procesamiento del sistema en forma desmedida, resulta un desafío tecnológico remarcable. El principal resultado de esta tesis son dos políticas basadas en Best Neighbor que evidenciaron muy buena performance siendo, a la vez, escalables, distribuidas y sin gran dependencia de administración manual.Trabajos finalesSociedad Argentina de Informática e Investigación Operativa (SADIO

Utilizando la calidad de las respuestas como política de distribución de la información de recursos en grid computing

La computación de alto rendimiento (HPC, High Performance Computing) tiene como objetivo el estudio de los procedimientos y estrategias computacionales necesarios para resolver e ficientemente problemas complejos que demandan gran poder de cómputo. En sistemas distribuidos de gran escala como las Grids o las Federaciones de Clouds, resulta crucial saber dónde están los recursos y su disponibilidad para poder coordinar su utilización. Cómo se obtiene y disemina la información sobre estos recursos es lo que se denomina política de distribución de la información de recursos. Una clasi ficación posible para políticas de distribución de la información es considerarlas centralizadas o descentralizadas. Estas últimas se dividen en estructuradas o no-estructuradas. Las políticas Jerárquica, Super-Peer, Random y Best-Neighbor resultan representativas dentro de esta clasifi cación. Contar con una política de distribución que sea a la vez escalable, tolerante a fallas, que no demande mantenimiento en exceso ni consuma recursos de red y procesamiento del sistema en forma desmedida, resulta un desafío tecnológico remarcable. El principal resultado de esta tesis son dos políticas basadas en Best Neighbor que evidenciaron muy buena performance siendo, a la vez, escalables, distribuidas y sin gran dependencia de administración manual.Trabajos finalesSociedad Argentina de Informática e Investigación Operativa (SADIO

Resource discovery for distributed computing systems: A comprehensive survey

Large-scale distributed computing environments provide a vast amount of heterogeneous computing resources from different sources for resource sharing and distributed computing. Discovering appropriate resources in such environments is a challenge which involves several different subjects. In this paper, we provide an investigation on the current state of resource discovery protocols, mechanisms, and platforms for large-scale distributed environments, focusing on the design aspects. We classify all related aspects, general steps, and requirements to construct a novel resource discovery solution in three categories consisting of structures, methods, and issues. Accordingly, we review the literature, analyzing various aspects for each category

Descoberta de recursos para sistemas de escala arbitrarias

Doutoramento em InformáticaTecnologias de Computação Distribuída em larga escala tais como Cloud, Grid, Cluster e Supercomputadores HPC estão a evoluir juntamente com a emergência revolucionária de modelos de múltiplos núcleos (por exemplo: GPU, CPUs num único die, Supercomputadores em single die, Supercomputadores em chip, etc) e avanços significativos em redes e soluções de interligação. No futuro, nós de computação com milhares de núcleos podem ser ligados entre si para formar uma única unidade de computação transparente que esconde das aplicações a complexidade e a natureza distribuída desses sistemas com múltiplos núcleos. A fim de beneficiar de forma eficiente de todos os potenciais recursos nesses ambientes de computação em grande escala com múltiplos núcleos ativos, a descoberta de recursos é um elemento crucial para explorar ao máximo as capacidade de todos os recursos heterogéneos distribuídos, através do reconhecimento preciso e localização desses recursos no sistema. A descoberta eficiente e escalável de recursos ´e um desafio para tais sistemas futuros, onde os recursos e as infira-estruturas de computação e comunicação subjacentes são altamente dinâmicas, hierarquizadas e heterogéneas. Nesta tese, investigamos o problema da descoberta de recursos no que diz respeito aos requisitos gerais da escalabilidade arbitrária de ambientes de computação futuros com múltiplos núcleos ativos. A principal contribuição desta tese ´e a proposta de uma entidade de descoberta de recursos adaptativa híbrida (Hybrid Adaptive Resource Discovery - HARD), uma abordagem de descoberta de recursos eficiente e altamente escalável, construída sobre uma sobreposição hierárquica virtual baseada na auto-organizaçãoo e auto-adaptação de recursos de processamento no sistema, onde os recursos computacionais são organizados em hierarquias distribuídas de acordo com uma proposta de modelo de descriçãoo de recursos multi-camadas hierárquicas. Operacionalmente, em cada camada, que consiste numa arquitetura ponto-a-ponto de módulos que, interagindo uns com os outros, fornecem uma visão global da disponibilidade de recursos num ambiente distribuído grande, dinâmico e heterogéneo. O modelo de descoberta de recursos proposto fornece a adaptabilidade e flexibilidade para executar consultas complexas através do apoio a um conjunto de características significativas (tais como multi-dimensional, variedade e consulta agregada) apoiadas por uma correspondência exata e parcial, tanto para o conteúdo de objetos estéticos e dinâmicos. Simulações mostram que o HARD pode ser aplicado a escalas arbitrárias de dinamismo, tanto em termos de complexidade como de escala, posicionando esta proposta como uma arquitetura adequada para sistemas futuros de múltiplos núcleos. Também contribuímos com a proposta de um regime de gestão eficiente dos recursos para sistemas futuros que podem utilizar recursos distribuíos de forma eficiente e de uma forma totalmente descentralizada. Além disso, aproveitando componentes de descoberta (RR-RPs) permite que a nossa plataforma de gestão de recursos encontre e aloque dinamicamente recursos disponíeis que garantam os parâmetros de QoS pedidos.Large scale distributed computing technologies such as Cloud, Grid, Cluster and HPC supercomputers are progressing along with the revolutionary emergence of many-core designs (e.g. GPU, CPUs on single die, supercomputers on chip, etc.) and significant advances in networking and interconnect solutions. In future, computing nodes with thousands of cores may be connected together to form a single transparent computing unit which hides from applications the complexity and distributed nature of these many core systems. In order to efficiently benefit from all the potential resources in such large scale many-core-enabled computing environments, resource discovery is the vital building block to maximally exploit the capabilities of all distributed heterogeneous resources through precisely recognizing and locating those resources in the system. The efficient and scalable resource discovery is challenging for such future systems where the resources and the underlying computation and communication infrastructures are highly-dynamic, highly-hierarchical and highly-heterogeneous. In this thesis, we investigate the problem of resource discovery with respect to the general requirements of arbitrary scale future many-core-enabled computing environments. The main contribution of this thesis is to propose Hybrid Adaptive Resource Discovery (HARD), a novel efficient and highly scalable resource-discovery approach which is built upon a virtual hierarchical overlay based on self-organization and self-adaptation of processing resources in the system, where the computing resources are organized into distributed hierarchies according to a proposed hierarchical multi-layered resource description model. Operationally, at each layer, it consists of a peer-to-peer architecture of modules that, by interacting with each other, provide a global view of the resource availability in a large, dynamic and heterogeneous distributed environment. The proposed resource discovery model provides the adaptability and flexibility to perform complex querying by supporting a set of significant querying features (such as multi-dimensional, range and aggregate querying) while supporting exact and partial matching, both for static and dynamic object contents. The simulation shows that HARD can be applied to arbitrary scales of dynamicity, both in terms of complexity and of scale, positioning this proposal as a proper architecture for future many-core systems. We also contributed to propose a novel resource management scheme for future systems which efficiently can utilize distributed resources in a fully decentralized fashion. Moreover, leveraging discovery components (RR-RPs) enables our resource management platform to dynamically find and allocate available resources that guarantee the QoS parameters on demand