Hybrid Elastic ARM&Cloud HPC Collaborative Platform for generic tasks

Compute-heavy workloads are currently run on Hybrid HPC structures using x86 CPUs and GPUs from Intel, AMD, or NVidia, which have extremely high energy and financial costs. However, thanks to the incredible progress made on CPUs and GPUs based on the ARM architecture and their ubiquity in today’s mobile devices, it’s possible to conceive of a low-cost solution for our world’s data processing needs. Every year ARM-based mobile devices become more powerful, efficient, and come in ever smaller packages with ever growing storage. At the same time, smartphones waste these capabilities at night while they’re charging. This represents billions of idle devices whose processing power is not being utilized. For that reason, the objective of this paper is to evaluate and develop a hybrid, distributed, scalable, and redundant platform that allows for the utilization of these idle devices through a cloud-based administration service. The system would allow for massive improvements in terms of efficiency and cost for com-pute-heavy workload. During the evaluation phase, we were able to establish savings in power and cost significant enough to justify exploring it as a serious alternative to traditional computing architectures.Instituto de Investigación en Informátic

Hybrid Elastic ARM&Cloud HPC Collaborative Platform for generic tasks

Compute-heavy workloads are currently run on Hybrid HPC structures using x86 CPUs and GPUs from Intel, AMD, or NVidia, which have extremely high energy and financial costs. However, thanks to the incredible progress made on CPUs and GPUs based on the ARM architecture and their ubiquity in today’s mobile devices, it’s possible to conceive of a low-cost solution for our world’s data processing needs. Every year ARM-based mobile devices become more powerful, efficient, and come in ever smaller packages with ever growing storage. At the same time, smartphones waste these capabilities at night while they’re charging. This represents billions of idle devices whose processing power is not being utilized. For that reason, the objective of this paper is to evaluate and develop a hybrid, distributed, scalable, and redundant platform that allows for the utilization of these idle devices through a cloud-based administration service. The system would allow for massive improvements in terms of efficiency and cost for com-pute-heavy workload. During the evaluation phase, we were able to establish savings in power and cost significant enough to justify exploring it as a serious alternative to traditional computing architectures.Instituto de Investigación en Informátic

Hybrid Elastic ARM&Cloud HPC Collaborative Platform for generic tasks

Compute-heavy workloads are currently run on Hybrid HPC structures using x86 CPUs and GPUs from Intel, AMD, or NVidia, which have extremely high energy and financial costs. However, thanks to the incredible progress made on CPUs and GPUs based on the ARM architecture and their ubiquity in today’s mobile devices, it’s possible to conceive of a low-cost solution for our world’s data processing needs. Every year ARM-based mobile devices become more powerful, efficient, and come in ever smaller packages with ever growing storage. At the same time, smartphones waste these capabilities at night while they’re charging. This represents billions of idle devices whose processing power is not being utilized. For that reason, the objective of this paper is to evaluate and develop a hybrid, distributed, scalable, and redundant platform that allows for the utilization of these idle devices through a cloud-based administration service. The system would allow for massive improvements in terms of efficiency and cost for com-pute-heavy workload. During the evaluation phase, we were able to establish savings in power and cost significant enough to justify exploring it as a serious alternative to traditional computing architectures.Instituto de Investigación en Informátic

Hardware, software, modelos, métricas y tendencias en arquitecturas multiprocesador

El eje de esta línea de I/D lo constituye el estudio de las arquitecturas multiprocesador que integran sistemas distribuidos y paralelos. Incluye como temas centrales: - Arquitecturas many-core (GPU, procesadores MIC, TPUs), FPGAs, híbridas (diferentes combinaciones de multicores y aceleradores), y asimétricas. - Cloud Computing para HPC (especialmente para aplicaciones de Big Data) y sistemas distribuidos de tiempo real (Cloud Robotics). - Desarrollo y evaluación de algoritmos paralelos sobre nuevas arquitecturas y su evaluación de rendimiento computacional y energético.Eje: Procesamiento distribuido y paralelo.Red de Universidades con Carreras en Informátic

Plataforma colaborativa, distribuida, escalable y de bajo costo basada en microservicios, contenedores, dispositivos móviles y servicios en la Nube para tareas de cómputo intensivo

A la hora de resolver tareas de cómputo intensivo de manera distribuida y paralela, habitualmente se utilizan recursos de hardware x86 (CPU/GPU) e infraestructura especializada (Grid, Cluster, Nube) para lograr un alto rendimiento. En sus inicios los procesadores, coprocesadores y chips x86 fueron desarrollados para resolver problemas complejos sin tener en cuenta su consumo energético. Dado su impacto directo en los costos y el medio ambiente, optimizar el uso, refrigeración y gasto energético, así como analizar arquitecturas alternativas, se convirtió en una preocupación principal de las organizaciones. Como resultado, las empresas e instituciones han propuesto diferentes arquitecturas para implementar las características de escalabilidad, flexibilidad y concurrencia. Con el objetivo de plantear una arquitectura alternativa a los esquemas tradicionales, en esta tesis se propone ejecutar las tareas de procesamiento reutilizando las capacidades ociosas de los dispositivos móviles. Estos equipos integran procesadores ARM los cuales, en contraposición a las arquitecturas tradicionales x86, fueron desarrollados con la eficiencia energética como pilar fundacional, ya que son mayormente alimentados por baterías. Estos dispositivos, en los últimos años, han incrementado su capacidad, eficiencia, estabilidad, potencia, así como también masividad y mercado; mientras conservan un precio, tamaño y consumo energético reducido. A su vez, cuentan con lapsos de ociosidad durante los períodos de carga, lo que representa un gran potencial que puede ser reutilizado. Para gestionar y explotar adecuadamente estos recursos, y convertirlos en un centro de datos de procesamiento intensivo; se diseñó, desarrolló y evaluó una plataforma distribuida, colaborativa, elástica y de bajo costo basada en una arquitectura compuesta por microservicios y contenedores orquestados con Kubernetes en ambientes de Nube y local, integrada con herramientas, metodologías y prácticas DevOps. El paradigma de microservicios permitió que las funciones desarrolladas sean fragmentadas en pequeños servicios, con responsabilidades acotadas. Las prácticas DevOps permitieron construir procesos automatizados para la ejecución de pruebas, trazabilidad, monitoreo e integración de modificaciones y desarrollo de nuevas versiones de los servicios. Finalmente, empaquetar las funciones con todas sus dependencias y librerías en contenedores ayudó a mantener servicios pequeños, inmutables, portables, seguros y estandarizados que permiten su ejecución independiente de la arquitectura subyacente. Incluir Kubernetes como Orquestador de contenedores, permitió que los servicios se puedan administrar, desplegar y escalar de manera integral y transparente, tanto a nivel local como en la Nube, garantizando un uso eficiente de la infraestructura, gastos y energía. Para validar el rendimiento, escalabilidad, consumo energético y flexibilidad del sistema, se ejecutaron diversos escenarios concurrentes de transcoding de video. De esta manera se pudo probar, por un lado, el comportamiento y rendimiento de diversos dispositivos móviles y x86 bajo diferentes condiciones de estrés. Por otro lado, se pudo mostrar cómo a través de una carga variable de tareas, la arquitectura se ajusta, flexibiliza y escala para dar respuesta a las necesidades de procesamiento. Los resultados experimentales, sobre la base de los diversos escenarios de rendimiento, carga y saturación planteados, muestran que se obtienen mejoras útiles sobre la línea de base de este estudio y que la arquitectura desarrollada es lo suficientemente robusta para considerarse una alternativa escalable, económica y elástica, respecto a los modelos tradicionales.Facultad de Informátic