Improving the management efficiency of GPU workloads in data centers through GPU virtualization

[EN] Graphics processing units (GPUs) are currently used in data centers to reduce the execution time of compute-intensive applications. However, the use of GPUs presents several side effects, such as increased acquisition costs and larger space requirements. Furthermore, GPUs require a nonnegligible amount of energy even while idle. Additionally, GPU utilization is usually low for most applications. In a similar way to the use of virtual machines, using virtual GPUs may address the concerns associated with the use of these devices. In this regard, the remote GPU virtualization mechanism could be leveraged to share the GPUs present in the computing facility among the nodes of the cluster. This would increase overall GPU utilization, thus reducing the negative impact of the increased costs mentioned before. Reducing the amount of GPUs installed in the cluster could also be possible. However, in the same way as job schedulers map GPU resources to applications, virtual GPUs should also be scheduled before job execution. Nevertheless, current job schedulers are not able to deal with virtual GPUs. In this paper, we analyze the performance attained by a cluster using the remote Compute Unified Device Architecture middleware and a modified version of the Slurm scheduler, which is now able to assign remote GPUs to jobs. Results show that cluster throughput, measured as jobs completed per time unit, is doubled at the same time that the total energy consumption is reduced up to 40%. GPU utilization is also increased.Generalitat Valenciana, Grant/Award Number: PROMETEO/2017/077; MINECO and FEDER, Grant/Award Number: TIN2014-53495-R, TIN2015-65316-P and TIN2017-82972-RIserte, S.; Prades, J.; Reaño González, C.; Silla, F. (2021). Improving the management efficiency of GPU workloads in data centers through GPU virtualization. Concurrency and Computation: Practice and Experience. 33(2):1-16. https://doi.org/10.1002/cpe.5275S11633

Improving Performance and Energy Efficiency of Heterogeneous Systems with rCUDA

Tesis por compendio[ES] En la última década la utilización de la GPGPU (General Purpose computing in Graphics Processing Units; Computación de Propósito General en Unidades de Procesamiento Gráfico) se ha vuelto tremendamente popular en los centros de datos de todo el mundo. Las GPUs (Graphics Processing Units; Unidades de Procesamiento Gráfico) se han establecido como elementos aceleradores de cómputo que son usados junto a las CPUs formando sistemas heterogéneos. La naturaleza masivamente paralela de las GPUs, destinadas tradicionalmente al cómputo de gráficos, permite realizar operaciones numéricas con matrices de datos a gran velocidad debido al gran número de núcleos que integran y al gran ancho de banda de acceso a memoria que poseen. En consecuencia, aplicaciones de todo tipo de campos, tales como química, física, ingeniería, inteligencia artificial, ciencia de materiales, etc. que presentan este tipo de patrones de cómputo se ven beneficiadas, reduciendo drásticamente su tiempo de ejecución. En general, el uso de la aceleración del cómputo en GPUs ha significado un paso adelante y una revolución. Sin embargo, no está exento de problemas, tales como problemas de eficiencia energética, baja utilización de las GPUs, altos costes de adquisición y mantenimiento, etc. En esta tesis pretendemos analizar las principales carencias que presentan estos sistemas heterogéneos y proponer soluciones basadas en el uso de la virtualización remota de GPUs. Para ello hemos utilizado la herramienta rCUDA, desarrollada en la Universitat Politècnica de València, ya que multitud de publicaciones la avalan como el framework de virtualización remota de GPUs más avanzado de la actualidad. Los resutados obtenidos en esta tesis muestran que el uso de rCUDA en entornos de Cloud Computing incrementa el grado de libertad del sistema, ya que permite crear instancias virtuales de las GPUs físicas totalmente a medida de las necesidades de cada una de las máquinas virtuales. En entornos HPC (High Performance Computing; Computación de Altas Prestaciones), rCUDA también proporciona un mayor grado de flexibilidad de uso de las GPUs de todo el clúster de cómputo, ya que permite desacoplar totalmente la parte CPU de la parte GPU de las aplicaciones. Además, las GPUs pueden estar en cualquier nodo del clúster, independientemente del nodo en el que se está ejecutando la parte CPU de la aplicación. En general, tanto para Cloud Computing como en el caso de HPC, este mayor grado de flexibilidad se traduce en un aumento hasta 2x de la productividad de todo el sistema al mismo tiempo que se reduce el consumo energético en un 15%. Finalmente, también hemos desarrollado un mecanismo de migración de trabajos de la parte GPU de las aplicaciones que ha sido integrado dentro del framework rCUDA. Este mecanismo de migración ha sido evaluado y los resultados muestran claramente que, a cambio de una pequeña sobrecarga, alrededor de 400 milisegundos, en el tiempo de ejecución de las aplicaciones, es una potente herramienta con la que, de nuevo, aumentar la productividad y reducir el gasto energético del sistema. En resumen, en esta tesis se analizan los principales problemas derivados del uso de las GPUs como aceleradores de cómputo, tanto en entornos HPC como de Cloud Computing, y se demuestra cómo a través del uso del framework rCUDA, estos problemas pueden solucionarse. Además se desarrolla un potente mecanismo de migración de trabajos GPU, que integrado dentro del framework rCUDA, se convierte en una herramienta clave para los futuros planificadores de trabajos en clusters heterogéneos.[CA] En l'última dècada la utilització de la GPGPU(General Purpose computing in Graphics Processing Units; Computació de Propòsit General en Unitats de Processament Gràfic) s'ha tornat extremadament popular en els centres de dades de tot el món. Les GPUs (Graphics Processing Units; Unitats de Processament Gràfic) s'han establert com a elements acceleradors de còmput que s'utilitzen al costat de les CPUs formant sistemes heterogenis. La naturalesa massivament paral·lela de les GPUs, destinades tradicionalment al còmput de gràfics, permet realitzar operacions numèriques amb matrius de dades a gran velocitat degut al gran nombre de nuclis que integren i al gran ample de banda d'accés a memòria que posseeixen. En conseqüència, les aplicacions de tot tipus de camps, com ara química, física, enginyeria, intel·ligència artificial, ciència de materials, etc. que presenten aquest tipus de patrons de còmput es veuen beneficiades reduint dràsticament el seu temps d'execució. En general, l'ús de l'acceleració del còmput en GPUs ha significat un pas endavant i una revolució, però no està exempt de problemes, com ara poden ser problemes d'eficiència energètica, baixa utilització de les GPUs, alts costos d'adquisició i manteniment, etc. En aquesta tesi pretenem analitzar les principals mancances que presenten aquests sistemes heterogenis i proposar solucions basades en l'ús de la virtualització remota de GPUs. Per a això hem utilitzat l'eina rCUDA, desenvolupada a la Universitat Politècnica de València, ja que multitud de publicacions l'avalen com el framework de virtualització remota de GPUs més avançat de l'actualitat. Els resultats obtinguts en aquesta tesi mostren que l'ús de rCUDA en entorns de Cloud Computing incrementa el grau de llibertat del sistema, ja que permet crear instàncies virtuals de les GPUs físiques totalment a mida de les necessitats de cadascuna de les màquines virtuals. En entorns HPC (High Performance Computing; Computació d'Altes Prestacions), rCUDA també proporciona un major grau de flexibilitat en l'ús de les GPUs de tot el clúster de còmput, ja que permet desacoblar totalment la part CPU de la part GPU de les aplicacions. A més, les GPUs poden estar en qualsevol node del clúster, sense importar el node en el qual s'està executant la part CPU de l'aplicació. En general, tant per a Cloud Computing com en el cas del HPC, aquest major grau de flexibilitat es tradueix en un augment fins 2x de la productivitat de tot el sistema al mateix temps que es redueix el consum energètic en aproximadament un 15%. Finalment, també hem desenvolupat un mecanisme de migració de treballs de la part GPU de les aplicacions que ha estat integrat dins del framework rCUDA. Aquest mecanisme de migració ha estat avaluat i els resultats mostren clarament que, a canvi d'una petita sobrecàrrega, al voltant de 400 mil·lisegons, en el temps d'execució de les aplicacions, és una potent eina amb la qual, de nou, augmentar la productivitat i reduir la despesa energètica de sistema. En resum, en aquesta tesi s'analitzen els principals problemes derivats de l'ús de les GPUs com acceleradors de còmput, tant en entorns HPC com de Cloud Computing, i es demostra com a través de l'ús del framework rCUDA, aquests problemes poden solucionar-se. A més es desenvolupa un potent mecanisme de migració de treballs GPU, que integrat dins del framework rCUDA, esdevé una eina clau per als futurs planificadors de treballs en clústers heterogenis.[EN] In the last decade the use of GPGPU (General Purpose computing in Graphics Processing Units) has become extremely popular in data centers around the world. GPUs (Graphics Processing Units) have been established as computational accelerators that are used alongside CPUs to form heterogeneous systems. The massively parallel nature of GPUs, traditionally intended for graphics computing, allows to perform numerical operations with data arrays at high speed. This is achieved thanks to the large number of cores GPUs integrate and the large bandwidth of memory access. Consequently, applications of all kinds of fields, such as chemistry, physics, engineering, artificial intelligence, materials science, and so on, presenting this type of computational patterns are benefited by drastically reducing their execution time. In general, the use of computing acceleration provided by GPUs has meant a step forward and a revolution, but it is not without problems, such as energy efficiency problems, low utilization of GPUs, high acquisition and maintenance costs, etc. In this PhD thesis we aim to analyze the main shortcomings of these heterogeneous systems and propose solutions based on the use of remote GPU virtualization. To that end, we have used the rCUDA middleware, developed at Universitat Politècnica de València. Many publications support rCUDA as the most advanced remote GPU virtualization framework nowadays. The results obtained in this PhD thesis show that the use of rCUDA in Cloud Computing environments increases the degree of freedom of the system, as it allows to create virtual instances of the physical GPUs fully tailored to the needs of each of the virtual machines. In HPC (High Performance Computing) environments, rCUDA also provides a greater degree of flexibility in the use of GPUs throughout the computing cluster, as it allows the CPU part to be completely decoupled from the GPU part of the applications. In addition, GPUs can be on any node in the cluster, regardless of the node on which the CPU part of the application is running. In general, both for Cloud Computing and in the case of HPC, this greater degree of flexibility translates into an up to 2x increase in system-wide throughput while reducing energy consumption by approximately 15%. Finally, we have also developed a job migration mechanism for the GPU part of applications that has been integrated within the rCUDA middleware. This migration mechanism has been evaluated and the results clearly show that, in exchange for a small overhead of about 400 milliseconds in the execution time of the applications, it is a powerful tool with which, again, we can increase productivity and reduce energy foot print of the computing system. In summary, this PhD thesis analyzes the main problems arising from the use of GPUs as computing accelerators, both in HPC and Cloud Computing environments, and demonstrates how thanks to the use of the rCUDA middleware these problems can be addressed. In addition, a powerful GPU job migration mechanism is being developed, which, integrated within the rCUDA framework, becomes a key tool for future job schedulers in heterogeneous clusters.This work jointly supported by the Fundación Séneca (Agencia Regional de Ciencia y Tecnología, Región de Murcia) under grants (20524/PDC/18, 20813/PI/18 and 20988/PI/18) and by the Spanish MEC and European Commission FEDER under grants TIN2015-66972-C5-3-R, TIN2016-78799-P and CTQ2017-87974-R (AEI/FEDER, UE). We also thank NVIDIA for hardware donation under GPU Educational Center 2014-2016 and Research Center 2015-2016. The authors thankfully acknowledge the computer resources at CTE-POWER and the technical support provided by Barcelona Supercomputing Center - Centro Nacional de Supercomputación (RES-BCV-2018-3-0008). Furthermore, researchers from Universitat Politècnica de València are supported by the Generalitat Valenciana under Grant PROMETEO/2017/077. Authors are also grateful for the generous support provided by Mellanox Technologies Inc. Prof. Pradipta Purkayastha, from Department of Chemical Sciences, Indian Institute of Science Education and Research (IISER) Kolkata, is acknowledged for kindly providing the initial ligand and DNA structures.Prades Gasulla, J. (2021). Improving Performance and Energy Efficiency of Heterogeneous Systems with rCUDA [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/168081TESISCompendi

Aplicación de Inteligencia Artificial sobre infraestructuras IoT para automatizar y optimizar los procesos de agricultura intensiva en invernaderos.

La agenda de desarrollo sostenible (Sustainable Development Goals, SDG) de las Naciones Unidas establece una serie de objetivos con el fin de erradicar la pobreza, proteger el planeta y asegurar la prosperidad de sus ciudadanos. Entre estos objetivos se destacan: (6) “Garantizar la disponibilidad y la gestión sostenible del agua y el saneamiento para todos”, (13) “Adoptar medidas urgentes para combatir el cambio climático y sus efectos” y (15) “Proteger, restaurar y promover el uso sostenible de los ecosistemas terrestres, gestionar de forma sostenible los bosques, luchar contra la desertización, detener e invertir la degradación del suelo y frenar la pérdida de biodiversidad”. Los procesos industriales y, en concreto, los procesos de agricultura intensiva, son una de las principales amenazas para cumplir con los SDGs. Sin embargo, los avances tecnológicos en materias como la Inteligencia Artificial (Artificial Intelligence, AI), la Computación de Alto Rendimiento (High Performance Computing, HPC) o el Internet de las Cosas (Internet of Things, IoT) permiten aumentar la productividad de estos procesos reduciendo su impacto medioambiental y ecosistémico. La investigación desarrollada en la presente tesis doctoral pretende establecer un marco de trabajo donde aprovechar los avances tecnológicos desarrollados en estas disciplinas, es decir, AI, HPC e IoT, para optimizar y reducir el impacto de los procesos industriales más agresivos para el medioambiente. En concreto, esta tesis doctoral se desarrollará en el contexto de agricultura intensiva en invernaderos, un sector de un gran valor estratégico, comercial e incluso humanitario para garantizar el acceso a los alimentos a toda la humanidad, centrándose en tres puntos clave: (1) la generación de técnicas de AI de bajo consumo que puedan ser ejecutados en plataformas con reducidas capacidades de cómputo, tales como dispositivos IoT; (2) la creación de una infraestructura que permite entrenar, desplegar y predecir con técnicas de AI que requieren de grandes capacidades de cómputo en pequeños dispositivos IoT gracias a protocolos de comunicación en tiempo real como MQTT; y (3) el aumento de las capacidades de cómputo y la eficiencia energética de los dispositivos IoT gracias a la virtualización de GPUs remotas mediante rCUDA. Los principales resultados obtenidos en relación a lo expuesto anteriormente demuestran que (1) la intersección entre la AI, HPC e IoT es todavía muy incipiente. Las cargas de cómputo del aprendizaje máquina son cada vez más altas y se diverge cada vez más de los recursos computacionales disponibles en los dispositivos de cómputo más cercanos a la captura de datos, es decir, los dispositivos de Edge Computing. Estas plataformas no son computacionalmente capaces de desarrollar parte de las tareas más exigentes (como, por ejemplo, el entrenamiento de técnicas de AI), limitando el éxito de su aplicación; (2) se puede crear una infraestructura auxiliar que permita desarrollar predicciones en tiempo real en dispositivos IoT, aunque el intercambio de información entre los distintos nodos de la infraestructura conlleva una latencia asumible puesto que es muy reducida; y (3) es posible ampliar las capacidades computacionales y la eficiencia energética de los dispositivos IoT mediante el uso de técnicas de virtualización de GPUs remotas. Estas técnicas aumentan notablemente la eficiencia energética de estos dispositivos ya que se delega las operaciones de mayor carga computacional a los servidores remotos de cómputo. Si bien es cierto, el consumo total de la infraestructura aumenta notablemente a causa del gasto en comunicaciones entre los dispositivos edge y cloud. Para finalizar, destacar que la presente tesis se ha desarrollado en el proyecto retos-colaboración “Desarrollo de infraestructuras IoT de altas prestaciones contra el cambio climático basadas en inteligencia artificial” (GLOBALoT) con referencia RTC2019-007159-5, financiado por el Ministerio de Ciencia e Innovación / Agencia Estatal de Investigación, que tiene un marcado carácter tecnológico y, por tanto, se ha transferido el conocimiento obtenido, desarrollando un prototipo funcional en TRL 3-4 que ha sido desplegado en un entorno real de invernadero ofrecido por uno de los socios del proyecto, la empresa NUTRICONTROL. Los resultados obtenidos muestran un claro interés por esta tecnología, sentando las bases para automatizar y optimizar procesos mediante la Inteligencia Artificial de las Cosas (Artificial Intelligence of Things, AIoT) para aumentar la producción y reducir el impacto medioambiental en invernaderos inteligentes.Ingeniería, Industria y Construcció

Proyecto Docente e Investigador, Trabajo Original de Investigación y Presentación de la Defensa, preparado por Germán Moltó para concursar a la plaza de Catedrático de Universidad, concurso 082/22, plaza 6708, área de Ciencia de la Computación e Inteligencia Artificial

Este documento contiene el proyecto docente e investigador del candidato Germán Moltó Martínez presentado como requisito para el concurso de acceso a plazas de Cuerpos Docentes Universitarios. Concretamente, el documento se centra en el concurso para la plaza 6708 de Catedrático de Universidad en el área de Ciencia de la Computación en el Departamento de Sistemas Informáticos y Computación de la Universitat Politécnica de València. La plaza está adscrita a la Escola Técnica Superior d'Enginyeria Informàtica y tiene como perfil las asignaturas "Infraestructuras de Cloud Público" y "Estructuras de Datos y Algoritmos".También se incluye el Historial Académico, Docente e Investigador, así como la presentación usada durante la defensa.Germán Moltó Martínez (2022). Proyecto Docente e Investigador, Trabajo Original de Investigación y Presentación de la Defensa, preparado por Germán Moltó para concursar a la plaza de Catedrático de Universidad, concurso 082/22, plaza 6708, área de Ciencia de la Computación e Inteligencia Artificial. http://hdl.handle.net/10251/18903

Improving the performance of physics applications in atom-based clusters with rCUDA

[EN] Traditionally, High-Performance Computing (HPC) has been associated with large power requirements. The reason was that chip makers of the processors typically employed in HPC deployments have always focused on getting the highest performance from their designs, regardless of the energy their processors may consume. Actually, for many years only heat dissipation was the real barrier for achieving higher performance, at the cost of higher energy consumption. However, a new trend has recently appeared consisting on the use of low-power processors for HPC purposes. The MontBlanc and Isambard projects are good examples of this trend. These proposals, however, do not consider the use of GPUs. In this paper we propose to use GPUs in this kind of low-power processor based HPC deployments by making use of the remote GPU virtualization mechanism. To that end, we leverage the rCUDA middleware in a hybrid cluster composed of low-power Atom-based nodes and regular Xeon-based nodes equipped with GPUs. Our experiments show that, by making use of rCUDA, the execution time of applications belonging to the physics domain is noticeably reduced, achieving a speed up of up to 140x with just one remote NVIDIA V100 GPU with respect to the execution of the same applications using 8 Atom-based nodes. Additionally, a rough energy consumption estimation reports improvements in energy demands of up to 37x. (C) 2019 Elsevier Inc. All rights reserved.This work was funded by the Generalitat Valenciana, Spain under Grant PROMETEO/2017/077. Authors are also grateful for the generous support provided by Mellanox Technologies Inc.Silla, F.; Prades, J.; Baydal Cardona, ME.; Reaño, C. (2020). Improving the performance of physics applications in atom-based clusters with rCUDA. Journal of Parallel and Distributed Computing. 137:160-178. https://doi.org/10.1016/j.jpdc.2019.11.007S160178137R.E. Brown, E.R. Masanet, B. Nordman, W.F. Tschudi, A. Shehabi, J. Stanley, J.G. Koomey, D.A. Sartor, P.T. Chan, Report to congress on server and data center energy efficiency: public law 109-431, Berkeley, CA, 2008.G. Giunta, R. Montella, G. Agrillo, G. Coviello, A GPGPU transparent virtualization component for high performance computing clouds, in: Proc. of the Euro-Par Parallel Processing, Euro-Par, 2010, pp. 379–391.V. Gupta, A. Gavrilovska, K. Schwan, H. Kharche, N. Tolia, V. Talwar, P. Ranganathan, GViM: GPU-accelerated virtual machines, in: Proc. of the ACM Workshop on System-Level Virtualization for High Performance Computing, HPCVirt, 2009, pp. 17–24.J.A. Herdman, W.P. Gaudin, S. McIntosh-Smith, M. Boulton, D.A. Beckingsale, A.C. Mallinson, S.A. Jarvis, Accelerating hydrocodes with OpenACC, OpenCL and CUDA, in: 2012 SC Companion: High Performance Computing, Networking Storage and Analysis, 2012.Koomey, J. G. (2008). Worldwide electricity used in data centers. Environmental Research Letters, 3(3), 034008. doi:10.1088/1748-9326/3/3/034008T.Y. Liang, Y.W. Chang, GridCuda: A grid-enabled CUDA programming toolkit, in: Proc. of the IEEE Advanced Information Networking and Applications Workshops, WAINA, 2011, pp. 141–146.Maqbool, J., Oh, S., & Fox, G. C. (2015). Evaluating ARM HPC clusters for scientific workloads. Concurrency and Computation: Practice and Experience, 27(17), 5390-5410. doi:10.1002/cpe.3602M. Martineau, S. McIntosh-Smith, Exploring on-node parallelism with neutral, a Monte Carlo neutral particle transport mini-app, in: 2017 IEEE International Conference on Cluster Computing, CLUSTER, 2017.M. Martineau, S. McIntosh-Smith, The arch project: physics mini-apps for algorithmic exploration and evaluating programming environments on HPC architectures, in: 2017 IEEE International Conference on Cluster Computing, CLUSTER, 2017.M. Martineau, S. McIntosh-Smith, M. Boulton, W. Gaudin, An evaluation of emerging many-core parallel programming models, in: Proceedings of the 7th International Workshop on Programming Models and Applications for Multicores and Manycores, PMAM’16, 2016.M. Oikawa, A. Kawai, K. Nomura, K. Yasuoka, K. Yoshikawa, T. Narumi, DS-CUDA: A middleware to use many GPUs in the cloud environment, in: Proc. of the SC Companion: High Performance Computing, Networking Storage and Analysis, SCC, 2012, pp. 1207–1214.Prades, J., Reaño, C., & Silla, F. (2018). On the effect of using rCUDA to provide CUDA acceleration to Xen virtual machines. Cluster Computing, 22(1), 185-204. doi:10.1007/s10586-018-2845-0Prades, J., Varghese, B., Reaño, C., & Silla, F. (2017). Multi-tenant virtual GPUs for optimising performance of a financial risk application. Journal of Parallel and Distributed Computing, 108, 28-44. doi:10.1016/j.jpdc.2016.06.002N. Rajovic, et al. The Mont-Blanc prototype: an alternative approach for HPC systems, in: SC16: International Conference for High Performance Computing, Networking, Storage and Analysis, 2016, pp. 444–455.C. Reaño, F. Silla, A performance comparison of CUDA remote GPU virtualization frameworks, in: 2015 IEEE International Conference on Cluster Computing, 2015.C. Reaño, F. Silla, Extending rCUDA with support for P2P memory copies between remote GPUs, in: 2016 IEEE 18th International Conference on High Performance Computing and Communications; IEEE 14th International Conference on Smart City; IEEE 2nd International Conference on Data Science and Systems, HPCC/SmartCity/DSS, 2016.C. Reaño, F. Silla, J. Duato, Enhancing the rCUDA remote GPU virtualization framework: From a prototype to a production solution, in: Proceedings of the 17th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, CCGrid ’17, 2017.C. Reaño, F. Silla, G. Shainer, S. Schultz, Local and remote GPUs perform similar with EDR 100G InfiniBand, in: Proceedings of the Industrial Track of the 16th International Middleware Conference, Middleware Industry ’15, 2015.A. Selinger, K. Rupp, S. Selberherr, Evaluation of mobile ARM-based SoCs for high performance computing, in: Proceedings of the 24th High Performance Computing Symposium, HPC ’16, 2016, pp. 21:1–21:7.L. Shi, H. Chen, J. Sun, vCUDA: GPU accelerated high performance computing in virtual machines, in: Proc. of the IEEE Parallel and Distributed Processing Symposium, IPDPS, 2009, pp. 1–11.F. Silla, J. Prades, S. Iserte, C. Reaño, Remote GPU virtualization: is it useful?, in: 2016 2nd IEEE International Workshop on High-Performance Interconnection Networks in the Exascale and Big-Data Era, HiPINEB, 2016.F. Silla, J. Prades, C. Reaño, Leveraging rCUDA for enhancing low-power deployments in the physics domain, in: Proceedings of the 47th International Conference on Parallel Processing Companion, ICPP ’18, 2018