Elastic, Interoperable and Container-based Cloud Infrastructures for High Performance Computing

Tesis por compendio[ES] Las aplicaciones científicas implican generalmente una carga computacional variable y no predecible a la que las instituciones deben hacer frente variando dinámicamente la asignación de recursos en función de las distintas necesidades computacionales. Las aplicaciones científicas pueden necesitar grandes requisitos. Por ejemplo, una gran cantidad de recursos computacionales para el procesado de numerosos trabajos independientes (High Throughput Computing o HTC) o recursos de alto rendimiento para la resolución de un problema individual (High Performance Computing o HPC). Los recursos computacionales necesarios en este tipo de aplicaciones suelen acarrear un coste muy alto que puede exceder la disponibilidad de los recursos de la institución o estos pueden no adaptarse correctamente a las necesidades de las aplicaciones científicas, especialmente en el caso de infraestructuras preparadas para la ejecución de aplicaciones de HPC. De hecho, es posible que las diferentes partes de una aplicación necesiten distintos tipos de recursos computacionales. Actualmente las plataformas de servicios en la nube se han convertido en una solución eficiente para satisfacer la demanda de las aplicaciones HTC, ya que proporcionan un abanico de recursos computacionales accesibles bajo demanda. Por esta razón, se ha producido un incremento en la cantidad de clouds híbridos, los cuales son una combinación de infraestructuras alojadas en servicios en la nube y en las propias instituciones (on-premise). Dado que las aplicaciones pueden ser procesadas en distintas infraestructuras, actualmente la portabilidad de las aplicaciones se ha convertido en un aspecto clave. Probablemente, las tecnologías de contenedores son la tecnología más popular para la entrega de aplicaciones gracias a que permiten reproducibilidad, trazabilidad, versionado, aislamiento y portabilidad. El objetivo de la tesis es proporcionar una arquitectura y una serie de servicios para proveer infraestructuras elásticas híbridas de procesamiento que puedan dar respuesta a las diferentes cargas de trabajo. Para ello, se ha considerado la utilización de elasticidad vertical y horizontal desarrollando una prueba de concepto para proporcionar elasticidad vertical y se ha diseñado una arquitectura cloud elástica de procesamiento de Análisis de Datos. Después, se ha trabajo en una arquitectura cloud de recursos heterogéneos de procesamiento de imágenes médicas que proporciona distintas colas de procesamiento para trabajos con diferentes requisitos. Esta arquitectura ha estado enmarcada en una colaboración con la empresa QUIBIM. En la última parte de la tesis, se ha evolucionado esta arquitectura para diseñar e implementar un cloud elástico, multi-site y multi-tenant para el procesamiento de imágenes médicas en el marco del proyecto europeo PRIMAGE. Esta arquitectura utiliza un almacenamiento distribuido integrando servicios externos para la autenticación y la autorización basados en OpenID Connect (OIDC). Para ello, se ha desarrollado la herramienta kube-authorizer que, de manera automatizada y a partir de la información obtenida en el proceso de autenticación, proporciona el control de acceso a los recursos de la infraestructura de procesamiento mediante la creación de las políticas y roles. Finalmente, se ha desarrollado otra herramienta, hpc-connector, que permite la integración de infraestructuras de procesamiento HPC en infraestructuras cloud sin necesitar realizar cambios en la infraestructura HPC ni en la arquitectura cloud. Cabe destacar que, durante la realización de esta tesis, se han utilizado distintas tecnologías de gestión de trabajos y de contenedores de código abierto, se han desarrollado herramientas y componentes de código abierto y se han implementado recetas para la configuración automatizada de las distintas arquitecturas diseñadas desde la perspectiva DevOps.[CA] Les aplicacions científiques impliquen generalment una càrrega computacional variable i no predictible a què les institucions han de fer front variant dinàmicament l'assignació de recursos en funció de les diferents necessitats computacionals. Les aplicacions científiques poden necessitar grans requisits. Per exemple, una gran quantitat de recursos computacionals per al processament de nombrosos treballs independents (High Throughput Computing o HTC) o recursos d'alt rendiment per a la resolució d'un problema individual (High Performance Computing o HPC). Els recursos computacionals necessaris en aquest tipus d'aplicacions solen comportar un cost molt elevat que pot excedir la disponibilitat dels recursos de la institució o aquests poden no adaptar-se correctament a les necessitats de les aplicacions científiques, especialment en el cas d'infraestructures preparades per a l'avaluació d'aplicacions d'HPC. De fet, és possible que les diferents parts d'una aplicació necessiten diferents tipus de recursos computacionals. Actualment les plataformes de servicis al núvol han esdevingut una solució eficient per satisfer la demanda de les aplicacions HTC, ja que proporcionen un ventall de recursos computacionals accessibles a demanda. Per aquest motiu, s'ha produït un increment de la quantitat de clouds híbrids, els quals són una combinació d'infraestructures allotjades a servicis en el núvol i a les mateixes institucions (on-premise). Donat que les aplicacions poden ser processades en diferents infraestructures, actualment la portabilitat de les aplicacions s'ha convertit en un aspecte clau. Probablement, les tecnologies de contenidors són la tecnologia més popular per a l'entrega d'aplicacions gràcies al fet que permeten reproductibilitat, traçabilitat, versionat, aïllament i portabilitat. L'objectiu de la tesi és proporcionar una arquitectura i una sèrie de servicis per proveir infraestructures elàstiques híbrides de processament que puguen donar resposta a les diferents càrregues de treball. Per a això, s'ha considerat la utilització d'elasticitat vertical i horitzontal desenvolupant una prova de concepte per proporcionar elasticitat vertical i s'ha dissenyat una arquitectura cloud elàstica de processament d'Anàlisi de Dades. Després, s'ha treballat en una arquitectura cloud de recursos heterogenis de processament d'imatges mèdiques que proporciona distintes cues de processament per a treballs amb diferents requisits. Aquesta arquitectura ha estat emmarcada en una col·laboració amb l'empresa QUIBIM. En l'última part de la tesi, s'ha evolucionat aquesta arquitectura per dissenyar i implementar un cloud elàstic, multi-site i multi-tenant per al processament d'imatges mèdiques en el marc del projecte europeu PRIMAGE. Aquesta arquitectura utilitza un emmagatzemament integrant servicis externs per a l'autenticació i autorització basats en OpenID Connect (OIDC). Per a això, s'ha desenvolupat la ferramenta kube-authorizer que, de manera automatitzada i a partir de la informació obtinguda en el procés d'autenticació, proporciona el control d'accés als recursos de la infraestructura de processament mitjançant la creació de les polítiques i rols. Finalment, s'ha desenvolupat una altra ferramenta, hpc-connector, que permet la integració d'infraestructures de processament HPC en infraestructures cloud sense necessitat de realitzar canvis en la infraestructura HPC ni en l'arquitectura cloud. Es pot destacar que, durant la realització d'aquesta tesi, s'han utilitzat diferents tecnologies de gestió de treballs i de contenidors de codi obert, s'han desenvolupat ferramentes i components de codi obert, i s'han implementat receptes per a la configuració automatitzada de les distintes arquitectures dissenyades des de la perspectiva DevOps.[EN] Scientific applications generally imply a variable and an unpredictable computational workload that institutions must address by dynamically adjusting the allocation of resources to their different computational needs. Scientific applications could require a high capacity, e.g. the concurrent usage of computational resources for processing several independent jobs (High Throughput Computing or HTC) or a high capability by means of using high-performance resources for solving complex problems (High Performance Computing or HPC). The computational resources required in this type of applications usually have a very high cost that may exceed the availability of the institution's resources or they are may not be successfully adapted to the scientific applications, especially in the case of infrastructures prepared for the execution of HPC applications. Indeed, it is possible that the different parts that compose an application require different type of computational resources. Nowadays, cloud service platforms have become an efficient solution to meet the need of HTC applications as they provide a wide range of computing resources accessible on demand. For this reason, the number of hybrid computational infrastructures has increased during the last years. The hybrid computation infrastructures are the combination of infrastructures hosted in cloud platforms and the computation resources hosted in the institutions, which are named on-premise infrastructures. As scientific applications can be processed on different infrastructures, the application delivery has become a key issue. Nowadays, containers are probably the most popular technology for application delivery as they ease reproducibility, traceability, versioning, isolation, and portability. The main objective of this thesis is to provide an architecture and a set of services to build up hybrid processing infrastructures that fit the need of different workloads. Hence, the thesis considered aspects such as elasticity and federation. The use of vertical and horizontal elasticity by developing a proof of concept to provide vertical elasticity on top of an elastic cloud architecture for data analytics. Afterwards, an elastic cloud architecture comprising heterogeneous computational resources has been implemented for medical imaging processing using multiple processing queues for jobs with different requirements. The development of this architecture has been framed in a collaboration with a company called QUIBIM. In the last part of the thesis, the previous work has been evolved to design and implement an elastic, multi-site and multi-tenant cloud architecture for medical image processing has been designed in the framework of a European project PRIMAGE. This architecture uses a storage integrating external services for the authentication and authorization based on OpenID Connect (OIDC). The tool kube-authorizer has been developed to provide access control to the resources of the processing infrastructure in an automatic way from the information obtained in the authentication process, by creating policies and roles. Finally, another tool, hpc-connector, has been developed to enable the integration of HPC processing infrastructures into cloud infrastructures without requiring modifications in both infrastructures, cloud and HPC. It should be noted that, during the realization of this thesis, different contributions to open source container and job management technologies have been performed by developing open source tools and components and configuration recipes for the automated configuration of the different architectures designed from the DevOps perspective. The results obtained support the feasibility of the vertical elasticity combined with the horizontal elasticity to implement QoS policies based on a deadline, as well as the feasibility of the federated authentication model to combine public and on-premise clouds.López Huguet, S. (2021). Elastic, Interoperable and Container-based Cloud Infrastructures for High Performance Computing [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/172327TESISCompendi

Vertical Elasticity on Marathon and Chronos Mesos frameworks

[EN] Marathon and Chronos are two popular Mesos frameworks that are widely used for deploying fault-tolerant services and periodic batch jobs. Marathon and Chronos provide by design mechanisms for horizontal elasticity, scaling up and down the number of job and service instances. Horizontal elasticity is appropriate when the problems that are solved are inherently parallel. However, when the problem cannot benefit from an increase of the amount of resources, vertical elasticity must be considered. This work implements on top of Marathon and Chronos Mesos frameworks, a mechanism to vary the resources associated to an executor dynamically, according to its progress and considering specific Quality of Service (QoS). The mechanism developed provides a wrapper executable and a service that takes the decision of increasing or decreasing the resources allocated to different Chronos iterations or a long-living Marathon application. The mechanism makes use of checkpointing techniques to preserve the execution of Marathon applications and leverages OpenStack Monasca for the monitoring. \footnote{The work in this article has been funded by projects BIGCLOE and EUBra-BIGSEA, BIGLOE is funded by the Spanish ``Ministerio de Econom\'ia, Industria y Competitividad" with reference number TIN2016-79951-R and EUBra-BIGSEA is funded jointly by the European Commission under the Cooperation Programme, Horizon 2020 grant agreement No 690116 and the Brazilian Ministério de Ciência, Tecnologia e Inovação (MCTI).The work in this article has been funded by projects BIGCLOE and EUBra BIGSEA, BIGLOE is funded by the Spanish "Ministerio de Economia, Industria y Competitividad" with reference number TIN2016-79951-R and EUBra-BIGSEA is funded jointly by the European Commission under the Cooperation Programme, Horizon 2020 grant agreement No 690116 and the Brazilian Ministerio de Ciencia, Tecnologia e Inovacao (MCTI).López-Huguet, S.; Natanael, I.; Brito, A.; Blanquer Espert, I. (2019). Vertical Elasticity on Marathon and Chronos Mesos frameworks. Journal of Parallel and Distributed Computing. 133:179-192. https://doi.org/10.1016/j.jpdc.2019.01.002S17919213

Gestión elástica en la nube de recursos computacionales para actividades docentes: caso de uso en el Diseño de Sistemas Digitales

Hoy en día, los entornos computaciones son clave en las titulaciones STEM, dado que mejoran significativamente sus procesos de enseñanza-aprendizaje. Por ello, las universidades buscan la racionalización de las infraestructuras de cómputo que dan soporte a dichos entornos, con el objetivo de abaratar su coste (adquisición y mantenimiento). En este sentido, la nube está empujando a las universidades a moverse hacia un modelo de “pago por uso” de las infraestructuras, por lo que se requieren nuevos e innovadores servicios que gestionen dicho modelo de forma eficiente. En este artículo se presenta el recurso docente Cluster Elasticity Manager (CEM) cuyo fin es gestionar eficientemente en la nube las infraestructuras que dan soporte a entornos computacionales en actividades educativas que necesitan de elasticidad. Para el diseño de dicho recurso, se ha tomado como punto de partida un escenario de referencia donde se desarrollan actividades educativas diseñadas para formar alumnos en el Diseño de Sistemas Digitales. Finalmente, se presenta un análisis de tiempos en el despliegue de los entornos computacionales requeridos en el escenario de referencia planteado a través de CEM.Nowadays, computing environments are key in STEM degrees, since they significantly improve their teaching-learning processes. For that, universities seek to rationalize the computing infrastructures that support these environments, with the aim of lowering their cost (acquisition and maintenance). In this sense, the cloud is pushing universities towards a “pay-per-us” model of infrastructures, which is why new and innovative services are required to manage this model efficiently. This article presents the teaching resource Cluster Elasticity Manager (CEM), which objective is to efficiently manage in the cloud the elastic infrastructures that support computer environments in educational activities. For the design of this resource, a reference scenario has been analysed as a starting point, where educational activities designed to train students in the Design of Digital Systems are performed. Finally, an analysis of time is presented in the deployment of the computational environments required in the reference scenario proposed through CEM.Los autores agradecen este trabajo por la financiación recibida por el Vicerrectorado de Estudios, Calidad y Acreditación de la Universitat Politècnica de València (UPV) para desarrollar el Proyecto de Innovación y Mejora Educativa (PIME) “Comunidades de Aprendizaje como servicios en la nube para el desarrollo y evaluación automática de Competencias Transversales y Objetivos Formativos específicos”, con referencia B29

UVaFTLE: Lagrangian finite time Lyapunov exponent extraction for fluid dynamic applications

Producción CientíficaThe determination of Lagrangian Coherent Structures (LCS) is becoming very important in several disciplines, including cardiovascular engineering, aerodynam- ics, and geophysical fluid dynamics. From the computational point of view, the extraction of LCS consists of two main steps: The flowmap computation and the resolution of Finite Time Lyapunov Exponents (FTLE). In this work, we focus on the design, implementation, and parallelization of the FTLE resolution. We offer an in-depth analysis of this procedure, as well as an open source C implementation (UVaFTLE) parallelized using OpenMP directives to attain a fair parallel efficiency in shared-memory environments. We have also implemented CUDA kernels that allow UVaFTLE to leverage as many NVIDIA GPU devices as desired in order to reach the best parallel efficiency. For the sake of reproducibility and in order to con- tribute to open science, our code is publicly available through GitHub. Moreover, we also provide Docker containers to ease its usage.Ministerio de Economía, Industria y Competitividad, Consejo Asesor de Educación de Castilla y León y Programas del Fondo de Desarrollo (FEDER): Proyecto PCAS (TIN2017-88614-R) y Proyecto PROPHET-2 (VA226P20).Ministerio de Ciencia e Innovación, Agencia Estatal de Investigación y “European Union NextGenerationEU/PRTR” : (MCIN/ AEI/10.13039/501100011033) - (grant TED2021-130367B-I00)Junta de Castilla y León (project VA182P20)Red Española de Supercomputación (RES) (projects IM-2022-2-0015 and IM-2022-3-0021)Publicación en abierto financiada por el Consorcio de Bibliotecas Universitarias de Castilla y León (BUCLE), con cargo al Programa Operativo 2014ES16RFOP009 FEDER 2014-2020 DE CASTILLA Y LEÓN, Actuación:20007-CL - Apoyo Consorcio BUCL

A Self-managed Mesos Cluster for Data Analytics with QoS Guarantees

[EN] This article describes the development of an automated configuration of a software platform for Data Analytics that supports horizontal and vertical elasticity to guarantee meeting a specific deadline. It specifies all the components, software dependencies and configurations required to build up the cluster, and analyses the deployment times of different instances, as well as the horizontal and vertical elasticity. The approach followed builds up self-managed hybrid clusters that can deal with different workloads and network requirements. The article describes the structure of the recipes, points out to public repositories where the code is available and discusses the limitations of the approach as well as the results of several experiments.The work presented in this article has been partially funded by a research grant from the regional government of the Comunitat Valenciana (Spain), co-funded by the European Union ERDF funds (European Regional Development Fund) of the Comunitat Valenciana 2014-2020, with reference IDIFEDER/2018/032 (High-Performance Algorithms for the Modelling, Simulation and early Detection of diseases in Personalized Medicine). The authors would also like to thank the Spanish "Ministerio de Economia, Industria y Competitividad" for the project "BigCLOE" with reference number TIN2016-79951-R.López-Huguet, S.; Pérez-González, AM.; Calatrava Arroyo, A.; Alfonso Laguna, CD.; Caballer Fernández, M.; Moltó, G.; Blanquer Espert, I. (2019). A Self-managed Mesos Cluster for Data Analytics with QoS Guarantees. Future Generation Computer Systems. 96:449-461. https://doi.org/10.1016/j.future.2019.02.047S4494619

The neandertal group of El Sidrón Cave (Piloña. Asturias. Spain)

572 pp.[EN] From the results obtained we verify that the conjectural late Roman form *situlone, linked to the water, prove the El Sidrón place name, and show that a Neandertal group cannibalised other group make up at least by 13 individuals linked and the fossil remains and the lithic artefacts used were settled in some passage or upper gallery of the karstic system. Few time after the cannibalisation, a high energy process have introduced very quickly those remains being captured in the speleothems of a little gallery. 49 000 years BP ago some classic Neandertals wandered through the actually named concejo of Piloña offering a really interesting information, someone pioneer, in different palaeobiological, paleogenomic, and cultural matters, that offers a more complex and updated vision of that specie. Somebody were redhead, they lived in a smoky atmosphere, they medicate, they have congenital anomalies, they were 1,64 m tall in average, they had a mixed meat and vegetal diet, knap their artefacts with a local flint and, among many other things, they hybridize with Homo sapiens in the Near East.[ES] A partir de los resultados obtenidos comprobamos que la forma conjetural tardorromana *situlone, vinculada al agua, justifica el topónimo El Sidrón. Dichos resultados muestran que un grupo neandertal canibalizó a otro grupo compuesto al menos por 13 individuos emparentados y los restos óseos e instrumentos líticos utilizados se depositaron en algún conducto o galería superior del sistema kárstico. Habiendo pasado muy poco tiempo tras dicha canibalización, un proceso de alta energía introdujo a toda velocidad esos materiales, que permanecieron atrapados entre los espeleotemas de una pequeña galería. Hace unos 49 000 años antes del presente, deambulaban unos neandertales clásicos por el hoy llamado concejo de Piloña, que nos han brindado una muy interesante información, alguna pionera, en diferentes aspectos paleobiológicos, paleogenómicos y culturales, que ofrece una visión renovada y más completa de esta especie. Algunos eran pelirrojos, vivían en un ambiente de humo, se medicaban, tenían varias anomalías congénitas, medían 1,64 m de media, tenían una dieta mixta cárnica y vegetal, tallaban sus herramientas con un sílex local y, entre otras muchas cosas, se hibridaron con la especie Homo Sapiens en Próximo Oriente.Peer reviewe

El grupu neandertal de la Cueva d'El Sidrón (Borines, Piloña).

Na monografía clásica de Puig y Larraz (1896: 250-252) amiéntense delles cavidaes del Conceyu de Piloña2 , pero non la Cueva d’El Sidrón (Fig. 1). Esta conocíase, ensin dulda, dende la Guerra Civil y el maquis al servir d’abellugu a persiguíos políticos, y guarda una alcordanza imborrable nuna de les sos múltiples entraes, yá qu’ellí ta enterrada Olvido Otero González (1908-1938). Per El Sidrón pasaron munches persones a lo llargo de los años, pero en 1994 prodúxose’l descubrimientu per parte d’unos espeleólogos xixoneses d’unos güesos humanos que dieron un importante xiru a la conocencia de los nuesos antepasaos neandertale

El grupu neandertal de la Cueva d' El Sidrón (Borines, Piloña)

El artículo está en la lengua asturianaPeer reviewe

Water, El Sidrón Cave (Piloña, Asturias, Spain) and the Neandertal species

En el singular yacimiento de El Sidrón se han producido una impactante serie de acontecimientos relacionados con las actividades y comportamientos de la especie neandertal, integradas en unos procesos del medio físico peculiares, sazonadas con la proximidad de la mejor materia prima silícea asturiana, y con un peculiar encadenamiento de situaciones expeditivas y rápidas. Todo ello integrado en una investigación interdisciplinar.At the unique site of El Sidrón there have been an impressive series of events related to the activities and behaviors of the Neandertal species, integrated into peculiar environmental processes, seasoned with the proximity of the best Asturian siliceous raw material, and with a peculiar chain of expeditious and fast situations. All this integrated into an interdisciplinary investigation

El barranc de la Boella de la Canonja (Tarragonès) revisitat en la intervenció arqueològica preventiva de l'any 2007

El barranc de la Boella de la Canonja és un jaciment descobert en el primer terç del segle XX. Cinquanta anys després de la seva descoberta, la publicació d'aquest jaciment pels senyors R. Capdevila i S. Vilaseca va permetre actualitzar l'escàs coneixement de la bioestratigrafia del quaternari del Camp de Tarragona (Vilaseca, 1973). Tal com assenyala el mateix S. Vilaseca, la presència de fòssils de mamífers en el barranc va ser donada a conèixer per J. R. Bataller en la memòria explicativa del segon mapa geològic del full 473 de l'IGME corresponent a Tarragona (Bataller, 1935). El mateix S. Vilaseca apunta altres descobertes de mamífers ressenyades en el Camp de Tarragona, com la nota de Faura i Sans sobre un fragment de molar de proboscidi que Harlé determinaria com Elephas meridionalis el mateix any (Faura i Sans, 1920; Harlé, 1920). Aquesta resta va ser enviada per A. Romaní, aleshores director del Museu Balaguer de Vilanova i la Geltrú, a qui li van fer arribar des d'unes pedreres del Port de Tarragona. Els treballs geològics de M. Faura i Sans, J.R. Bataller i S. Vilaseca durant el primer quart del segle XX protagonitzaren el desenvolupament de la geologia, la paleontologia i la prehistòria en el marc del Servei del Mapa de la Mancomunitat de Catalunya