Distributed Late-binding Micro-scheduling and Data Caching for Data-Intensive Workflows

Tesis inédita de la Universidad Complutense de Madrid, Facultad de Informática, Departamento de Arquitectura de Computadores y Automática, leída el 06-07-2015El mundo de hoy en día se encuentra inundado por ingentes cantidades de información digital procedente de muy diversas fuentes. Todo apunta, además, a que esta tendencia se agudizará en el futuro. Ni la industria, ni la sociedad en general, ni, muy particularmente, la ciencia, permanecen indiferentes ante este hecho. Al contrario, se esfuerzan por obtener el máximo provecho de esta información, lo que significa que deben capturarla, transferirla, almacenarla y procesarla puntual y eficientemente, utilizando una amplia gama de recursos computacionales. Pero esta tarea no es siempre sencilla. Un ejemplo representativo de los desafíos que suponen el manejo y procesamiento de grandes cantidades de datos es el de los experimentos de física de partículas del Large Hadron Collider (LHC), en Ginebra, que cada año deben gestionar decenas de petabytes de información. Basándonos en la experiencia de una de estas colaboraciones, hemos estudiado los principales problemas relativos a la gestión de volúmenes de datos masivos y a la ejecución de vastos flujos de trabajo que necesitan consumirlos. En este contexto, hemos desarrollado una arquitectura de propósito general para la planificación y ejecución de flujos de trabajo con importantes requisitos de datos, que hemos llamado Task Queue. Este nuevo sistema aprovecha el modelo de asignación tardía basado en agentes que ha ayudado a los experimentos del LHC a superar los problemas asociados con la heterogeneidad y la complejidad de las grandes infraestructuras grid de computación. Nuestra propuesta presenta varias mejoras con respecto a los sistemas existentes. Los agentes de ejecución de la arquitectura Task Queue comparten una tabla hash distribuida (Distributed Hash Table, DHT) y realizan la asignación de tareas de una manera cooperativa. De esta forma, se evitan los problemas de escalabilidad de los algoritmos centralizados de asignación y se mejoran los tiempos de ejecución. Esta escalabilidad nos permite realizar una microplanificación de grano fino lo cual posibilita nuevas funcionalidades, como la implementación de una cache distribuida en los nodos de ejecución y el uso de la información de ubicación de los datos en las decisiones de asignación de tareas. Esto mejora la eficiencia del procesado de datos y ayuda a aliviar los habitualmente congestionados servicios de almacenamiento del grid. Además, nuestro sistema es más robusto frente a problemas en la interacción con la cola central de tareas y ofrece mejor comportamiento en situaciones con patrones de acceso a datos exigentes o en ausencia de servicios de almacenamiento locales. Todo esto ha sido demostrado en una amplia serie de pruebas de evaluación. Dado que nuestro procedimiento de planificación de tareas distribuido requiere el uso de mensajes de broadcast, también hemos realizado un profundo estudio de las posibles aproximaciones a la implementación de esta operación sobre el DHT Kademlia, el cual es utilizado para la cache de datos compartida. Kademlia ofrece enrutamiento a nodos individuales pero no incluye ninguna primitiva de broadcast. Nuestro trabajo expone las peculiaridades de este sistema, particularmente su métrica basada en la operación XOR, y estudia analíticamente qué técnicas de broadcast pueden ser usadas con él. También se ha desarrollado un modelo que estima la cobertura de nodos en función de la probabilidad que cada mensaje individual alcance su destino correctamente. Como validación, los algoritmos se han implementado y se han evaluado exhaustivamente. Además, proponemos varias técnicas para mejorar los protocolos en situaciones adversas, por ejemplo cuando el sistema presenta una alta rotación de nodos o la tasa de error en las entregas no es despreciable. Esta técnicas incluyen redundancia, reenvío e inundación (flooding), así como combinaciones de las mismas. Presentamos un análisis de las fortalezas y debilidades de los diferentes algoritmos y las mencionadas técnicas complementarias.Depto. de Arquitectura de Computadores y AutomáticaFac. de InformáticaTRUEunpu

Distributed scheduling and data sharing in late-binding overlays

Pull-based late-binding overlays are used in some of today’s largest computational grids. Job agents are submitted to resources with the duty of retrieving real workload from a central queue at runtime. This helps overcome the problems of these very complex environments, namely, heterogeneity, imprecise status information and relatively high failure rates. In addition, the late job assignment allows dynamic adaptation to changes in the grid conditions or user priorities. However, as the scale grows, the central assignment queue may become a bottleneck for the whole system. This article presents a distributed scheduling architecture for late-binding overlays, which addresses these scalability issues. Our system lets execution nodes build a distributed hash table and delegates job matching and assignment to them. This reduces the load on the central server and makes the system much more scalable and robust. Moreover, scalability makes fine-grained scheduling possible, and enables new functionalities like the implementation of a distributed data cache on the execution nodes, which helps alleviate the commonly congested grid storage services

CMS workflow execution using intelligent job scheduling and data access strategies

Complex scientific workflows can process large amounts of data using thousands of tasks. The turnaround times of these workflows are often affected by various latencies such as the resource discovery, scheduling and data access latencies for the individual workflow processes or actors. Minimizing these latencies will improve the overall execution time of a workflow and thus lead to a more efficient and robust processing environment. In this paper, we propose a pilot job concept that has intelligent data reuse and job execution strategies to minimize the scheduling, queuing, execution and data access latencies. The results have shown that significant improvements in the overall turnaround time of a workflow can be achieved with this approach. The proposed approach has been evaluated, first using the CMS Tier0 data processing workflow, and then simulating the workflows to evaluate its effectiveness in a controlled environment. © 2011 IEEE

CSA06 Computing, Software and Analysis challenge at the Spanish Tier-1 and Tier-2 sites

This note describes the participation of the Spanish centres PIC, CIEMAT and IFCA as Tier-1 and Tier-2 sites in the CMS CSA06 Computing, Software and Analysis challenge. A number of the facilities, services and workflows have been demonstrated at the 2008 25% scale. Very valuable experience has been gained running the complex computing system under realistic conditions at a significant scale. The focus of this note is on presenting achieved results, operational experience and lessons learnt during the challenge

Revista de Vertebrados de la Estación Biológica de Doñana

Página 298 con error de impresiónEstudio cariológico en dos especies de Serránidos del Mediterráneo (Peces: PerciformesRelaciones morfométricas de Atherina boyeri Risso (Pisces: Atherinidae) de la laguna de Zoñar (Córdoba, España)Contribución al conocimiento de la biometríay osteología de Barbus barbus bocagei, Steindachner, 1866 (Pisces: CyprinidaeLa actividad de la salamandra, Salamandra salamandra (L.), en Galicia.Estudios sobre el sapo corredor (Bufo calamita) en el Sur de España.1. BiometríaEstudios sobre el sapo corredor (Bufo calamita) en el Sur de España. II. AlimentaciónBiología de la reproducción de Rana iberica Boulenger 1879 en zonas simpátridas con Rana temporaria Linneo, 1758Nuevos datos sobre la distribución geográfica de Lacerta monticola cantabrica Mertens, 1929. (Sauria, lacertidae).Datos sobre Lacerta monticola Boulenger, 1905 (Saurio: lacertidae)en el oeste del Sistema Central.Nueva especie de Anolis (lacertilia, Iguanidae) para CubaEtograma cuantificado del cortejo en Falco naumannOntogénesis del comportamiento predador en Falco naumanniContaminación xenobiótica del Parque Nacional de Doñana. 1. Residuos de insecticidas organoclorados, bifenilos policlorados y mercurio en anseriformes y gruiformesReproducción del críalo (Clamator glandarius) en Sierra Morena CentraNidificación de Picus viridis en taludes de arcilla en Ramblas de Guadix (Granada)Comportamiento del calamón Porphyrio porphyrio (Linnaeus, 1758) en Doñana, Marismas del GuadalquiviBiología y ecología de la malvasía (Oxyura leucocephala) en Andalucía.On the differential diet of Carnivora in islands:a method for analysing it and a particular case.Notas sobre la distribución pasada y actual del meloncillo Herpestes ichneumon (L.) en la Península IbéricaEstructuración de las interacciones en una camada de lobos (Canís lupus)Nuevos datos sobre la distribución del Cottus gobio L. (pisces, cottidae) en EspañaSobre la alimentación de Callopistes maculatus (Reptilia,teiidaeObservación de Lacerta lepida depredando un nido de Alectoris rufaNueva cita del galápago leproso Mauremys leprosa (Scheigger, 1812) en los pirineosPrimera cita de Psammodromus hispanicus (Fitzinger) para GaliciaSobre la presencia de Gallotia (=Lacerta) atlantica (Peters y Doria, 1882) en Gran CanariaNota sobre las Lacerta monticola Boulenger, 1905 de las zonas del norte de GaliciaPrimeras notas herpetológicas de la provincia de Soria.Datos sobre selección de hábitat y ecología alimenticia del porrón pardo (Aythya nyroca)Probable nueva área de cría del pechiazul (Luscinia svecica cyanecula) en el sistema central. PerisPredación de Falco peregrinus y Falco subbuteo sobre quirópterosResultados de la producción de Oxyura leucocephala en el año 1981 en las lagunas de Zóñar y el rincónAnálisis de la dieta de Tyto alba en un medio árido antropógeno de los alrededores de Almería¿Son Eudocimus ruber y E. albus distintas especies?EL Estornino pinto (Sturnus vulgaris) en Canarias: nueva especie nidifiante en el archipiélagoDatos sobre la alimentación otoñal del cárabo (Strix aluco) en la sierra de CádizObservación primaveral de rapaces y otras aves en el páramo del estado de Mérida (Venezuela).Murciélago hematófago (Desmodus rotundus) parasitando a un chigüire (Hidrochoerus hydrochaeris)Observaciones sobre la reproducción del zacatuche o teporinho Romerolagus diazi (Mammalia: lagomorpha)Estudio electroforético de hemoglobinas y esterasas sanguíneas en Rhinolophus ferrumequinum (Chiroptera: rhinolophidae) y de hemoglobinas en Tadaria taeniotis (chiroptera: molossidae)Peer reviewe

A Roadmap for HEP Software and Computing R&D for the 2020s

Particle physics has an ambitious and broad experimental programme for the coming decades. This programme requires large investments in detector hardware, either to build new facilities and experiments, or to upgrade existing ones. Similarly, it requires commensurate investment in the R&D of software to acquire, manage, process, and analyse the shear amounts of data to be recorded. In planning for the HL-LHC in particular, it is critical that all of the collaborating stakeholders agree on the software goals and priorities, and that the efforts complement each other. In this spirit, this white paper describes the R&D activities required to prepare for this software upgrade.Peer reviewe

Penilaian Kinerja Keuangan Koperasi di Kabupaten Pelalawan

This paper describe development and financial performance of cooperative in District Pelalawan among 2007 - 2008. Studies on primary and secondary cooperative in 12 sub-districts. Method in this stady use performance measuring of productivity, efficiency, growth, liquidity, and solvability of cooperative. Productivity of cooperative in Pelalawan was highly but efficiency still low. Profit and income were highly, even liquidity of cooperative very high, and solvability was good

Juxtaposing BTE and ATE – on the role of the European insurance industry in funding civil litigation

One of the ways in which legal services are financed, and indeed shaped, is through private insurance arrangement. Two contrasting types of legal expenses insurance contracts (LEI) seem to dominate in Europe: before the event (BTE) and after the event (ATE) legal expenses insurance. Notwithstanding institutional differences between different legal systems, BTE and ATE insurance arrangements may be instrumental if government policy is geared towards strengthening a market-oriented system of financing access to justice for individuals and business. At the same time, emphasizing the role of a private industry as a keeper of the gates to justice raises issues of accountability and transparency, not readily reconcilable with demands of competition. Moreover, multiple actors (clients, lawyers, courts, insurers) are involved, causing behavioural dynamics which are not easily predicted or influenced. Against this background, this paper looks into BTE and ATE arrangements by analysing the particularities of BTE and ATE arrangements currently available in some European jurisdictions and by painting a picture of their respective markets and legal contexts. This allows for some reflection on the performance of BTE and ATE providers as both financiers and keepers. Two issues emerge from the analysis that are worthy of some further reflection. Firstly, there is the problematic long-term sustainability of some ATE products. Secondly, the challenges faced by policymakers that would like to nudge consumers into voluntarily taking out BTE LEI

Differential cross section measurements for the production of a W boson in association with jets in proton–proton collisions at √s = 7 TeV

Measurements are reported of differential cross sections for the production of a W boson, which decays into a muon and a neutrino, in association with jets, as a function of several variables, including the transverse momenta (pT) and pseudorapidities of the four leading jets, the scalar sum of jet transverse momenta (HT), and the difference in azimuthal angle between the directions of each jet and the muon. The data sample of pp collisions at a centre-of-mass energy of 7 TeV was collected with the CMS detector at the LHC and corresponds to an integrated luminosity of 5.0 fb[superscript −1]. The measured cross sections are compared to predictions from Monte Carlo generators, MadGraph + pythia and sherpa, and to next-to-leading-order calculations from BlackHat + sherpa. The differential cross sections are found to be in agreement with the predictions, apart from the pT distributions of the leading jets at high pT values, the distributions of the HT at high-HT and low jet multiplicity, and the distribution of the difference in azimuthal angle between the leading jet and the muon at low values.United States. Dept. of EnergyNational Science Foundation (U.S.)Alfred P. Sloan Foundatio

Search for stop and higgsino production using diphoton Higgs boson decays

Results are presented of a search for a "natural" supersymmetry scenario with gauge mediated symmetry breaking. It is assumed that only the supersymmetric partners of the top-quark (stop) and the Higgs boson (higgsino) are accessible. Events are examined in which there are two photons forming a Higgs boson candidate, and at least two b-quark jets. In 19.7 inverse femtobarns of proton-proton collision data at sqrt(s) = 8 TeV, recorded in the CMS experiment, no evidence of a signal is found and lower limits at the 95% confidence level are set, excluding the stop mass below 360 to 410 GeV, depending on the higgsino mass