Scalable Declarative HEP Analysis Workflows for Containerised Compute Clouds

We describe a novel approach for experimental High-Energy Physics (HEP) data analyses that is centred around the declarative rather than imperative paradigm when describing analysis computational tasks. The analysis process can be structured in the form of a Directed Acyclic Graph (DAG), where each graph vertex represents a unit of computation with its inputs and outputs, and the graph edges describe the interconnection of various computational steps. We have developed REANA, a platform for reproducible data analyses, that supports several such DAG workflow specifications. The REANA platform parses the analysis workflow and dispatches its computational steps to various supported computing backends (Kubernetes, HTCondor, Slurm). The focus on declarative rather than imperative programming enables researchers to concentrate on the problem domain at hand without having to think about implementation details such as scalable job orchestration. The declarative programming approach is further exemplified by a multi-level job cascading paradigm that was implemented in the Yadage workflow specification language. We present two recent LHC particle physics analyses, ATLAS searches for dark matter and CMS jet energy correction pipelines, where the declarative approach was successfully applied. We argue that the declarative approach to data analyses, combined with recent advancements in container technology, facilitates the portability of computational data analyses to various compute backends, enhancing the reproducibility and the knowledge preservation behind particle physics data analyses.Peer reviewe

Studier av jet energi korrigeringar på CMS experimentet samt automatiseringen av dem

At the Compact Muon Solenoid (CMS) experiment at CERN (European Organization for Nuclear Research), the building blocks of the Universe are investigated by analysing the observed final-state particles resulting from high-energy proton-proton collisions. However, direct detection of final-state quarks and gluons is not possible due to a phenomenon known as colour confinement. Instead, event properties with a close correspondence with their distributions are studied. These event properties are known as jets. Jets are central to particle physics analysis and our understanding of them, and hence of our Universe, is dependent upon our ability to accurately measure their energy. Unfortunately, current detector technology is imprecise, necessitating downstream correction of measurement discrepancies. To achieve this, the CMS experiment employs a sequential multi-step jet calibration process. The process is performed several times per year, and more often during periods of data collection. Automating the jet calibration would increase the efficiency of the CMS experiment. By automating the code execution, the workflow could be performed independently of the analyst. This in turn, would speed up the analysis and reduce analyst workload. In addition, automation facilitates higher levels of reproducibility. In this thesis, a novel method for automating the derivation of jet energy corrections from simulation is presented. To achieve automation, the methodology utilises declarative programming. The analyst is simply required to express what should be executed, and no longer needs to determine how to execute it. To successfully automate the computation of jet energy corrections, it is necessary to capture detailed information concerning both the computational steps and the computational environment. The former is achieved with a computational workflow, and the latter using container technology. This allows a portable and scalable workflow to be achieved, which is easy to maintain and compare to previous runs. The results of this thesis strongly suggest that capturing complex experimental particle physics analyses with declarative workflow languages is both achievable and advantageous. The productivity of the analyst was improved, and reproducibility facilitated. However, the method is not without its challenges. Declarative programming requires the analyst to think differently about the problem at hand. As a result there are some sociological challenges to methodological uptake. However, once the extensive benefits are understood, we anticipate widespread adoption of this approach.På experimentet Compact Muon Solenoid (CMS) vid CERN (Europeiska organisationen för kärnforskning) undersöks universums byggstenar genom att analysera de observerade sluttillstånds partiklarna som härrör från proton-proton kollisioner med hög energi. Direkt detektering av sluttillstånds kvarkar och gluoner är dock inte möjligt på grund av ett fenomen känt som färg inneslutning. Istället studeras händelse egenskaper med en nära överensstämmelse med deras distributioner. Dessa händelse egenskaper är kända som jets. Jets är centrala för partikelfysik analys och vår förståelse av dem, och därmed förståelsen av vårt universum, är beroende av vår förmåga att noggrant mäta deras energi. Tyvärr är nuvarande detektorteknik inte exakt, vilket kräver korrigering av mät avvikelser. För att uppnå detta använder CMS-experimentet en sekventiell flerstegs jet kalibreringsprocess. Processen utförs flera gånger per år, och oftare under datainsamling perioder. Att automatisera jet kalibreringen skulle öka effektiviteten i CMS-experimentet. Genom att automatisera kod körningen kunde arbetsflödet utföras oberoende av analytikerns närvarande. Detta skulle i sin tur påskynda analysen och minska analytikerns arbetsbelastning. Dessutom möjliggör automatisering högre nivåer av reproducerbarhet. I denna avhandling presenteras en ny metod för att automatisera härledningen av jet energi korrigeringar från simulering. För att uppnå automatisering använder metoden deklarativ programmering. Av analytikern krävs enbart att uttrycka vad som ska utföras och hen behöver inte längre avgöra hur den ska utföras. För att framgångsrikt automatisera beräkningen av jet korrigeringar är det nödvändigt att fånga detaljerad information om både beräknings stegen och beräknings miljön. Det förstnämnda uppnås med ett beräknings arbetsflöde och det senare med container teknologi. Detta möjliggör ett bärbart och skalbart arbetsflöde,, vilket är enkelt att förvalta och jämföra med tidigare körningar. Resultaten av denna avhandling tyder starkt på att det är både uppnåeligt och fördelaktigt att fånga komplexa experimentella partikelfysik analyser med deklarativa arbetsflödes språk. Produktiviteten hos analytikern förbättrades och reproducerbarheten underlättades. Metoden är dock inte utan sina utmaningar. Deklarativ programmering kräver att analytikern tänker annorlunda om det aktuella problemet. Som ett resultat finns det ett par sociologiska utmaningar för metodens upptagningen. Men när de omfattande fördelarna har förståtts, förväntar vi oss en bred tillämpning av detta tillvägagångssätt