Rebuilding Debian using Distributed Computing

International audienceDoing Quality Assurance work on Debian, a Linux distribution with more than 12000 packages, requires an impressive amount of computing power, which is usually not available for its developers. In this article, we report on the development of an infrastructure to run quality-assurance tasks on Debian using the Grid'5000 experimental platform. In particular, we focus on the problem of rebuilding all packages in Debian from source. We describe the details of this task, and the infrastructure we developed, with scalability and robustness in mind. The results we obtained are then presented, and we discuss possible improvements and lessons we learnt in the process, which might be useful in the context of other large-scale experiments

Realis'2014: Reproductibilité expérimentale pour l'informatique en parallélisme, architecture et système

National audienceRealis 2014 : Reproductibilité expérimentale pour l'informatique en parallélisme, architecture et système - 2éme édition La capacité à reproduire les expériences est une condition nécessaire à une démarche scientifique solide. Dans les communautés de physique ou de bio-informatique qui utilisent intensivement l'outil informatique pour des simulations ou de la fouille de données, un mouvement vers une augmentation de la qualité expérimentale est en cours, via la diffusion des processus expérimentaux et des codes sources utilisés. Nos communautés de systèmes d'exploitations, de systèmes parallèles et distribués et d'architecture doivent également travailler dans cette direction, notamment pour adapter les solutions utilisées ailleurs à nos domaines : Comment devons-nous décrire une expérience pour permettre sa reproductibilité ? Quels sont les contenus (environnements, binaires, scripts, configurations) à conserver et diffuser ? Comment les résultats doivent-ils être fournis afin de permettre de s'y comparer ? Nous encourageons les auteurs soumettant un article à l'une des conférences de ComPAS (CFSE, RenPar ou SympA) à soumettre également un article à Realis. Ce deuxième article peut être une extension de l'article soumis à ComPAS, sans limitation de pages, afin de décrire précisément les expériences menées, et pourra s'appuyer sur des ressources externes : environnements, scripts, données nécessaires. Chaque article sera évalué (et les expériences seront, si possible, reproduites complètement ou partiellement) par un autre auteur sous la supervision d'au moins un membre du comité, afin de favoriser les partages d'expériences sur les bonnes pratiques -- les articles seront attribués en adéquation avec les compétences des auteurs dans la mesure du possible. Le comité décernera le label de reproductibilité expérimentale aux articles dont les expériences auront pû être reproduites de manière satisfaisante. Le prix ComPAS de la reproductibilité expérimentale sera décerné au meilleur article

SDN/NFV experiments on Grid'5000

International audienceA description of the current status of SDN/NFV experiments on Grid'5000 (short talk

Grid'5000 for high-quality reproducible research

International audienceThere is currently a push towards higher-quality and more reproducible experimental research. The specific features of HPC and Clouds research make it a field where those questions are particularly important. In this talk, we will highlight some challenges faced in HPC and Clouds research, and describe how Grid'5000 already addresses many of them. We will also discuss some future plans and remaining open questions

An overview of Fed4FIRE testbeds -- and beyond?

International audienc

Testbeds for Reproducible Research

International audienceThis talk provides an overview of the Grid'5000 testbed, and a comparison with two recently created testbeds, Chameleon and CloudLab

Testing Testbeds Towards Reproducibility

International audienceWhen using testbeds in the context of experimental computer science, the ability to produce trustworthy and reproducible experiments results depends greatly on the trustworthiness of the infrastructure itself. Unfortunately, several factors many issues such as software misconfiguration, hardware heterogeneity, or service failures, can remain undetected and affect the quality of experimental results. This paper presents the design and implementation of an automated testbed testing framework. This framework was deployed in the context of the Grid'5000 project, and uncovered more than one hundred of issues.(see also https://hal.inria.fr/hal-01538682 for an extended version of this work

Towards Trustworthy Testbeds thanks to Throughout Testing

International audienceWhen using testbeds in the context of experimental computer science, theability to produce trustworthy and reproducible experiments results dependsgreatly on the trustworthiness of the infrastructure itself. Unfortunately,several factors many issues such as software misconfiguration, hardwareheterogeneity, or service failures, can remain undetected and affect thequality of experimental results. This paper presents the design andimplementation of an automated testbed testing framework. This framework wasdeployed in the context of the Grid'5000 project, and uncovered more than onehundred of issues

Grid'5000: a Large Instrument for Parallel and Distributed Computing Experiments

National audienceAn overview of the Grid'5000 testbe

Reproducible Research in Computer Science

National audienceThe ability to reproduce experiments and results is condition to a solid scientific method. Scientific communities in physics or bio-informatique that use computing resources intensively for simulations or data-mining have initiated a movement towards higher-quality experimental methodology, sharing of experimental processes and software used. This movement now reaches computer science. In this talk, I will provide an overview of initiatives around reproducible research, and tools that already allow to improve one's daily practices. I will finish by talking about some long-term challenges