Relative species abundance estimation in artificial mixtures of insects using mito-metagenomics and a correction factor for the mitochondrial DNA copy number

Altres ajuts: Acord transformatiu CRUE-CSICMito-metagenomics (MMG) is becoming an alternative to amplicon metabarcoding for the assessment of biodiversity in complex biological samples using high-throughput sequencing. Whereas MMG overcomes the biases introduced by the PCR step in the generation of amplicons, it is not yet a technique free of shortcomings. First, as the reads are obtained from shotgun sequencing, a very low proportion of reads map into the mitogenomes, so a high sequencing effort is needed. Second, as the number of mitogenomes per cell can vary among species, the relative species abundance (RSA) in a mixture could be wrongly estimated. Here, we challenge the MMG method to estimate the RSA using artificial libraries of 17 insect species whose complete genomes are available on public repositories. With fresh specimens of these species, we created single-species libraries to calibrate the bioinformatic pipeline and mixed-species libraries to estimate the RSA. Our results showed that the MMG approach confidently recovers the species list of the mixtures, even when they contain congeneric species. The method was also able to estimate the abundance of a species across different samples (within-species estimation) but failed to estimate the RSA within a single sample (across-species estimation) unless a correction factor accounting for the variable number of mitogenomes per cell was used. To estimate this correction factor, we used the proportion of reads mapping into mitogenomes in the single-species libraries and the lengths of the whole genomes and mitogenomes

Enabling dCache to use preexistent mass storage systems

A mesura que la investigació depèn cada vegada més dels computadors, l'emmagatzematge de dades comença a convertir-se en un recurs escàs per als projectes, i suposa una gran part del cost total. Alguns projectes intenten resoldre aquest problema emprant emmagatzament distribuït. És doncs necessari que alguns centres proveeixin de grans quantitats d'emmagatzematge massiu de baix cost basat en cintes magnètiques. L'inconvenient d'aquesta solució és que el rendiment disminueix, particularment a l'hora de tractar-se de grans quantitats d'arxius petits. El nostre objectiu és crear un híbrid entre un sistema d'alt cost i rendiment basat en discs, i un de baix cost i rendiment basat en cintes. Per això, unirem dCache, un sistema d'emmagatzematge distribuït, amb Castor, un sistema d'emmagatzematge jeràrquic, creant sistemes de fitxers virtuals que contindran grans quantitats d'arxius petits per millorar el rendiment global del sistema.A medida que la investigación depende cada vez más de los computadores, el almacenamiento de datos comienza a ser un recurso escaso para los proyectos y supone una gran parte del coste total. Algunos proyectos intentan solucionar estos problemas usando almacenamiento distribuido, por ello es necesario que algunos centros proporcionen almacenamiento masivo de bajo coste basado en librerías de cintas. El inconveniente de esta solución reside en que el rendimiento disminuye, particularmente cuando se trata de grandes cantidades de archivos pequeños. Nuestro objetivo es crear un híbrido entre un sistema de almacenamiento de alto coste y rendimiento basado en discos, y otro de bajo coste y rendimiento basado en cintas. Para ello uniremos dCache, un sistema de almacenamiento distribuido, con Castor, un sistema de almacenamiento jerárquico, creando así sistemas de archivos virtuales que contengan grandes cantidades de archivos pequeños para mejorar el rendimiento global del sistema.As modern research relies more and more on computers, data storage is becoming a scarce resource for research projects, as well as a large part of the cost. Some projects try to solve this problem by relying on distributed data storage. It is therefore necessary, for some centers, to provide massive amounts of lower cost storage based in tape libraries. The drawback to this approach is that performance decreases, particularly when dealing with large amounts of small files. Our goal is to create a hybrid between a high-cost high-performance disk drive pool array,and a lower-cost, not so high performance tape based library. To this end we will link dCache, a distributed storage system, to Castor, a hierarchical storage management system, while creating virtual file systems containing large amounts of small files to improve the overall performance of the system

Estudio de mejora de un sistema de backup

El presente proyecto pretende mejorar la situación del sistema de backup del Departamento de Diseño de Sony BCN TEC, con la intención de hacerlo más seguro y fiable, más cómodo y rápido y escalable de cara a futuras ampliaciones. El objetivo del presente proyecto es hacer un estudio de adquisición de un nuevo sistema para gestionar por completo las copias de seguridad del departamento, que sea capaz de manejar el tamaño de datos actual, pero también pensado en el crecimiento futuro. Esto es: un dispositivo hardware para realizar las copias de seguridad y si hace falta, un servidor y un software, que lo gestionen

Plataforma Computing@home

En este proyecto se han visto dos sistemas de computación distribuida diferentes entre ellos: Condor y BOINC. Se exploran las posibilidades para poder conseguir que ambos sistemas logren trabajar conjuntamente, escogiendo la parte más efectiva de cada uno de los sistemas con el fin de complementarse.En aquest projecte s'han vist dos sistemes de computació distribuïda diferents entre ells: Condor i BOINC. S'exploren les possibilitats per aconseguir que ambdós sistemes puguin treballar de forma conjunta, escollint la part més efectiva de cadascun d'aquests sistemes amb la finalitat que es complementin.In this proyect we have seen two different between them distributed Computing systems: Condor and BOINC. We explore our possibilities to let both systems work together, choosing the most effective part of these systems with the aim to complement each other.Nota: Aquest document conté originàriament altre material i/o programari només consultable a la Biblioteca de Ciència i Tecnologia

Ultra deep blue : the ultimate chess player

Projecte d'adaptació del programa GNU Chess al sistema de grid computing 'Condor'. I amb això, es planteja un estudi sobre els algorismes de cerca i la seva aplicació en entorns distribuïts. Una sèrie de proves sobre unes mostres de una partida d'escacs contra el propi GNU Chess ens ajuden a posar de relleu els avantatges i inconvenients de cada un dels algorismes proposats.Proyecto de adapación del programa GNU Chess al sistema de grid computing 'Condor'. Y con eso, se plantea un estudio sobre los algoritmos de búsqueda y su aplicación en entornos distribuidos. Una serie de pruebas sobre unas muestras de una partida de ajedrez contra el propio GNU Chess nos ayudan a poner de relieve las ventajas e inconvenientes de cada uno de los algoritmos propuestos.The project which adapt GNU Chess software at 'Condor' grid computing system. Once we have this, a study about search algorithms and its possibilities in distributed environments is raised. A series of samples over a chess game against GNU Chess help us to enphasize the advantages an disadvantages of each one of the proposed algorithms

Plot Suite

Una Plot Suite és una aplicació web que permet localitzar plots d'una Base de Dades a partir de formularis. S'obtindran taules on apareixeran els plots amb les seves característiques i es podrà obtenir còpies dels plots sol·licitats. Gràcies al seu disseny es podran afegir nous plots a la Base de Dades i fins i tot modificar l'estructura d'una manera molt intuïtiva.Una Plot Suite es una aplicacion web que permite localizar plots de una Base de Datos a partir de formularios. Se obtienen tablas donde aparecerán los plots con sus características y se podrán obtener copias de los plots solicitados. Gracias a su diseño, se podran añadir nuevos plots a la Base de Datos y hasta se podrá modificar la estructura de una manera muy intuitiva.A Plot Suite is a web application that it allows to locate plots of a Database from forms. Tables are obtained where the plots will appear with his characteristics and there will be able to be obtained copies of the requested plots. Thanks to an easy design, can it add new plots to the Database and even it will be possible modify the structure of application with intuitive way

Gestor d'entorns virtuals per a l'execució de tasques d'altes prestacions

Amb l'evolució de la tecnologia les capacitats de còmput es van incrementant i problemes irresolubles del passat deixen de ser-ho amb els recursos actuals. La majoria d'aplicacions que s'enfronten a aquests problemes són complexes, ja que per aconseguir taxes elevades de rendiment es fa necessari utilitzar el major nombre de recursos possibles, i això les dota d'una arquitectura inherentment distribuïda. Seguint la tendència de la comunitat investigadora, en aquest treball de recerca es proposa una arquitectura per a entorns grids basada en la virtualització de recursos que possibilita la gestió eficient d'aquests recursos. L'experimentació duta a terme ha permès comprovar la viabilitat d'aquesta arquitectura i la millora en la gestió que la utilització de màquines virtuals proporciona.Con la evolución de la tecnología, las capacidades de cómputo se incrementan y problemas irresolubles del pasado dejan de serlo con los recursos actuales. La mayoría de las aplicaciones que se enfrentan a estos problemas son complejas, ya que para conseguir un elevado rendimiento es necesario utilizar el mayor número posible de recursos, lo que requiere de una arquitectura distribuida. Siguiendo la tendencia de la comunidad investigadora, en este trabajo de investigación se propone una arquitectura para entornos grid basada en la virtualización de recursos que posibilita la gestión eficiente de estos recursos. La experimentación llevada a cabo ha permitido comprobar la vialibilidad de esta arquitectura y la mejora en la gestión que supone el uso de máquinas virtuales.As the technology evolves the computational power increases. Past goals, which wre deemed too difficult to achieve, now become computationally solvable. Most applications that focus on that problems are complex; they need a lot of resources to attain good performance, and that imposes a distributed architecture. Following the research community trend, in this work we propose an architectural design for distributed environments based on resource virtualization, which enables efficient resource management. The experimentations held have been able to prove this architecture viability, along with, how could the use of virtual machines enhance resource management

Desplegament dels circuits dedicats de 1 i 10 Gbps entre el PIC i el CERN

Aquest projecte consisteix a realitzar el disseny i desplegament d'una connexió entre el Port d'Informació Científica (PIC) i el Consell Europeu per a la Recerca Nuclear (CERN) sobre un circuit dedicat amb una velocitat de transferència de 10 Gbps. En una primera fase el desplegament de la connexió es realitza sobre un circuit dedicat de 1 Gbps. El projecte implica la certificació dels circuits dedicats de 1 i 10 Gbps i el disseny dels plans d'actuació que han de permetre la integració de les noves connexions dins la xarxa i els serveis del PIC.Este proyecto consiste en realizar el diseño y despliegue de una conexión entre el Port d'Informació Científica (PIC) y el Consejo Europeo para la Investigación Nuclear (CERN) sobre un circuito dedicado con una velocidad de transferencia de 10 Gbps. En una primera fase el despliegue de la conexión se realiza sobre un circuito dedicado de 1 Gbps. El proyecto implica la certificación de los circuitos dedicados de 1 y 10 Gbps y el diseño de los planes de actuación que deben permitir la integración de las nuevas conexiones dentro de la red y los servicios del PIC.This project consists in designing and deploying a connection between the Port d'Informació Científica (PIC) and the European Organization for Nuclear Research (CERN) on a 10 Gbps dedicated circuit. In a first phase the deployment of the connection is made on a 1 Gbps dedicated circuit. The project implies the certification of the 1 and 10 Gbps dedicated circuits and the design of the plans for the integration of the new connections within PIC's network and services

An efficient use of virtualization in grid/cloud environments

Grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational resources. Grid enables access to the resources but it does not guarantee any quality of service. Moreover, Grid does not provide performance isolation; job of one user can influence the performance of other user's job. The other problem with Grid is that the users of Grid belong to scientific community and the jobs require specific and customized software environment. Providing the perfect environment to the user is very difficult in Grid for its dispersed and heterogeneous nature. Though, Cloud computing provide full customization and control, but there is no simple procedure available to submit user jobs as in Grid. The Grid computing can provide customized resources and performance to the user using virtualization. A virtual machine can join the Grid as an execution node. The virtual machine can also be submitted as a job with user jobs inside. Where the first method gives quality of service and performance isolation, the second method also provides customization and administration in addition. In this thesis, a solution is proposed to enable virtual machine reuse which will provide performance isolation with customization and administration. The same virtual machine can be used for several jobs. In the proposed solution customized virtual machines join the Grid pool on user request. Proposed solution describes two scenarios to achieve this goal. In first scenario, user submits their customized virtual machine as a job. The virtual machine joins the Grid pool when it is powered on. In the second scenario, user customized virtual machines are preconfigured in the execution system. These virtual machines join the Grid pool on user request. Condor and VMware server is used to deploy and test the scenarios. Condor supports virtual machine jobs. The scenario 1 is deployed using Condor VM universe. The second scenario uses VMware-VIX API for scripting powering on and powering off of the remote virtual machines. The experimental results shows that as scenario 2 does not need to transfer the virtual machine image, the virtual machine image becomes live on pool more faster. In scenario 1, the virtual machine runs as a condor job, so it easy to administrate the virtual machine. The only pitfall in scenario 1 is the network traffic

RE-Flip : estratègies per a la regulació de l'aprenentatge en contextos d'aula invertida

High Performance Computing and Data Analysis. Master in BioinformaticsL'objectiu del projecte Re-Flip és definir estratègies per a acompanyar en la regulació de l'aprenentatge autònom en contextos d'aula invertida amb el suport de les tecnologies. Fruit del treball interdisciplinar de 14 professores i professors, s'ha generat aquest recurs on es presenta un exemple d'estratègies per a la regulació de l'aprenentatge en el context de l'aula invertida. Es presenten també els principals resultats i les propostes de millora per a futures implementacions