Strategies of development and maintenance in supervision, control, synchronization, data acquisition and processing in light sources

Programa Oficial de Doutoramento en Tecnoloxías da Información e as Comunicacións. 5032V01[Resumo] Os aceleradores de partículas e fontes de luz sincrotrón, evolucionan constantemente para estar na vangarda da tecnoloxía, levando os límites cada vez mais lonxe para explorar novos dominios e universos. Os sistemas de control son unha parte crucial desas instalacións científicas e buscan logra-la flexibilidade de manobra para poder facer experimentos moi variados, con configuracións diferentes que engloban moitos tipos de detectores, procedementos, mostras a estudar e contornas. As propostas de experimento son cada vez máis ambiciosas e van sempre un paso por diante do establecido. Precísanse detectores cada volta máis rápidos e eficientes, con máis ancho de banda e con máis resolución. Tamén é importante a operación simultánea de varios detectores tanto escalares como mono ou bidimensionáis, con mecanismos de sincronización de precisión que integren as singularidades de cada un. Este traballo estuda as solucións existentes no campo dos sistemas de control e adquisición de datos nos aceleradores de partículas e fontes de luz e raios X, ó tempo que explora novos requisitos e retos no que respecta á sincronización e velocidade de adquisición de datos para novos experimentos, a optimización do deseño, soporte, xestión de servizos e custos de operación. Tamén se estudan diferentes solucións adaptadas a cada contorna.[Resumen] Los aceleradores de partículas y fuentes de luz sincrotrón, evolucionan constantemente para estar en la vanguardia de la tecnología, y poder explorar nuevos dominios. Los sistemas de control son una parte fundamental de esas instalaciones científicas y buscan lograr la máxima flexibilidad para poder llevar a cabo experimentos más variados, con configuraciones diferentes que engloban varios tipos de detectores, procedimientos, muestras a estudiar y entornos. Los experimentos se proponen cada vez más ambiciosos y en ocasiones más allá de los límites establecidos. Se necesitan detectores cada vez más rápidos y eficientes, con más resolución y ancho de banda, que puedan sincronizarse simultáneamente con otros detectores tanto escalares como mono y bidimensionales, integrando las singularidades de cada uno y homogeneizando la adquisición de datos. Este trabajo estudia los sistemas de control y adquisición de datos de aceleradores de partículas y fuentes de luz y rayos X, y explora nuevos requisitos y retos en lo que respecta a la sincronización y velocidad de adquisición de datos, optimización y costo-eficiencia en el diseño, operación soporte, mantenimiento y gestión de servicios. También se estudian diferentes soluciones adaptadas a cada entorno.[Abstract] Particle accelerators and photon sources are constantly evolving, attaining the cutting-edge technologies to push the limits forward and explore new domains. The control systems are a crucial part of these installations and are required to provide flexible solutions to the new challenging experiments, with different kinds of detectors, setups, sample environments and procedures. Experiment proposals are more and more ambitious at each call and go often a step beyond the capabilities of the instrumentation. Detectors shall be faster, with higher efficiency, more resolution, more bandwidth and able to synchronize with other detectors of all kinds; scalars, one or two-dimensional, taking into account their singularities and homogenizing the data acquisition. This work examines the control and data acquisition systems for particle accelerators and X- ray / light sources and explores new requirements and challenges regarding synchronization and data acquisition bandwidth, optimization and cost-efficiency in the design / operation / support. It also studies different solutions depending on the environment

A contribution to the improvement of the Bodum Data Center

This work was developed to support an internal project at Bodum Portuguesa, Produção de Artigos Metálicos, SA. Bodum is a multinational company offering customers coffee, tea, and home accessories solutions according to Bodum’s values. Bodum is a company that creates products with excellent design at affordable prices, based on the principle that ”form follows functionality,” keeping sustainability, environmental responsibility, and the well-being of its employees and the planet in mind. Bodum’s current CEO, Peter Bodum, has said, “Good design does not have to be expensive”. This project aims to solve the problem of obsolete servers, the lack of resources, and the waste of processing power on Bodum’s servers. Today they have servers with OS Windows 2008 R2, which is quite old. Insufficient resources slow the servers regarding performance, processing, and communication. With this project, the company will gain more efficient servers. It will also be possible to have current services and applications with greater capacity and performance, which is an immediate need. The project involves migrating six physical servers in Switzerland, Denmark, Australia, the United States of America, Japan, and China. This project aims to improve the perfor mance of those servers while migrating to new servers with the latest operating systems version and more advanced hardware. There is a need to do this migration to ensure better performance of the servers and better control. The new servers are already purchased and placed in their respective locations, and some are already in use, making this migration more complicated than usual. Simply, it is necessary to migrate the old servers to the new ones. After analyzing the scenario, an improvement proposal was made since the servers are not virtualized. A request was made to the company administration proposing to virtualize the new servers before migration. This request is still awaiting a response. If this request is accepted, the new servers will become virtual machines, and the old servers will migrate to the new ones. If the request to virtualize the servers is refused, the migration will still be made to the new servers without virtualizing them. Furthermore, after performing the mentioned migration, a proposal will be made to mi grate the information system infrastructure to a cloud. This proposal includes an analysis of the company’s current system and a comparison with an identical scenario hosted on a cloud providing the company with all the necessary information about the processes and procedures of migration to the cloud. If the company plans to move services to the cloud, it will already have all the information it needs. The implementation of the Cloud infrastructure and the respective migration of the whole system is left for future work if the company’s board of directors agrees. This thesis will undoubtedly serve as a basis for its implementation.RESUMO:Atualmente existe um projeto interno na empresa Bodum Portuguesa, Produção de Ar tigos Metálicos, SA. A Bodum é uma empresa multinacional que oferece soluções de café, chá e acessórios para casa para todos os tipos de clientes de acordo com os valores da Bodum. A Bodum é uma empresa que cria produtos com excelente design a preços acessíveis, com base no princípio de que “a forma segue a funcionalidade”, mantendo a sustentabilidade, a responsabilidade ambiental e o bem-estar de seus colaboradores e o planeta em mente. Como o atual CEO da Bodum, Peter Bodum, disse “Bom design não tem de ser caro”. Este projeto visa solucionar o problema de os servidores serem obsoletos, a falta de recursos e também o desperdicio da capacidade de processamento. Atualmente os servi dores da Bodum ainda possuem Windows server 2008 R2, que é bastante antigo e a falta de recursos resulta em fraco desempenho dos servidores e até falhas. Com o desenvolvimento deste projeto, a empresa vai ficar com servidores mais atuais e por consequência mais eficientes, também vai ser possível usufruir de serviços com mais funcionalidades isto com uma maior capacidade de processamento e armazenamento, o que no imediato é uma necessidade da empresa. O projeto consiste na migração de seis servidores físicos, localizados na Suíça, Dina marca, Austrália, Estados Unidos da América, Japão e China. Este projeto visa melhorar a desempenho de servidores da empresa, pois a migração irá ser feita para novos servi dores com versões mais atuais do sistema operativo e também com hardware mais recente e avançado. Esta migração é necessária no sentido de garantir melhor desempenho dos servidores e controlo. Neste momento, os novos servidores já foram adquiridos e colo cados nos respetivos locais e alguns dos servidores até já estão a ser utilizados, o que tornará essa migração um pouco mais complexa do que o normal. Na perspetiva da empresa o objetivo principal deste projeto é migrar tudo o que está nos servidores antigos para os novos. Depois de uma breve análise ao sistema da Bodum, foi feita uma proposta de melhoria, uma vez que os servidores não são virtualizados. Com o propósito de melhorar o sistema existente, foi feita uma proposta de virtualização dos novos servidores antes de se realizar a migração, caso a proposta de virtualização dos servidores seja aceite, primeiro os servidores serão virtualizados e só depois é que será feita a migração dos servidores antigos para os novos já virtualizados. Caso o pedido para a virtualização dos servidores acima mencionados seja recusado, a migração será realizada de forma direta de servidor físico para servidor físico. Após realizar a migração mencionada, vai ser feita uma proposta para migrar as in fraestruturas do sistema de informação da Bodum para uma nuvem. Será feito uma análise do sistema atual e uma comparação com um cenário idêntico na nuvem. Com isto, a empresa vai ter em sua posse todas as informações necessárias sobre os processos e procedimentos de migração para a nuvem. No futuro, se a empresa pretender migrar os serviços para a nuvem, já terá o conhecimento para o fazer. No que diz respeito a uma migração para a nuvem de toda a infraestrutura da empresa, essa etapa será para realizar como trabalho futuro caso a empresa assim o entenda. Este projeto vai servir, sem dúvida, de base para a sua implementação

Virtualización mediante tecnología SR-IOV de tarjetas de red de altas prestaciones basadas en lógica programable

The IT industry has been taking the most demanding and rigorous standards as the reference in order to achieve stability, a high fidelity to protocols and a proper quality of the final product. Whilst this model may have been useful for the past, it is inevitable that time to market becomes a crucial bottleneck when developing custom hardware for network appliances. At this point, Network Function Virtualization (NFV) allows creating specialized solutions with general-purpose equipment. Broadly speaking, computing is transferred from the hardware layer to a CPU-based software. The main objective to treat is the exploration of the use of FPGAs, and its connectivity with the host system, as a feasible replacement for traditional hardware (switches, routers, etc.) in multigigabit networking environment. Own developments are disclosure under a free license as well as the underlying technologies are conscientiously tracked. From a DMA engine capable of ensuring the data transmission with rates above 40 gigabit per second (with measured peaks of over 50 Gbps), to the device controllers needed to interact with the system, are explained to the reader. The final reference platform consists of a network interface card (NIC) which involves as many virtual functions (VFs) as instantiated interfaces. The transmitted/received information by every abstract device is processed individually, in a transparent way to the developer, with destination/source the computer network. The key concept is known as SR-IOV, which accompanies by a FPGA, eases the virtualization of multiple functionalities. Independently, several instances of virtual machines may access to a VF exclusively thanks to PCI passthrough capabilities. The independency of the host station hardware, and the flexibility of the suggested framework, assure the user a notorious trade-off between performance and time production. The popular believing that high performance computing is confronted with virtualization heads to a wrong conclusion. In particular, an environment where the data is processed at 40 Gbps has been released. However, the subjacent virtualization support by the hardware platform (IOMMU) is limited and, in the system to card direction, the transferences suffer a pronounced bottleneck (10% of the performance of the native experiments) whilst this effect is palliated in the card to system direction (over 90% of the native results).La industria de las telecomunicaciones ha seguido estándares muy rigurosos que aseguren la estabilidad, fidelidad al protocolo y calidad de los productos desarrollados. Mientras que este modelo ha funcionado bien en el pasado, son inevitables unos ciclos de producción largos con un lento avance en el hardware especializado. Es en este punto, donde la virtualización permite generar equipos especializados con elementos de propósito general. Se traspasa parte de la computación desde un elemento puramente dedicado a la CPU del sistema (virtualización de funciones de red, NFV) concediendo una gran dinamicidad al entorno. El objetivo primordial es la exploración de la viabilidad del uso de FPGAs y la conectividad con el sistema anfitrión (basado en software) como sustituto para el hardware tradicional (switches, routers, etc.) en entornos multigigabit. Los desarrollos propios son liberados como contribuciones de licencia libre y las tecnologías subyacentes estudiadas en amplio detalle. Se implementa desde un motor de DMA que permita asegurar una tasa de transferencia sostenida para enlaces de 40 gigabits por segundo (mediciones tomadas por encima de 50 Gbps), hasta los controladores necesarios para la interacción con el dispositivo. La plataforma final de referencia consiste en una tarjeta de red con tantas funciones virtuales como interfaces existan. La información transmitida/recibida por cada dispositivo abstracto es tratada de manera independiente, transparente al desarrollador, con destino/origen final/inicial la red de ordenadores. La tecnología clave presentada para este proceso se conoce como SR-IOV, que acompañada por una única placa FPGA, facilita la simulación de múltiples periféricos dedicados. De manera independiente, distintas instancias de máquinas virtuales son capaces de hacer un uso exclusivo del dispositivo gracias a las capacidades de PCI passthrough, ofreciendo la falsa sensación de disponer de un recurso para su explotación individual. La independencia de la estación anfitriona, en cuanto a configuración hardware se refiere, y la marcada flexibilidad de los diseños, favorecen que esta arquitectura ofrezca un buen compromiso entre rendimiento y tiempo de puesta en mercado. Se desmiente la falsa creencia de que virtualización está reñida con procesamiento de alto rendimiento en todos los escenarios, aunque se han localizado carencias en el soporte por parte del hardware actual. En particular, la cantidad máxima de datos transferibles se ve limitada y aplicaciones que hagan uso intensivo en las comunicaciones hacia la tarjeta pueden verse gravemente afectadas (10% del rendimiento total en las pruebas generadas) si hacen uso de la virtualización. En la dirección inversa, un rendimiento superior al 90% ha sido probado

Estudio de captura y almacenamiento de tráfico en redes físicas y virtuales multi-gigabit

Study and analyze a high speed network ( 10Gbps) is a challenge in terms of the amount of data to be processed and the data rate itself. As a result, the networking capture tools are usually very complex. Those tools also have to be continuously adapted to new technology and higher data rates. To meet those requirements, each capture tool implements its own formats and way to capture that difficulties its interoperability. In order to solve this problem, it is necessary to develop a capture tool that stores and works with network data in a well-known format. Standard formats, like PCAP, allow different applications to work together easly, even in a paralel way. In the same way, common formats frees network analyzing tools from the underlying network. Typically, expensive dedicated servers are used to capture, store and process network data at high speed rates. However, this is changing due to the proliferation of cloud computing and the greatly improved performance virtualization technology. This trend makes difficult to find baremetal servers or even network equipment in some environments. Therefore, it is becoming more and more important to evaluate the performance and feasibility of capture and process network data on virtual environments. To achieve that, a capture and store tool has been developed. The tool can work at 10 Gbps thanks to Intel DPDK capture technology. A technology, that also can work in both bare-metal and virtual environments. In this work, different methods and capture tools are compared. In the same way, different virtualization methods provided by KVM are evaluated. While running applications in virtual machines have a small overhead compared with the bare-metal version, results show that performance in virtual environment is really close to bare-metal environment. However, those results can only be reached using the correct configuration and the latest advantages of the state-of-the-art hardware devices.Estudiar y analizar el comportamiento de una red a alta velocidad ( 10 Gbps) supone un reto constante a medida que aumenta la velocidad de las redes de comunicaciones debido a la gran cantidad de datos que se generan a diario y al propio hecho de procesar información a tales velocidades. Por estos motivos, las herramientas encargadas de la captura de datos son complejas y se encuentran, por lo general, en constante adaptación a las nuevas tecnologías y velocidades, lo que dificulta considerablemente su integración directa con otras aplicaciones de motorización o análisis de datos. Por ello es necesario que estas herramientas sean capaces de capturar y almacenar los datos en un formato estándar en el que otras herramientas puedan trabajar a posteriori o incluso en paralelo, con los datos de red independientemente de la tecnología de captura utilizada. Típicamente, este proceso de captura, almacenamiento y procesamiento de datos a alta velocidad se ha realizado en máquinas dedicadas. No obstante, debido a la proliferación del cloud computing y a la gran mejora en rendimiento de la tecnología de virtualización, esto está cambiando, pudiéndose llegar al caso en el que sea raro disponer de una máquina física en la que realizar estos procesos. Por ello, evaluar la viabilidad de realizar estos procesos de tan alto rendimiento dentro de entornos virtuales comienza a cobrar importancia. Dentro de este contexto, se ha desarrollado una herramienta de captura y almacenamiento en disco a 10 Gbps mediante la tecnología de captura Intel DPDK, con la capacidad de funcionar tanto en entornos físicos como virtuales. Del mismo modo, en este trabajo se presentan y se comparan diferentes métodos y herramientas de captura, así como los diferentes métodos de virtualización de componentes que ofrece KVM. A pesar de que el uso de máquinas virtuales impone un sobrecoste computacional a cualquier aplicación, los resultados obtenidos muestran que el rendimiento en entornos virtuales se asemeja mucho al rendimiento en entornos sin virtualización, siempre y cuando se utilice la configuración adecuada que exprima las capacidades de los dispositivos actuales

O2CMF: UM FRAMEWORK PARA EXPERIMENTAÇÃO FEDERADA EM NFV

Testbeds federados ocupam um papel importante no desenvolvimento de inovações em redes, fornecendo aos pesquisadores um laboratório distribuído para a realização de provas de conceito. Isso é possível através de frameworks que transformam recursos físicos em um serviço de experimentação. Contudo, para que um testbed continue adequado aos objetivos da comunidade de pesquisa, é necessário evoluir seu serviço de experimentação, incorporando tecnologias emergentes. Uma dessas tecnologias é a virtualização de funções de rede (Network Functions Virtualization NFV), que possibilita que funções de rede tradicionalmente ligadas a dispositivos de hardware sejam executadas na infraestrutura de computação em nuvem. Embora frameworks (como o GCF, OCF e OMF) tenham contribuído fortemente para o estabelecimento de federações de testbeds de redes, eles não apresentam as características necessárias para suportar NFV. Isso se deve ao emprego de virtualização simples, monitoramento insuficiente e ausência de recursos no catálogo de serviços que possibilitem a construção funções de rede virtuais, além da carência de funcionalidades para sua orquestração. Portanto, esse trabalho propõe um novo framework destinado a habilitar a experimentação em NFV. O resultado foi o O2CMF, um framework baseado na plataforma de computação em nuvem OpenStack, interoperável com a infraestrutura do Fed4FIRE. Para validar o O2CMF, são apresentadas demonstrações das funcionalidades de gestão do testbed, compatibilidade com o Fed4FIRE, isolamento de tráfego, orquestração de NFV e integração com outros domínios (robótica, redes sem fio e OpenFlow). Através dessas provas de conceito, demonstramos que o O2CMF foi capaz de habilitar a experimentação federada em NFV, combinando a interoperabilidade provida por SFA com a flexibilidade e robustez da nuvem, e provendo mecanismos de orquestração de funções de rede virtuais. O O2CMF foi utilizado na implantação de um testbed na UFES, através do qual tem apoiado o desenvolvimento de atividades de pesquisa e educação em redes. Além disso, sua documentação de operação e tutoriais de uso motivaram sua adoção na implantação de um testbed na Universidade de Bristol

Deployment and evaluation of a SDR-based LTE network

RESUMEN: Los entornos de simulación de redes juegan un papel fundamental en el desarrollo de las mismas. Su importancia se justifica en su capacidad de anticiparse a potenciales problemas u obstáculos que puedan surgir a la hora de realizar el despliegue de la infraestructura diseñada, permitiendo un ahorro en términos económicos y temporales. En determinados supuestos, estas herramientas no aportan el grado de veracidad demandado. Asimismo, la utilización de implementaciones reales para realizar experimentos conlleva la necesidad de manejar una electrónica muy especializada, lo que implica un incremento de los costes. Con el propósito de reducir estos inconvenientes, en los últimos años se están desarrollando implementaciones software de diferentes tecnologías de radiocomunicaciones (Software Defined Radio), que empleando electrónica más sencilla, permiten desplegar entornos realistas y verosímiles. A lo largo del proyecto, se ha aplicado la tecnología srsLTE, desarrollada por Software Radio Systems (SRS), que permite desplegar una red Long Term Evolution (LTE). Una vez desplegada, se han analizado los requisitos computacionales necesarios para su despliegue y todos los imprevistos que se han encontrado. Posteriormente, se ha estudiado su rendimiento y fiabilidad. La evaluación de la red se ha realizado en dos entornos: en primer lugar, mediante la herramienta IPERF, se ha caracterizado su comportamiento empleando tráfico sintético y, posteriormente, se ha verificado su viabilidad en un escenario con tráfico real, mediante el despliegue de un servidor de streaming de video utilizando Video LAN Client (VLC).ABSTRACT: Network simulator environments have a fundamental part in the development of network. Its importance is justified in its ability to anticipate to potencial problems which can ap- pear during the deployment of the designed infrastructure, allowing a saving in economics and temporal terms. In some cases, these tools do not provide the expected degree of accuracy. Moreover, the usage of real deployments to make experiments implies to operate with a specialized electronic which increases the project’s costs. In order to reduce these problems, it has been developed software deployments of ra- diocommunication technologies (SDR) which uses a simpler electronic and it allows to develop plausible environments. In this project, it has been applied srsLTE, which was developed by SRS, that allows to deploy a LTE network. After the network deployment, it has been studied the needed computational requirements and the founded contingencies. Afterwards, it has been examined its performance and reability. The network assessment has been undertaken in two environments: firstly, it has been characterized the network performance using sintetic traffic generated by IPERF. Subse- quentely, it has been deployed a video streaming server using VLC in order to study the feasibily of the network in real conditions.Grado en Ingeniería de Tecnologías de Telecomunicació