Orquestación de recursos para realizar cómputo de big data sobre arquitecturas distribuidas

Los avances tecnológicos, en particular IoT, han favorecido la generación de grandes cantidades de datos, los cuales necesitan ser almacenados y procesados de manera eficiente. Surge así el paradigma Big Data, donde el principal requerimiento no solo es la capacidad de cómputo, sino el manejo en un tiempo razonable de ingentes cantidades de datos. En este contexto, las aplicaciones para big data necesitan ser escalables, livianas, autocontenidas, distribuidas y replicadas con el objetivo de lograr la mejor performance frente a variaciones del volumen de datos. Para lograr esto, esta línea de investigación propone ajustar la construcción de aplicaciones a la filosofía DevOps y una arquitectura basada en microservicios los cuales puedan ser implementados con contenedores. La replicación y distribución para lograr altos niveles de escalabilidad se plantea mediante la orquestación de contenedores sobre una arquitectura distribuida, la cual puede ser física o virtual. De esta manera será posible desarrollar aplicaciones que escalen de forma elástica en función de los requerimientos de la aplicación misma, independiente del software y hardware subyacente.Eje: Innovación en Sistemas de Software.Red de Universidades con Carreras en Informátic

Orquestación de recursos para realizar cómputo de big data sobre arquitecturas distribuidas

Los avances tecnológicos, en particular IoT, han favorecido la generación de grandes cantidades de datos, los cuales necesitan ser almacenados y procesados de manera eficiente. Surge así el paradigma Big Data, donde el principal requerimiento no solo es la capacidad de cómputo, sino el manejo en un tiempo razonable de ingentes cantidades de datos. En este contexto, las aplicaciones para big data necesitan ser escalables, livianas, autocontenidas, distribuidas y replicadas con el objetivo de lograr la mejor performance frente a variaciones del volumen de datos. Para lograr esto, esta línea de investigación propone ajustar la construcción de aplicaciones a la filosofía DevOps y una arquitectura basada en microservicios los cuales puedan ser implementados con contenedores. La replicación y distribución para lograr altos niveles de escalabilidad se plantea mediante la orquestación de contenedores sobre una arquitectura distribuida, la cual puede ser física o virtual. De esta manera será posible desarrollar aplicaciones que escalen de forma elástica en función de los requerimientos de la aplicación misma, independiente del software y hardware subyacente.Eje: Innovación en Sistemas de Software.Red de Universidades con Carreras en Informátic

Orquestación de recursos para realizar cómputo de big data sobre arquitecturas distribuidas

Los avances tecnológicos, en particular IoT, han favorecido la generación de grandes cantidades de datos, los cuales necesitan ser almacenados y procesados de manera eficiente. Surge así el paradigma Big Data, donde el principal requerimiento no solo es la capacidad de cómputo, sino el manejo en un tiempo razonable de ingentes cantidades de datos. En este contexto, las aplicaciones para big data necesitan ser escalables, livianas, autocontenidas, distribuidas y replicadas con el objetivo de lograr la mejor performance frente a variaciones del volumen de datos. Para lograr esto, esta línea de investigación propone ajustar la construcción de aplicaciones a la filosofía DevOps y una arquitectura basada en microservicios los cuales puedan ser implementados con contenedores. La replicación y distribución para lograr altos niveles de escalabilidad se plantea mediante la orquestación de contenedores sobre una arquitectura distribuida, la cual puede ser física o virtual. De esta manera será posible desarrollar aplicaciones que escalen de forma elástica en función de los requerimientos de la aplicación misma, independiente del software y hardware subyacente.Eje: Innovación en Sistemas de Software.Red de Universidades con Carreras en Informátic

Docker containers usage in the internet of things: a survey

The Internet of Things (IoT) opened the way for enabling many of our everyday objects (things) interact with their environment to collect data, analyze and automating jobs based on specific rules. Within the constraint environment, the requirement of lightweight IoT application are tremendously indeed required to ensure the IoT application can be run efficiently. Docker containers is a promising technology to enable IoT application running smoothly, fast and efficient. In this paper, an introduction to Docker is presented. Then we explore the usage of Docker containers in the IoT application. Finally, we briefly discuss why Docker containers are usage in the IoT application

Adoption of microservices in industrial information systems: a systematic literature review

The internet, digitalization and globalization have transformed customer expectations and the way business is done. Product life cycles have shortened, products need to be customizable, and the production needs to be scalable. These changes reflect also to the industrial operations. Quick technological advancements have increased the role of software in industrial facilities. The software in use has to enable untraditional flexibility, interoperability and scalability. Microservices based architecture has been seen as the state of the art way for developing flexible, interoperable and scalable software. Microservices have been applied to cloud native applications for consumers with enormous success. The goal of this thesis is to analyze how to adopt microservices to indstrial information systems. General information and characteristics of microservices are provided as background information and a systematic literature review is conducted to answer the research problem. Material for the systematic literature review was found from multiple digital libraries and 17 scientific papers matched the set inclusion cirteria. The material was then analyzed with an extensively documentated method. The thesis brought together the available publications on the topic. Guidelines for adopting microservices to industrial information systems were derived based on the analysis. Real time applications need special attention when using microservices architecture, the developers need to use proper tools for the tasks, and the developers and users need to be properly introduced to service-oriented systems. Based on this thesis microservices seems like a suitable approach for developing flexible industrial information systems, which satisfy the new business requirements

Orquestadores para la niebla: planificación descentralizada basada en sistemas multi-agente

Hoy en día los retos que se plantean a la fábrica inteligente dentro del concepto industria 4.0 incluyen, la mejora de la calidad del producto, así como, la optimización del rendimiento de las plantas de producción. Para conseguir estos objetivos, la tecnología “Fog computing” se presenta como una potencial solución a la problemática de procesamiento de datos masivos de producción para detectar anomalías y actuar de forma temprana. Estas aplicaciones se conocen como aplicaciones distribuidas sensibles al contexto, ya que reaccionan a cambios en su entorno. En este caso, de producción. En este proyecto se propone utilizar tecnologías “cloud” pero adaptándolas a los requisitos de eficiencia de estas aplicaciones. En los entornos “cloud” las aplicaciones se ejecutan como componentes virtualizados ligeros o contenedores orquestados de forma centralizada. En este proyecto se propone la extensión de la arquitectura de una de las plataformas de orquestación de contenedores existentes, que permite una planificación de su ejecución basada en negociación en un sistema multi agente (MAS). La eficiencia de la plataforma “cloud” en cuanto a la automatización de la gestión, despliegue y escalado de contenedores, unido a la toma de decisiones descentralizada y autonomía de los sistemas MAS, forman una base robusta para abordar en un futuro aplicaciones de fabricación reconfigurables y eficientes, cuando se detecten anomalías en la planta de producción. En la memoria se realiza el análisis de requisitos como base para la elección de plataforma entre las alternativas existentes. Se describe la plataforma escogida y se presenta la especificación técnica de la extensión de arquitectura. Para analizar el rendimiento de la propuesta desarrollada, se realizan unas pruebas sobre un clúster de procesadores que representa la plataforma Fog, que ha sido desarrollado en el grupo de investigación GCIS de la Escuela de Ingeniería de Bilbao.Gaur egun fabrika inteligenteari planteatzen zaizkion erronkak industria 4.0 kontzeptuaren barnean, ondokoak hartzen ditu: produktuaren kalitatearen hobekuntza, baita ekoizpen fabriken errendimenduaren optimizazioa ere. Helburu hauek lortzeko, produkzioaren datu masiboen arazoari aurre egiteko, irtenbide bezala “Fog computing” aurkezten da, irregulartasunak aurkitzeko eta bizkortasunez erantzuteko. Aplikazio hauek, testuniguruari sentikorrak diren banatutako aplikazioak bezala ezagutzen dira, testuinguruko aldakatei erantzuten baitiote. Kasu honetan, produkzio aldaketak. Proiektu honetan “cloud” teknologiak erabiltzea proposatzen da, baina aplikazio hauen eragikonrtasunaren baldintzetara egokituz. “Cloud” testuinguruetan, aplikazioak osagai arin birtualizatu edota era zentralizatuan antolatutako edukiontzi bezala exekutatzen dira.Proiektu honetan antolamendu plataforma baten luzapena proposatzen da. Bertan, bere exekuzioaren planifikazioa negoziazio bitartez emoten da multi agente sistema (MAS) batean oinarritua. “Cloud” plataformen efizientzia, kudeaketaren, hedapenaren eta edukiontzien eskaladoaren automatizazioari dagokionez, erabaki-hartze deszentralizatuari eta MAS sistemen autonomiari lotuta,etorkizunean fabrikazioren berkonfigurazio efizienteak ekinarazteari oinarri sendoak jartzen dizkio, produkzio plantan arazoak detektatzen direnean. Memoria atalean plataformen betekizunen analisi bat aurkezten da, existitzen diren plataformen artean aukeratu ahal izateko. Aukeratutako plataforma describatzen da eta arkitektura luzapenaren espezifikazio teknikoa aurkezten da. Garatutako proposamenaren errendimendua aztertzeko, Bilboko Ingenieritza eskolako GCIS ikerketa taldeak garatutato Fog plataforma errepresentatzen duen prozesadore cluster batean proba batzuk egiten dita.Nowadays the challenges that arise in the intelligent factory in the concept of the industry 4.0include, the improvement of the quality of the product, as well as, the optimization of the performance of the production plants. The technology of fog computation is presented as a potential solution to the problem of mass production data processing to detect anomalies and act early. These applications are known as distributed context-aware applications, and they react to changes in their environment. In this case, manufacturing. In this project it is proposed to use "cloud" technologies but adapting them to the efficiency requirements of these applications. In cloud environments applications are executed as virtualized components or containers orchestrated in a centralized way.In this project we propose the extension of the architecture of one of the orchestration platforms of the media, which allows scheduling based on the negotiation in a multi agent (MAS) system. The efficiency of the cloud platform in terms of the automation of container management, deployment and scaling, together with decentralized decision making and the autonomy of the MAS systems, form a robust basis for approaching in a near future reconfigurable and efficient manufacturing applications, when anomalies are detected in the production plant. In the memory, it ́s made an analysis of the requirements as a basis for choosing the platform among the existing alternatives. The selected platform is described and the technical specification of the extension of the architecture is presented. To analyze the performance of the developed proposal, there are performed some tests on a processor cluster that represents the fog platform, which has been developed in the GCIS research group of the Bilbao School of Engineering

Orquestadores para la niebla: planificación descentralizada basada en sistemas multi-agente

Hoy en día los retos que se plantean a la fábrica inteligente dentro del concepto industria 4.0 incluyen, la mejora de la calidad del producto, así como, la optimización del rendimiento de las plantas de producción. Para conseguir estos objetivos, la tecnología “Fog computing” se presenta como una potencial solución a la problemática de procesamiento de datos masivos de producción para detectar anomalías y actuar de forma temprana. Estas aplicaciones se conocen como aplicaciones distribuidas sensibles al contexto, ya que reaccionan a cambios en su entorno. En este caso, de producción. En este proyecto se propone utilizar tecnologías “cloud” pero adaptándolas a los requisitos de eficiencia de estas aplicaciones. En los entornos “cloud” las aplicaciones se ejecutan como componentes virtualizados ligeros o contenedores orquestados de forma centralizada. En este proyecto se propone la extensión de la arquitectura de una de las plataformas de orquestación de contenedores existentes, que permite una planificación de su ejecución basada en negociación en un sistema multi agente (MAS). La eficiencia de la plataforma “cloud” en cuanto a la automatización de la gestión, despliegue y escalado de contenedores, unido a la toma de decisiones descentralizada y autonomía de los sistemas MAS, forman una base robusta para abordar en un futuro aplicaciones de fabricación reconfigurables y eficientes, cuando se detecten anomalías en la planta de producción. En la memoria se realiza el análisis de requisitos como base para la elección de plataforma entre las alternativas existentes. Se describe la plataforma escogida y se presenta la especificación técnica de la extensión de arquitectura. Para analizar el rendimiento de la propuesta desarrollada, se realizan unas pruebas sobre un clúster de procesadores que representa la plataforma Fog, que ha sido desarrollado en el grupo de investigación GCIS de la Escuela de Ingeniería de Bilbao.Gaur egun fabrika inteligenteari planteatzen zaizkion erronkak industria 4.0 kontzeptuaren barnean, ondokoak hartzen ditu: produktuaren kalitatearen hobekuntza, baita ekoizpen fabriken errendimenduaren optimizazioa ere. Helburu hauek lortzeko, produkzioaren datu masiboen arazoari aurre egiteko, irtenbide bezala “Fog computing” aurkezten da, irregulartasunak aurkitzeko eta bizkortasunez erantzuteko. Aplikazio hauek, testuniguruari sentikorrak diren banatutako aplikazioak bezala ezagutzen dira, testuinguruko aldakatei erantzuten baitiote. Kasu honetan, produkzio aldaketak. Proiektu honetan “cloud” teknologiak erabiltzea proposatzen da, baina aplikazio hauen eragikonrtasunaren baldintzetara egokituz. “Cloud” testuinguruetan, aplikazioak osagai arin birtualizatu edota era zentralizatuan antolatutako edukiontzi bezala exekutatzen dira.Proiektu honetan antolamendu plataforma baten luzapena proposatzen da. Bertan, bere exekuzioaren planifikazioa negoziazio bitartez emoten da multi agente sistema (MAS) batean oinarritua. “Cloud” plataformen efizientzia, kudeaketaren, hedapenaren eta edukiontzien eskaladoaren automatizazioari dagokionez, erabaki-hartze deszentralizatuari eta MAS sistemen autonomiari lotuta,etorkizunean fabrikazioren berkonfigurazio efizienteak ekinarazteari oinarri sendoak jartzen dizkio, produkzio plantan arazoak detektatzen direnean. Memoria atalean plataformen betekizunen analisi bat aurkezten da, existitzen diren plataformen artean aukeratu ahal izateko. Aukeratutako plataforma describatzen da eta arkitektura luzapenaren espezifikazio teknikoa aurkezten da. Garatutako proposamenaren errendimendua aztertzeko, Bilboko Ingenieritza eskolako GCIS ikerketa taldeak garatutato Fog plataforma errepresentatzen duen prozesadore cluster batean proba batzuk egiten dita.Nowadays the challenges that arise in the intelligent factory in the concept of the industry 4.0include, the improvement of the quality of the product, as well as, the optimization of the performance of the production plants. The technology of fog computation is presented as a potential solution to the problem of mass production data processing to detect anomalies and act early. These applications are known as distributed context-aware applications, and they react to changes in their environment. In this case, manufacturing. In this project it is proposed to use "cloud" technologies but adapting them to the efficiency requirements of these applications. In cloud environments applications are executed as virtualized components or containers orchestrated in a centralized way.In this project we propose the extension of the architecture of one of the orchestration platforms of the media, which allows scheduling based on the negotiation in a multi agent (MAS) system. The efficiency of the cloud platform in terms of the automation of container management, deployment and scaling, together with decentralized decision making and the autonomy of the MAS systems, form a robust basis for approaching in a near future reconfigurable and efficient manufacturing applications, when anomalies are detected in the production plant. In the memory, it ́s made an analysis of the requirements as a basis for choosing the platform among the existing alternatives. The selected platform is described and the technical specification of the extension of the architecture is presented. To analyze the performance of the developed proposal, there are performed some tests on a processor cluster that represents the fog platform, which has been developed in the GCIS research group of the Bilbao School of Engineering

Orchestration of containerized microservices for IIoT using Docker

Industrial Internet of things (IIoTs) relies on different devices working together, gathering and sharing data using multiple communication protocols. This heterogeneity becomes a hindrance in the development of architectures that can support applications operating independently of the underlying protocols. Therefore in this paper, we proposed a modular and scalable architecture based on lightweight virtualization. The modularity provided by the proposed architecture combined with lightweight virtualization orchestration supplied by Docker simplifies management and enables distributed deployments. Availability and fault-tolerance characteristics are ensured by distributing the application logic across different devices where a single microservice or even device failure can have no effect on system performance. The proposed architecture is instantiated and tested on a simple time-dependent use case. The obtained results validates that the proposed architecture can be used to deploy services on demand at different architecture layers

Analyzing the Impacts of Emerging Technologies on Workforce Skills: A Case Study of Industrial Engineering in the Context of the Industrial Internet of Things

New technologies can result in major disruptions and change paradigms that were once well established. Methods have been developed to forecast new technologies and to analyze the impacts of them in terms of processes, products, and services. However, the current literature does not provide answers on how to forecast changes in terms of skills and knowledge, given an emerging technology. This thesis aims to fill this literature gap by developing a structured method to forecast the required set of skills for emerging technologies and to compare it with the current skills of the workforce. The method relies on the breakdown of the emerging technology into smaller components, so then skills can be identified for each component. A case study was conducted to implement and test the proposed method. In this case study, the impacts of the Industrial Internet of Things (IIoT) on engineering skills and knowledge were assessed. Text data analytics validated IIoT as an emerging technology, thus justifying the case study based on engineering and manufacturing discussions. The set of skills required for IIoT was compared to the current skills developed by Industrial Engineering students at the University of Windsor. Text data analytics was also used to evaluate the importance of each IIoT component by measuring how associated individual components are to IIoT. Therefore, existing skill gaps between the current Industrial Engineering program and IIoT requirements were not only mapped, but they were also given weights