STaRS: A scalable task routing approach to distributed scheduling

La planificación de muchas tareas en entornos de millones de nodos no confiables representa un gran reto. Las plataformas de computación más conocidas normalmente confían en poder gestionar en un elemento centralizado todo el estado tanto de los nodos como de las aplicaciones. Esto limita su escalabilidad y capacidad para tolerar fallos. Un modelo descentralizado puede superar estos problemas pero, por lo que sabemos, ninguna solución propuesta hasta el momento ofrece resultados satisfactorios. En esta tesis, presentamos un modelo de planificación descentralizado con tres objetivos: que escale hasta millones de nodos, sin una pérdida de prestaciones que lo inhabilite; que tolere altas tasas de fallos; y que permita la implementación de varias políticas de planificación para diferentes situaciones. Nuestra propuesta consta de tres elementos principales: un modelo de datos genérico para representar la disponibilidad de los nodos de ejecución; un esquema de agregación que propaga esta información por una capa de red jerárquica; y un algoritmo de reexpedición que, usando la información agregada, encamina tareas hacia los nodos de ejecución más apropiados. Estos tres elementos son fácilmente extensibles para proporcionar diversas políticas de planificación. En concreto, nosotros hemos implementado cinco. Una política que simplemente asigna tareas a nodos desocupados; una política que minimiza el tiempo de finalización del trabajo global; una política que cumple con los requerimientos de fecha límite de aplicaciones tipo "saco de tareas"; una política que cumple con los requerimientos de fecha límite de aplicaciones tipo "workflow"; y una política que otorga una porción equitativa de la plataforma a cada aplicación. La escalabilidad se consigue a través del esquema de agregación, que provee de suficiente información de disponibilidad a los niveles altos de la jerarquía sin inundarlos, y el algoritmo de reexpedición, que busca nodos de ejecución en varias ramas de la jerarquía de manera concurrente. Como consecuencia, los costes de comunicación están acotados y los de asignación muestran un comportamiento casi logarítmico con el tamaño del sistema. Un millar de tareas se asignan en una red de 100.000 nodos en menos de 3,5 segundos, así que podemos plantearnos utilizar nuestro modelo incluso con tareas de tan solo unos minutos de duración. Por lo que sabemos, ningún trabajo similar ha sido probado con más de 10.000 nodos. Los fallos se gestionan con una estrategia de mejor esfuerzo. Cuando se detecta el fallo de un nodo, las tareas que estaba ejecutando son reenviadas por sus propietarios y la información de disponibilidad que gestionaba es reconstruida por sus vecinos. De esta manera, nuestro modelo es capaz de degradar sus prestaciones de manera proporcional al número de nodos fallidos y recuperar toda su funcionalidad. Para demostrarlo, hemos realizado pruebas de tasa media de fallos y de fallos catastróficos. Incluso con nodos fallando con un periodo mediano de solo 5 minutos, nuestro planificador es capaz de continuar dando servicio. Al mismo tiempo, es capaz de recuperarse del fallo de una fracción importante de los nodos, siempre que la capa de red jerárquico que sustenta el sistema pueda soportarlo. Después de comprobar que es factible implementar políticas con muy distintos objetivos usando nuestro modelo de planificación, también hemos probado sus prestaciones. Hemos comparado cada política con una versión centralizada que tiene pleno conocimiento del estado de cada nodo de ejecución. El resultado es que tienen unas prestaciones cercanas a las de una implementación centralizada, incluso en entornos de gran escala y con altas tasas de fallo

Application Driven MOdels for Resource Management in Cloud Environments

El despliegue y la ejecución de aplicaciones de gran escala en sistemas distribuidos con unos parametros de Calidad de Servicio adecuados necesita gestionar de manera eficiente los recursos computacionales. Para desacoplar los requirimientos funcionales y los no funcionales (u operacionales) de dichas aplicaciones, se puede distinguir dos niveles de abstracción: i) el nivel funcional, que contempla aquellos requerimientos relacionados con funcionalidades de la aplicación; y ii) el nivel operacional, que depende del sistema distribuido donde se despliegue y garantizará aquellos parámetros relacionados con la Calidad del Servicio, disponibilidad, tolerancia a fallos y coste económico, entre otros. De entre las diferentes alternativas del nivel operacional, en la presente tesis se contempla un entorno cloud basado en la virtualización de contenedores, como puede ofrecer Kubernetes.El uso de modelos para el diseño de aplicaciones en ambos niveles permite garantizar que dichos requerimientos sean satisfechos. Según la complejidad del modelo que describa la aplicación, o el conocimiento que el nivel operacional tenga de ella, se diferencian tres tipos de aplicaciones: i) aplicaciones dirigidas por el modelo, como es el caso de la simulación de eventos discretos, donde el propio modelo, por ejemplo Redes de Petri de Alto Nivel, describen la aplicación; ii) aplicaciones dirigidas por los datos, como es el caso de la ejecución de analíticas sobre Data Stream; y iii) aplicaciones dirigidas por el sistema, donde el nivel operacional rige el despliegue al considerarlas como una caja negra.En la presente tesis doctoral, se propone el uso de un scheduler específico para cada tipo de aplicación y modelo, con ejemplos concretos, de manera que el cliente de la infraestructura pueda utilizar información del modelo descriptivo y del modelo operacional. Esta solución permite rellenar el hueco conceptual entre ambos niveles. De esta manera, se proponen diferentes métodos y técnicas para desplegar diferentes aplicaciones: una simulación de un sistema de Vehículos Eléctricos descrita a través de Redes de Petri; procesado de algoritmos sobre un grafo que llega siguiendo el paradigma Data Stream; y el propio sistema operacional como sujeto de estudio.En este último caso de estudio, se ha analizado cómo determinados parámetros del nivel operacional (por ejemplo, la agrupación de contenedores, o la compartición de recursos entre contenedores alojados en una misma máquina) tienen un impacto en las prestaciones. Para analizar dicho impacto, se propone un modelo formal de una infrastructura operacional concreta (Kubernetes). Por último, se propone una metodología para construir índices de interferencia para caracterizar aplicaciones y estimar la degradación de prestaciones incurrida cuando dos contenedores son desplegados y ejecutados juntos. Estos índices modelan cómo los recursos del nivel operacional son usados por las applicaciones. Esto supone que el nivel operacional maneja información cercana a la aplicación y le permite tomar mejores decisiones de despliegue y distribución.<br /

Diseño, Despliegue y Monitorización de un Simulador Distribuido de Eventos Discretos.

Las Redes de Petri se emplean en la industria como una herramienta matemática para la descripción y análisis de sistemas concurrentes y distribuidos. En este caso, es capaz de describir un modelo ejecutable en un simulador de eventos discretos. Tal modelo comprendería de un alto número de eventos para redes de gran escala, que implicaría la necesidad de un simulador distribuido. Se presenta la oportunidad de definir un nuevo paradigma para la composición de problemas sobre eventos distribuidos; y como corresponde, una nueva escena de desarrollo para este modelo de computación. Son numerosas las posibles optimizaciones y mejoras que se pueden plantear para la ejecución de este entorno. Para ello, se asientan cuestiones de diseño del simulador distribuido. Como es natural, esta serie de simulaciones distribuidas no pueden ser probadas sin unas herramientas de despliegue adecuadas. Se deberá de tener en cuenta que la versatilidad requiere flexibilidad a la hora de poner en marcha el sistema. Un despliegue debe de conocer la completa estructura de nodos de simulación, que vendrá marcada por una definición de red. De la misma manera, no se puede asertar un correcto funcionamiento del sistema sin las necesarias herramientas de monitorización. Se añade a la problemática de despliegue nuevas nociones para la infraestructura de la monitorización, y el correcto tratamiento sobre el trazado y métricas del simulador, manteniendo las capacidades de escalabilidad del mismo. En conclusión, se parte de una perspectiva en la que se debe completar la noción del diseño de un simulador, para luego definir su metodología de despliegue, y finalmente, dar un énfasis para establecer los componentes de monitorización que expondrán el comportamiento del sistema.<br /

Diseño de un sistema de configuración dinámica de OpenStack

Diseñar e implementar un sistema que permita cambios rápidos y flexibles de configuraciones del sistema cloud Openstack y sus diferentes componentes. El problema principal es de complejidad, con la gran cantidad de servicios interdependientes que hay que configurar, poner en marcha, y comprobar su correcto funcionamiento. Pero también cambiar la configuración en marcha desactivando servicios y configurando nuevos. Gestión de aspectos distribuidos como autentifiación, máquinas virtuales, almacenamiento básico, monitorización. Además considerando aspectos de alta disponibilidad

Automatización del despliegue de simulaciones distribuidas en cloud híbrido

Computer Science for Complex System Modeling (COSMOS) es un grupo de investigación dentro del Departamento de Informática e Ingeniería de Sistemas (DIIS) que trabaja en el desarrollo de sistemas distribuidos. Uno de los proyectos que se encuentra bajo desarrollo es la simulación de Sistema de Eventos Discretos (SED) con una gran amplitud. Su foco principal en estos últimos an ̃os es la puesta en marcha de un simulador de SED en un entorno distribuido. En este TFG se propone una prueba para el desarrollo y automatización del despliegue de una infraestructura para la ejecución de simulaciones distribuidas en un entorno de Cloud Híbrido.Uno de los problemas que se afronta cuando este equipo se encuentra ante simulaciones con tamaño amplio es la incapacidad de realizar estas mismas en un único nodo, este problema se solventa con el uso de un simulador distribuido. La solución anterior genera de nuevo un obstáculo que consiste en que la operativa para la puesta en marcha de este simulador y la posterior recogida de datos es complicada y poco cómoda, por lo que es aquí donde entra en juego el Trabajo de Fin de Grado (TFG) que se documenta en esta memoria.El proyecto que se desarrolla proporciona una solución para facilitar la operativa de las simulaciones. Esto se consigue con el uso de Slurm, un planificador de tareas desplegado en Cloud Híbrido. Elegir un planificador de software libre no ha sido una decisión fácil, puesto que, hoy en d ́ıa, existen múltiples herramientas en el mercado, todas ellas similares y muy completas. Tras seleccionar el planificador m ́as adecuado, se ha podido desplegar el sistema y elaborar una solución. La solución propone una infraestructura heterogénea que hace uso de Google Cloud Platform (GCP) como proveedor del cluster en Cloud Público, y, una cluster on-premise como proveedor del Cloud Privado.El despliegue del sistema en este entorno h ́ıbrido se encuentra automatizado para facilitar su futura puesta en marcha en otras infraestructuras. Esta automatización ha sido realizada haciendo uso de Terraform y Ansible, dos programas de modelización de recursos. El primero ha sido usado para los recursos Cloud Público (máquinas virtuales, zonas DNS, firewall, etc), mientras que el segundo ha sido usado para los recursos de administración de sistemas del Cloud Privado.Para terminar se han realizado dos tipos de evaluaciones. En primer lugar, se han validado los módulos de automatización de creación y modelización de recursos, y de esta manera se ha demostrado que los módulos desarrollados llevan a cabo su trabajo de manera correcta. Y, en segundo lugar, se han llevado a cabo pruebas con distintos casos de uso de despliegues de simulaciones en Cloud Privado, Cloud Público y Cloud Híbrido para comprobar la robustez y las capacidades del sistema desplegado. Una vez validado el sistema se han hecho pruebas en un entorno real de simulación distribuida. Tras comprobar que las simulaciones se ejecutaban de manera correcta con una asignación de recursos adecuada, y se podía obtener la salida de estas simulaciones de manera centralizada y sencilla, se dio por evaluado de manera correcta el sistema.Como resultado de ese proyecto, no solo se ha elaborado un TFG, sino que también se ha colaborado en la publicación de un articulo de investigación que ha sido aprobado, publicado y seleccionado como mejor artículo de la conferencia en la GECON - International Conference on the Economics of Grids, Clouds, Systems, and Services. Este proyecto servir ́a como base para futuros usuarios, profesores y grupos de investigación que deseen seguir la linea de investigación del despliegue de una infraestructura para simulaciones distribuidas en un entorno de Cloud Híbrido.<br /

Mobile Agent security using Proxy-agents and Trusted domains

Commercial or wide-network deployment of Mobile Agent Systems is not possible without satisfying security architecture. In this paper we propose architecture for secure Mobile Agent Systems, using Trusted Domains and Proxy agents. Existing approaches are based on security services at the level of an agent system, library or specific objects. Our concept uses proxy agents to enable transparent security services both to security-aware mobile agents and legacy agents. Per-agent and domain-level security is provided. Proposed concept can be used with non-compatible environments and legacy systems

Diseño e implementación de un simulador distribuido de alta escala de sistemas de eventos discretos.

En la actualidad los sistemas tienen cada vez un mayor tamaño y complejidad que requiere la utilización de modelos que describan su comportamiento. La solución a este problema consiste en la simulación de sistemas para reproducir el comportamiento de un sistema dinámico mediante la interpretación de un modelo. Sin embargo, para poder simular sistemas de gran tamaño y complejidad es necesario que la simulación y las herramientas que se utilicen sean escalables. Para lograrlo se ha realizado el desarrollo e implementación de un simulador distribuido de sistemas de eventos discretos modelados por redes de Petri. El simulador utiliza el método de sincronización conservativo mediante el uso de los mensajes de lookahead. Se ha realizado un análisis profundo del lookahead, de su cálculo y de su gestión, obteniendo diferentes alternativas para mejorar el rendimiento del simulador. Se debe a que para simulaciones de alta escala sus prestaciones son un aspecto clave, y dependen principalmente del mecanismo de lookahead. Además, se presenta una solución para la simulación de alta escala que se ha llamado simulación a nivel de regiones cuyo propósito es acelerar la simulación.<br /

Diseño e implementación de un compilador de Redes de Petri de grandes dimensiones.

El análisis y la experimentación del comportamiento de sistemas en el ámbito de la ingeniería ha cobrado una relevancia incalculable en el transcurso de los últimos años con el aumento exponencial de su tamaño y complejidad. Debido a ello, es muy complicado poder experimentar con prototipos de sistemas y así poder conocer las posibles prestaciones y posibles puntos débiles de estos prototipos, ya que es necesario disponer de una gran infraestructura para poder hacer pruebas de este calibre. Como solución a este problema, la simulación de estos prototipos permite reproducir su comportamiento con el fin de obtener la misma información que en el caso de montar toda la infraestructura que sería necesaria. Para poder realizar la tarea de la simulación de los prototipos es necesario tener un sistema en el que se pueda establecer una representación de los prototipos la cual permita su simulación. En este trabajo se va a tratar con sistemas de eventos discretos a partir de una formalización usando Redes de Petri. Para poder describir los sistemas que van a ser simulados es necesario establecer un lenguaje en el que se puedan declarar cada uno de los componentes que van a ser partícipes en la simulación así como cada una de las relaciones entre dichos componentes. Este va a ser uno de los puntos de este trabajo: crear un lenguaje de descripción de sistemas utilizando Redes de Petri como medio formal y que permita el despliegue y linkado de las componentes en un entorno de ejecución distribuido. Además de poder formalizar sistemas en un lenguaje que pueda permitir su simulación, es necesario que los sistemas descritos puedan ser de grandes dimensiones, dada la complejidad de los sistemas actuales, por lo que el lenguaje de descripción debe de ser capaz de dar la posibilidad de describir sistemas de grandes dimensiones que partir de la mínima expresión textual. Con ello, se va a poder modelar grandes sistemas de manera rápida y sencilla. Con ello, el compilador y el linker de Redes de Petri desarrollado es una primera versión para la formalización de sistemas de grandes dimensiones y su traducción para que los simuladores ya existentes puedan ejecutar simulaciones con sistemas de grandes dimensiones.<br /

Diseño e implementación de un servicio web para gestión de simulaciones distribuidas.

Primera implementación de Framework Web de modelado y simulación distribuida, que recoge la capacidad de una representación gráfica y textual de los modelos que a su vez pueden ser almacenados, modificados o eliminados en el Sistema de la Información creado. Además se integran las herramientas de compilación/simulación ya creadas en otros proyectos junto a la persistencia de sus resultados en Base de Datos y la creación de un sistema de automatización, también integrado, de despliegue de máquinas en el Cloud para simulación distribuida de grandes modelos.<br /

Diseño e implementación de un simulador distribuido de eventos discretos con mecanismos de balanceo de carga

El análisis y comprensión del comportamiento de sistemas en el ámbito de la ingeniería ha cobrado una vital importancia en los últimos tiempos con el aumento exponencial de su tamaño y complejidad. Debido a ello, se hace muy complicado el hecho de crear prototipos o clones de un sistema para analizar su comportamiento o probar nuevas mejoras del mismo. Para dar solución a este problema, la simulación de sistemas permite reproducir el comportamiento de un sistema dinámico mediante la interpretación de un modelo que representa de manera fidedigna su funcionamiento.Sin embargo, para poder simular sistemas de gran tamaño y complejidad, se requiere que esta simulación y las herramientas que lo soportan sean escalables. Para ello, se ha abordado el desarrollo e implementación de un simulador distribuido que reproduce el comportamiento de un sistema de eventos discretos modelado por Redes de Petri, y además, se han incorporado mecanismos que sean capaces de redistribuir la carga de trabajo que soporta cada uno de los nodos que interviene en la simulación.Estos mecanismos de balanceo de la carga son el aspecto innovador que aporta este trabajo al campo de la simulación distribuida conservativa, ya que la solución propuesta de redistribuir la partición de modelo que recibe un nodo de simulación durante el proceso de simulación sin llegar a detenerla es novedosa, a pesar de que en otros trabajos anteriores se hayan abordado soluciones respecto al balanceo de la carga en simulaciones distribuidas<br /