Dynamic Multi-Objective Optimization With jMetal and Spark: a Case Study

Technologies for Big Data and Data Science are receiving increasing research interest nowadays. This paper introduces the prototyping architecture of a tool aimed to solve Big Data Optimization problems. Our tool combines the jMetal framework for multi-objective optimization with Apache Spark, a technology that is gaining momentum. In particular, we make use of the streaming facilities of Spark to feed an optimization problem with data from different sources. We demonstrate the use of our tool by solving a dynamic bi-objective instance of the Traveling Salesman Problem (TSP) based on near real-time traffic data from New York City, which is updated several times per minute. Our experiment shows that both jMetal and Spark can be integrated providing a software platform to deal with dynamic multi-optimization problems.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Multi-Objective Big Data Optimization with jMetal and Spark

Big Data Optimization is the term used to refer to optimization problems which have to manage very large amounts of data. In this paper, we focus on the parallelization of metaheuristics with the Apache Spark cluster computing system for solving multi-objective Big Data Optimization problems. Our purpose is to study the influence of accessing data stored in the Hadoop File System (HDFS) in each evaluation step of a metaheuristic and to provide a software tool to solve these kinds of problems. This tool combines the jMetal multi-objective optimization framework with Apache Spark. We have carried out experiments to measure the performance of the proposed parallel infrastructure in an environment based on virtual machines in a local cluster comprising up to 100 cores. We obtained interesting results for computational e ort and propose guidelines to face multi-objective Big Data Optimization problems.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Big Data Optimization: Framework Algorítmico para el análisis de Datos guiado por Semántica

En las últimas décadas el aumento de fuentes de información en diferentes campos de la sociedad desde la salud hasta las redes sociales, ha puesto de manifiesto la necesidad de nuevas técnicas para su análisis, lo que se ha venido a llamar el Big Data. Los problemas clásicos de optimización no son ajenos a este cambio de paradigma, como por ejemplo el problema del viajante de comercio (TSP), ya que se puede beneficiar de los datos que proporciona los diferentes sensores que se encuentran en las ciudades y que podemos acceder a ellos gracias a los portales de Open Data. En esta tesis se ha desarrollado un nuevo framework, jMetalSP, para la optimización de problemas en el ´ ámbito del Big Data permitiendo el uso de fuentes de datos externas para modificar los datos del problema en tiempo real. Por otro lado, cuando estamos realizando análisis, ya sea de optimización o machine learning en Big Data, una de las formas más usada de abordarlo es mediante workflows de análisis. Estos están formados por componentes que hacen cada paso del análisis. El flujo de información en workflows puede ser anotada y almacenada usando herramientas de la Web Semántica para facilitar la reutilización de dichos componentes o incluso el workflow completo en futuros análisis, facilitando así, su reutilización y a su vez, mejorando el procesos de creación de los mismos. Para ello se ha creado la ontología BIGOWL, que permite trazar la cadena de valor de los datos de los workflows mediante semántica y además ayuda al analista en la creación de workflow gracias a que va guiando su composición con la información que contiene por la anotación de algoritmos, datos, componentes y workflows

Big Data Optimization : Algorithmic Framework for Data Analysis Guided by Semantics

Fecha de Lectura de Tesis: 9 noviembre 2018.Over the past decade the rapid rise of creating data in all domains of knowledge such as traffic, medicine, social network, industry, etc., has highlighted the need for enhancing the process of analyzing large data volumes, in order to be able to manage them with more easiness and in addition, discover new relationships which are hidden in them Optimization problems, which are commonly found in current industry, are not unrelated to this trend, therefore Multi-Objective Optimization Algorithms (MOA) should bear in mind this new scenario. This means that, MOAs have to deal with problems, which have either various data sources (typically streaming) of huge amount of data. Indeed these features, in particular, are found in Dynamic Multi-Objective Problems (DMOPs), which are related to Big Data optimization problems. Mostly with regards to velocity and variability. When dealing with DMOPs, whenever there exist changes in the environment that affect the solutions of the problem (i.e., the Pareto set, the Pareto front, or both), therefore in the fitness landscape, the optimization algorithm must react to adapt the search to the new features of the problem. Big Data analytics are long and complex processes therefore, with the aim of simplify them, a series of steps are carried out through. A typical analysis is composed of data collection, data manipulation, data analysis and finally result visualization. In the process of creating a Big Data workflow the analyst should bear in mind the semantics involving the problem domain knowledge and its data. Ontology is the standard way for describing the knowledge about a domain. As a global target of this PhD Thesis, we are interested in investigating the use of the semantic in the process of Big Data analysis, not only focused on machine learning analysis, but also in optimization

Un Framework para Big Data Optimization Basado en jMetal y Spark

Las metaheurísticas multi-objetivo se han convertido en técnicas muy utilizadas para la resolución de problemas complejos de optimización compuestos de varias funciones objetivo en conflicto entre sí. Nos encontramos en la actualidad inmersos en la era del Big Data, por lo que los problemas multi-objetivo que surjan en este contexto cumplirán algunas de las cinco V’s que caracterizan a las aplicaciones Big Data (volumen, velocidad, variedad, veracidad, valor). Como consecuencia, las metaheurísticas deberán ser capaces de resolver problemas dinámicos, que pueden cambiar en el tiempo debido al procesamiento y análisis de diferentes fuentes de datos, que típicamente serán en streaming. En este trabajo presentamos el software jMetalSP, que combina el framework jMetal con Apache Spark. De esta forma, las metaheurísticas disponibles en jMetal se pueden adaptar fácilmente para resolver problemas dinámicos que se alimenten de distintas fuentes de datos en streaming, y que son gestionadas por Spark. Se describe la arquitectura de jMetalSP y se valida mediante un caso de uso realista basado en TSP bi-objetivo con datos abiertos reales de tráfico de la ciudad de Nueva York.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Algoritmo Evolutivo Multi-Objectivo para la Toma de Decisiones Interactiva en Optimización Dinámica

Debido al creciente interés en el análisis de datos en streaming en entornos Big Data para la toma de decisiones, cada vez es más común la aparición de problemas de optimización dinámica que involucran dos o más objetivos en conflicto. Sin embargo, los enfoques que combinan optimización dinámica multi-objetivo con la articulación de preferencias para la toma de decisiones son todavía escasos. En este artículo, proponemos un nuevo algoritmo de optimización dinámica multi-objetivo llamado InDM2, que permite incorporar preferencias del experto (humano) de cara a la toma de decisiones para guiar el proceso de búsqueda. Con InDM2, el decisor no solo puede expresar sus preferencias mediante uno o más puntos de referencia (que definen la la región de interés deseada), sino que estos puntos también se pueden modificar de manera interactiva. La propuesta incorpora métodos para mostrar gráficamente las diferentes aproximaciones de la región de interés obtenidas durante el proceso de optimización. El decisor puede así inspeccionar y cambiar, en tiempo de optimización, la región de interés de acuerdo con la información mostrada. Las principales características de InDM2 son descritas y se analiza su funcionamiento mediante casos de uso académicos.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

An approach to support generic topologies in distributed PSO algorithms in Spark

Particle Swarm Optimization (PSO) is a popular population-based search algorithm that has been applied to all kinds of complex optimization problems. Although the performance of the algorithm strongly depends on the social topology that determines the interaction between the particles during the search, current Metaheuristic Optimization Frameworks (MOFs) provide limited support for topologies. In this paper, we present an approach to support generic topologies in distributed PSO algorithms within a framework for the development and execution of populationbased metaheuristics in Spark, which is currently under development.Facultad de Informátic