Estrategias evolutivas como una opción para la optimización de funciones no lineales con restricciones

Estrategias de evolución es una técnica bio-inspirada, eficiente y robusta para resolver problemas de optimización donde el espacio de soluciones es no restringido. Sin embargo, esta suposición es irreal en muchos casos porque el espacio de soluciones es limitado por fronteras complejas en la forma de restricciones tanto lineales como no lineales. En este artículo de investigación, se propone una modificación al algoritmo original de estrategias de evolución para optimizar problemas donde el espacio de soluciones es limitado usando restricciones complejas. El método propuesto es basado en el uso de una función de penalización la cual es cero dentro de la región factible, e igual al máximo valor dentro de la región factible cuando se considera un punto que es no factible. La aproximación propuesta es probada usando seis problemas de prueba bien conocidos. En todos los casos, esta aproximación encontró un punto óptimo igual o menor que los valores reportados en la literatura

Modelado y predicción del precio de la electricidad en mercados de corto plazo liberalizados usando redes cascada correlación

Las redes cascada correlación fueron desarrolladas en 1991 Scott Fahlman y Christian Lebiere. Este tipo de arquitectura de red construye dinámicamente una estructura de red multicapa y presenta ventajas teóricas respecto a los perceptrones multicapa. En la práctica las redes cascada correlación mostraron ser mejores que los perceptrones multicapa al pronosticar series de tiempo. Sin embargo, las redes cascada correlación pueden adolecer de sobreajuste. Para controlar este problema, en este trabajo se incluyen en la arquitectura de las redes cascada correlación algunas estrategias de regularización: Descomposición de Pesos, Eliminación de Pesos y Regresión en Cadena. Finalmente, se pronostican series de tiempo de precios de la electricidad de Colombia y Brasil con redes cascada correlación regularizadas. / Abstract. The cascade correlation neural netwoks was developed in 1991 by Scott Fahlman and Christian Lebiere. This neural network builds dynamically a multilayer structure and presents theorical advantages over the multilayer perceptrons. In Practice, the cascade correlation has shown better than multilayer perceptrons to forecast time series. Although the cascade correlation can be better than traditional neural networks, they can suffer overfitting. For controlling this problem, in this approach some regularization strategies are proposes: weight decay, weight elimination and ridge regression by forecast three benchmark times series from the real world. The results are comparing with a multilayer perceptron and an ARIMA model. They showed that the regularized cascade correlation capture better the intrinsic dynamics of the time series, and it is able more accuracy forecast. Finally, we forecast some time series of electricity prices of Colombia and Brazil with regularized cascade neural networks.Maestrí

PRONÓSTICO DE SERIES DE TIEMPO CON REDES NEURONALES REGULARIZADAS Y VALIDACIÓN CRUZADA

En este trabajo se propone usar integralmente la estrategia de regularización de descomposición de pesos y validación cruzada con el fin de controlar integralmente el problema del sobreajuste en redes neuronales tipo perceptrón multicapa para el pronóstico de series de tiempo. Con el fin de evaluar la capacidad de la propuesta, se pronostica una serie de tiempo tradicional de la literatura. Los resultados evidencian que la combinación de ambas técnicas permite encontrar modelos con mejor capacidad de generalización que aproximaciones tradicionales

Predicción de series de tiempo con redes cascada-correlación

Las redes neuronales, y en particular los perceptrones multicapa (MLP), han sido reconocidos como una de las más poderosas técnicas para estimar series de tiempo; sin embargo, la técnica de redes cascada-correlación (CC) es un fuerte competidor para pronosticar series temporales pues incorpora mejoras a los problemas de identificabilidad estadística del modelo del MLP. En és- te artículo se compara el rendimiento de las redes CC respecto de otras técnicas, entre ellas el MLP, ANN y Arima, usando va- rias series de tiempo no lineales del mundo real, con el fin de determinar si las CC ofrecen buenos resultados en la práctica. Los resultados indican que las redes CC, en la mayoría de los casos, son superiores a los MLP, ANN y Arima, logrando errores me- nores en magnitud que los reportados en la literatura usando dichas técnicas, mientras que en relación a DAN2 se lograron e- rrores cercanos e incluso mejores.Artificial neural networks, especially multilayer perceptrons, have been recognised as being a powerful technique for forecasting nonlinear time series; however, cascade-correlation architecture is a strong competitor in this task due to it incorporating several advantages related to the statistical identification of multilayer perceptrons. This paper compares the accuracy of a cascade-co- rrelation neural network to the linear approach, multilayer perceptrons and dynamic architecture for artificial neural networks (DAN2) to determine whether the cascade-correlation network was able to forecast the time series being studied with more accu- racy. It was concluded that cascade-correlation was able to forecast time series with more accuracy than other approaches

Desarrollo de un modelo basado en Machine Learning para la predicción de la demanda de habitaciones y ocupación en el sector hotelero /

En esta investigación se entrenaron y validaron diferentes modelos para predecir la ocupación diaria de un hotel, y el mejor modelo encontrado se evaluó sobre los datos de pruebas, todo esto con el propósito de facilitar a los administradores hoteleros la toma de decisiones enfocada a la optimización de los recursos e incrementos en los beneficios del hotel, aplicables en la estrategia de Revenue Management. El entrenamiento y validación se realizó utilizando cuatro técnicas de Machine Learning (Ridge Regression, Kernel Ridge Regression, Redes Neuronales Artificiales perceptrón multicapa y de Función Base Radial). Los datos se separaron en tres conjuntos: entrenamiento, validación y pruebas. Los datasets se construyeron utilizando tres esquemas diferentes, en el primer caso se aplicaron los fundamentos para el desarrollo de modelos de series temporales, en donde las entradas al modelo están basadas en las observaciones realizadas de la ocupación en días anteriores, en el segundo esquema los datasets se basaron en las observaciones de la ocupación en días anteriores y se adicionaron otras variables como el días de la semana, festivos, temporada; en el tercer y último esquema se toman como variables de entrada al modelo la información de las reservas con días de anticipación, adicionalmente se incluye los días de semana , meses del año e información de festivos. 10 En los tres esquemas la validación se realiza sobre los datos reservados para tal fin, la medida de exactitud utilizada para comparar las técnicas es el MAPE (Mean Absolute Percentage Error), y la validación se realiza utilizando el método de validación Rolling Forecasting Update, aplicando los procedimientos de pronóstico one-step-ahead y (h) multi-step-ahead con h=7 para series de tiempo. En el tercer esquema de construcción de datasets se utiliza información de reservas con 90, 60, 30, 20, 15, 10, 7 días de anticipación.Incluye referencias bibliográfica

Utilidad de las redes neuronales artificiales en la asignación donante-receptor en trasplante hepático

El disbalance existente entre el número de donantes y receptores en trasplante hepático hizo que se comenzaran a utilizar donantes con criterios expandidos. Este tipo de donantes, por definición, tienen mayor riesgo de desarrollar una pobre función inicial (IPF), una no función primaria (PNF) del injerto e incluso pueden condicionar una pérdida tardía del mismo. Es sabido que tanto factores del donante como del receptor y factores propios histológicos, de la extracción, de la preservación e incluso del transporte y el implante están implicados en la probabilidad de disfunción orgánica. Así, establecer cuál es la probabilidad de disfunción del injerto mediante la creación de pares donante-receptor en función del riesgo de pérdida del mismo y de la evolución post-trasplante influenciada por multiples variables que acontecen durante todo el periodo de donación-implante-evolución es el objetivo del presente estudio. Para ello, se utilizarán redes neuronales artificiales, que no son otra cosa que algoritmos de cálculo que emulan la capacidad de aprendizaje del sistema nervioso, de tal manera, que la red neuronal identifica un patrón a seguir entre las variables de entrada y las de la salida, teniendo como variable final la supervivencia del injerto y del receptor. Existen actualmente algoritmos que establecen el riesgo de fallo del injerto después de un trasplante hepático, sin embargo, pocos estudios han intentado desarrollar modelos capaces de predecir la supervivencia post-trasplante (1). Estos estudios están basados en experiencias unicéntricas, que carecen de número suficientemente grande de casos para establecer modelos con variables pormenorizadas, y con resultados difíciles de validar fuera de los centros donde se llevaron a cabo. Además, algunos de ellos se han realizado sobre series relativamente antiguas y cuya extrapolación del modelo propuesto al momento actual del trasplante es difícil. Recientemente cuatro modelos de predicción de riesgo basados en variables del donante o del donante y receptor han permitido obtener modelos más realistas que no adolecen de estos inconvenientes (2,3,4,5). En cuanto a las redes neuronales, consisten, desde un punto de vista técnico, en un grupo de unidades de proceso (nodos) que se asemejan a las neuronas al estar interconectadas por medio de un entramado de relaciones (pesos) análogas al concepto de conexiones sinápticas en el sistema nervioso. A partir de los nodos de entrada, la señal progresa a través de la red hasta proporcionar una respuesta en forma de nivel de activación de los nodos de salida. En un contexto médico, el entrenamiento consistiría en presentar a la red, de forma iterativa, los valores de distintas variables clínicas (en forma de valores de la capa de entrada) de cada paciente y conseguir que la red sea capaz de predecir el estado final observado en cada paciente (indicados por el estado de las capas de salida de la red) de la manera más precisa posible (6,7). La posibilidad de resolver problemas difíciles es gracias a los principios de las redes neuronales. Los cinco más importantes son: aprendizaje adaptativo, autoorganización, tolerancia a fallos, operación en tiempo real y fácil inserción en la tecnología existente. Estas características las hacen perfectas para resolver problemas en campos tan variados como la agricultura, la bibliometria, economía y medicina (8,9,10)

Diseño automático de redes de neuronas artificiales para la predicción de series temporales

El ser humano ha avanzado mucho, tecnológicamente hablando, en el último siglo. La sed por descubrir e innovar no tiene límites y cómo no, aplicar dichas innovaciones para nuestro provecho y bienestar general. Uno de los campos de investigación a los que se ha aplicado dicha innovación es la predicción. Al hablar de predicción, lo primero que nos puede venir a la cabeza son temas no tan científicos como la astrología o la lectura de manos, pero en realidad, diversos métodos estadísticos y matemáticos pueden ayudar a proporcionar información sobre el futuro. Uno de los ejemplos más comunes es la predicción del tiempo meteorológico que podemos observar cada día en televisión. Además de los métodos ya mencionados, en los últimos años ha proliferado el estudio de la predicción mediante técnicas de inteligencia computacional y dentro de las predicciones, aquellas que se ocupan de predecir series temporales. La predicción de series temporales consiste en llevar a cabo aproximaciones o estimaciones de qué valores tendrán los elementos futuros de una serie temporal partiendo de los valores de los elementos previos o ya conocidos. Como veremos en esta tesis doctoral, a lo largo de los años se han usado diferentes técnicas de inteligencia computacional con este propósito, aunque nosotros nos centraremos en las redes de neuronas artificiales. Plantearemos las ventajas y problemas que se pueden dar y nos centraremos en intentar solventar dichos problemas. Uno de los problemas clave que se plantea actualmente a la hora de aplicar redes de neuronas artificiales a cualquier dominio dado, es su correcto diseño. Estudiaremos pues las diferentes soluciones propuestas para el correcto diseño de las redes de neuronas artificiales, aunque terminaremos centrándonos en aquellas que hacen uso de la computación evolutiva. Este modelo de redes es el que se conoce como redes de neuronas artificiales evolutivas. Esta tesis doctoral presenta tres enfoques diferentes para el modelado automático de redes de neuronas artificiales. Cada enfoque irá destinado a solventar cada uno de lo que nosotros consideramos los tres puntos o problemas claves existentes al diseñar una red de neuronas artificial. El primer enfoque consistirá en el tratamiento de los datos que son pasados como patrones a la red para que ésta aprenda y sea evaluada. El segundo enfoque se centrará en las diferentes técnicas evolutivas que pueden ser usadas, cómo obtener un fenotipo a partir de un genotipo (y viceversa) y cómo evaluar una red. El último enfoque que se estudiará, es el tipo de arquitectura de red que debe ser usada para la predicción de series temporales. El objetivo final de esta tesis doctoral es llevar a cabo un sistema automático de diseño de redes de neuronas artificiales para solventar problemas de predicción de series temporales con la mayor exactitud posible y transparente al usuario, es decir, que este no tenga que ser un experto en la materia para poder hacer uso de él. --------------------------------------------------------------------------------------------------------------------------------------------------------------------------The human being have progressed a lot, technologically speaking, in the last century. The thirst for discovery and innovation has no limits and of course, to apply these innovations to our benefit and general welfare. One of the research areas that have been applied to this innovation is the prediction. When we talk about prediction, the first thing that may come to our minds are not so scientific issues as astrology or hand reading, but in fact, several statistical and mathematical methods can help to provide information about the future. One of the most common examples is the weather forecasting that we can watch every day on television. Besides the methods already commented, in recent years it has proliferated the prediction study using computational intelligence techniques and within these predictions, those consisting of time series forecasting. Time series forecasting consist of carrying out approximations or estimations about which values will have the future elements of a time series starting from the values of the previous already known elements. As we discuss in this PhD thesis, over the years it has been used different computational intelligence techniques for this purpose, although we will focus on artificial neural networks.We will present the advantages and problems that may appear and we will focus on trying to solve these problems. One of the key problems that currently arise in applying artificial neural networks to any given domain, is its correct design. We will study then the different solutions proposed for the proper design of artificial neural networks, although at the end, we will focus on those which use evolutionary computation. This network model is known as evolutionary artificial neural networks. This PhD thesis presents three different approaches for the automatic design of artificial neural networks. Each approach will be dedicated to solve each of what we consider the three points or key problems in designing an artificial neural network. The first approach will consist of treating the data that are passed to the network as patterns to make it learn and be evaluated. The second approach will focus on the different evolutionary techniques that can be used, how to obtain a phenotype from a genotype (and vice versa) and how to evaluate a network. The last approach to be studied, is the type of network architecture to be used for time series forecasting. The ultimate goal of this thesis is to implement an automatic system to design artificial neural networks to solve time series forecasting problems as accurately as possible and transparent to the user, i.e. that the user did not have to be an expert to make use of it

Evolución de redes neuronales para comandar criaturas que alcanzan objetivos sorteando obstáculos en un entorno virtual 2D

Las redes neuronales artificiales han demostrado ser exitosas resolviendo adecuadamente muchos problemas, pero como todo paradigma también presentan debilidades, tales como dificultad para hallar una topología adecuada, dificultad para elegir el valor apropiado de algunos parámetros del entrenamiento, fuerte dependencia con los valores iniciales de los pesos escogidos aleatoriamente, a veces requieren funciones de transferencia derivables, y entre otras más, pueden caer mínimos locales de la función de error que desean minimizar. Estas dificultades suelen resolverse a fuerza de la experiencia y habilidades de los expertos humanos. Ahora bien, la Computación Evolutiva, que junto al Conexionismo de las redes neuronales artificiales conforma la rama subsimbólica de la Inteligencia Artificial, puede mejorar estos resultados. Así es posible reemplazar el entrenamiento tradicional de las redes neuronales artificiales por la aplicación de los principios darwinianos –evolución por selección natural– a las redes neuronales artificiales debidamente codificadas en un cromosoma. Esto resuelve algunas de las debilidades mencionadas y da origen al nuevo paradigma denominado Neuroevolución. Los investigadores del área han propuesto distintas estrategias dentro de este paradigma. Entre otras cosas se utilizan los algoritmos evolucionarios para conseguir la arquitectura de la red, los pesos de las conexiones y las funciones de transferencia de los nodos. Incluso se han propuesto hibridaciones combinando aprendizaje evolucionario con las técnicas de entrenamiento propias de las redes neuronales artificiales. Esta tesina se enmarca dentro del paradigma de la Neuroevolución y, si bien me he ajustado a la propuesta de trabajo de grado presentada, aspiro a tratar unos cuantos conceptos propios de esta renovada rama de la Inteligencia Artificial.Facultad de Informátic

Evolución de redes neuronales para comandar criaturas que alcanzan objetivos sorteando obstáculos en un entorno virtual 2D

Las redes neuronales artificiales han demostrado ser exitosas resolviendo adecuadamente muchos problemas, pero como todo paradigma también presentan debilidades, tales como dificultad para hallar una topología adecuada, dificultad para elegir el valor apropiado de algunos parámetros del entrenamiento, fuerte dependencia con los valores iniciales de los pesos escogidos aleatoriamente, a veces requieren funciones de transferencia derivables, y entre otras más, pueden caer mínimos locales de la función de error que desean minimizar. Estas dificultades suelen resolverse a fuerza de la experiencia y habilidades de los expertos humanos. Ahora bien, la Computación Evolutiva, que junto al Conexionismo de las redes neuronales artificiales conforma la rama subsimbólica de la Inteligencia Artificial, puede mejorar estos resultados. Así es posible reemplazar el entrenamiento tradicional de las redes neuronales artificiales por la aplicación de los principios darwinianos –evolución por selección natural– a las redes neuronales artificiales debidamente codificadas en un cromosoma. Esto resuelve algunas de las debilidades mencionadas y da origen al nuevo paradigma denominado Neuroevolución. Los investigadores del área han propuesto distintas estrategias dentro de este paradigma. Entre otras cosas se utilizan los algoritmos evolucionarios para conseguir la arquitectura de la red, los pesos de las conexiones y las funciones de transferencia de los nodos. Incluso se han propuesto hibridaciones combinando aprendizaje evolucionario con las técnicas de entrenamiento propias de las redes neuronales artificiales. Esta tesina se enmarca dentro del paradigma de la Neuroevolución y, si bien me he ajustado a la propuesta de trabajo de grado presentada, aspiro a tratar unos cuantos conceptos propios de esta renovada rama de la Inteligencia Artificial.Facultad de Informátic

Evolución de redes neuronales mediante sistemas de reescritura

Las redes neuronales evolutivas son un caso particular de redes neuronales artificiales en donde los pesos de las conexiones no son determinados por un método de entrenamiento sino por la aplicación de un proceso evolutivo. El método propuesto en esta tesis, NeSR, evoluciona tanto los pesos de conexión como la estructura de la red neuronal. Este método se basa en una codificación indirecta, es decir, no evoluciona redes neuronales sino sistemas de reescritura denominados Sistemas L. Esta representación permite construir una red neuronal, la cual será evaluada en el problema a resolver. Este método tiene la virtud de brindar una poderosa flexibilidad en la estructura de las redes generadas a partir de estos sistemas, aunque requiere un costo de procesamiento extra en el paso de convertir un genotivo (Sistema L) en su fenotipo (Red Neuronal). Las mediciones realizadas demuestran su capacidad para resolver distintos tipos de problemas en forma similar a otros métodos neuroevolutivos.Tesis digitalizada en SEDICI gracias a la colaboración de la Biblioteca de la Facultad de Informática.Facultad de Informátic