Overfitting control inside cascade correlation neural networks applied to electricity contract price prediction

Prediction of electricity prices is considered a difficult task due to the number and complexity of factors that influence their performance, and their relationships. Neural networks cascade correlation - CASCOR allows to do a constructive learning and it captures better the characteristics of the data; however, it has a high tendency to overfitting. To control overfitting in some areas regularization techniques are used. However, in the literature there are no studies that: i) use regularization techniques to control overfitting in CASCOR networks, ii) use CASCOR networks in predicting of electrical series iii) compare the performance with tra­ditional neural networks or statistical models. The aim of this paper is to model and predict the behavior of the price series of electricity contracts in Colombia, using CASCOR networks and controlling the overfitting by regularization techniques.La predicción de precios de electricidad es considerada una tarea difí­cil debido a la cantidad y complejidad de los factores que influyen en su representación, y sus relaciones. Las redes neuronales tipo cascada correlación –CASCOR– permiten, realizar un aprendizaje constructivo, capturando mejor las características de los datos; sin embargo, presentan una alta tendencia al sobreajuste. Para el control del sobreajuste en algunos ámbitos se usan técnicas de regularización. No obstante, en la literatura no existen estudios que: i) Utilicen técnicas de regularización para el control de sobreajuste en redes CASCOR; ii) Usen redes CASCOR en la predicción de series de electricidad; iii) comparen el desempeño con redes neuronales tradicionales o modelos estadísticos. El objetivo de este artículo es modelar y predecir el comportamiento de la serie de precios de contratos de electricidad en Colombia, usando redes CASCOR y con­trolando el sobreajuste con técnicas de regularización

PRONÓSTICO DE SERIES DE TIEMPO CON REDES NEURONALES REGULARIZADAS Y VALIDACIÓN CRUZADA

En este trabajo se propone usar integralmente la estrategia de regularización de descomposición de pesos y validación cruzada con el fin de controlar integralmente el problema del sobreajuste en redes neuronales tipo perceptrón multicapa para el pronóstico de series de tiempo. Con el fin de evaluar la capacidad de la propuesta, se pronostica una serie de tiempo tradicional de la literatura. Los resultados evidencian que la combinación de ambas técnicas permite encontrar modelos con mejor capacidad de generalización que aproximaciones tradicionales

感性推定のためのDeep Learning による特徴抽出

広島大学(Hiroshima University)博士(工学)Doctor of Engineeringdoctora

Desarrollo de un modelo basado en Machine Learning para la predicción de la demanda de habitaciones y ocupación en el sector hotelero /

En esta investigación se entrenaron y validaron diferentes modelos para predecir la ocupación diaria de un hotel, y el mejor modelo encontrado se evaluó sobre los datos de pruebas, todo esto con el propósito de facilitar a los administradores hoteleros la toma de decisiones enfocada a la optimización de los recursos e incrementos en los beneficios del hotel, aplicables en la estrategia de Revenue Management. El entrenamiento y validación se realizó utilizando cuatro técnicas de Machine Learning (Ridge Regression, Kernel Ridge Regression, Redes Neuronales Artificiales perceptrón multicapa y de Función Base Radial). Los datos se separaron en tres conjuntos: entrenamiento, validación y pruebas. Los datasets se construyeron utilizando tres esquemas diferentes, en el primer caso se aplicaron los fundamentos para el desarrollo de modelos de series temporales, en donde las entradas al modelo están basadas en las observaciones realizadas de la ocupación en días anteriores, en el segundo esquema los datasets se basaron en las observaciones de la ocupación en días anteriores y se adicionaron otras variables como el días de la semana, festivos, temporada; en el tercer y último esquema se toman como variables de entrada al modelo la información de las reservas con días de anticipación, adicionalmente se incluye los días de semana , meses del año e información de festivos. 10 En los tres esquemas la validación se realiza sobre los datos reservados para tal fin, la medida de exactitud utilizada para comparar las técnicas es el MAPE (Mean Absolute Percentage Error), y la validación se realiza utilizando el método de validación Rolling Forecasting Update, aplicando los procedimientos de pronóstico one-step-ahead y (h) multi-step-ahead con h=7 para series de tiempo. En el tercer esquema de construcción de datasets se utiliza información de reservas con 90, 60, 30, 20, 15, 10, 7 días de anticipación.Incluye referencias bibliográfica

Una nueva metodología de entrenamiento de redes neuronales y sus implicaciones en la selección de modelos

La predicción de series de tiempo con redes neuronales ha sido una práctica aceptada en la literatura, gracias a las bondades de generalización y ajuste que poseen dichos modelos; sin embargo, el elevado número de factores que deben ser determinados en el proceso de construcción de un modelo de redes neuronales, a menudo, conduce a resultados inconsistentes puesto que depende en muchas instancias de las decisiones tomadas por el modelador(Zhang et al., 1998).La capacidad de ajuste de una red neuronal se ve afectada por la configuración usada, en especial, en relación al número de neuronas ocultas y de variables de entrada, toda vez que, a medida que el número de parámetros del modelo aumenta, se favorece el aprendizaje de la red y por tanto el ajuste es mejor. En teoría, un proceso iterativo de adición de parámetros (entradas y neuronas ocultas) debería conducir a reducciones sistemáticas en el error de ajuste. En esta tesis se validó la hipótesis que la adición de entradas y neuronas ocultas debe conducir a reducciones en el error de ajuste, donde la evidencia experimental demostró que los métodos de optimización evaluados exhiben comportamientos diferentes a los teóricamente esperados, incumpliendo el supuesto de reducción del error. Por lo tanto, el logro principal de esta tesis es el desarrollo una estrategia para la construcción de modelos de red neuronal basada en el diseño de un algoritmo de entrenamiento que garantice la reducción del error de ajuste a medida que se agregan parámetros a la red neuronal. Para cumplir con el criterio de reducción del error de ajuste, se diseñó una estrategia constructiva orientada a conservar, en el nuevo modelo, los pesos de los parámetros del modelo anterior (modelo con menos neuronas o entradas) y hacer cero los pesos de las nuevas conexiones, como un paso previo a la optimización del modelo. La optimización del nuevo modelo parte del valor de error alcanzado por el modelo anterior y, por lo tanto, debe mejorar o permanecer igual. La aplicación experimental de la estrategia constructiva presenta resultados ampliamente satisfactorios, toda vez que, no sólo se cumple con la reducción del error, sino que se alcanzar valores con precisión cero en el error de ajuste. Igualmente, se desarrollaron modificaciones a la estrategia constructiva de tal forma que se pueda reducir el número de modelos que se requieren evaluar. En este punto se realizaron dos modificaciones, una considerando la adición de entradas de forma secuencial (ordenada), y otra de forma no secuencial. Para lograr la reducción en el número de modelos evaluados, en la estrategia secuencial para cada nuevo modelo se contrastan si debe adicionarse una entrada o una neurona; la decisión se toma basada en el menor error de ajuste. La estrategia no secuencial permite que entradas no contiguas puedan incluirse en la red, de tal forma que, la decisión de incluir una neurona oculta o una entrada, implica evaluar el error de ajuste de todas las entradas disponibles; el nuevo modelo es aquel que aporte mayor beneficio en el error del modelo. Los resultados experimentales satisfacen ampliamente el requerimiento, toda vez que se alcanzan reducciones muy significativas en el número de modelos a evaluar con el uso de ambas estrategias. Posteriormente, se evalúa el impacto de la estrategia constructiva planteada sobre tres categorías de criterios de selección o especificación del modelo: basados en error de ajuste, en criterios de información, y en pruebas estadísticas. La selección basada en las estrategias de especificación de modelos indica que dichos criterios no están en capacidad de elegir el mejor modelo tras contar con un algoritmo constructivo consistente., por lo tanto, carecen de validez. Los resultados encontrados impactan fuertemente los procesos de construcción y especificación de modelos de redes neuronales, toda vez que, conducen a tener modelos sobre-parametrizados con una alta tendencia al sobre-ajuste, lo que se traduce en modelo con muy buen ajuste, pero con pobre generalización y baja parsimonia. Los principales aportes de esta tesis son cuatro: La validación de la hipótesis que la adición iterativa de neuronas ocultas y entradas en un modelo de redes neuronales debe conducir a reducciones en el error de ajuste, y la discusión de sus implicaciones. El desarrollo una estrategia para la construcción de modelos de red neuronal basada en el diseño de un algoritmo de entrenamiento que garantiza la reducción del error de ajuste a medida que se agregan parámetros a la red neuronal. El desarrollo de dos estrategias constructivas modificadas que permiten reducir el número de modelos que se requieren evaluar; una donde las entradas se agregan de forma secuencial y otra, no secuencial. La evaluación de la estrategia constructiva planteada sobre los criterios de selección del modelo /Abstract. Time series prediction with neural networks has been an accepted practice in the literature, for its high ability of generalization and adjustment, however, the large number of factors must be determined in the building a neural network model often leads to inconsistent results since it depends on many instances of decisions made by the modeler (Zhang et al., 1998). Adjustment capacity of a neural network is affected by the configuration used, especially by the number of hidden neurons and input variables. When the number of model parameters increases, improves learning network and therefore the setting is best. In theory, an iterative process of adding parameters (inputs and hidden neurons) should lead to systematic reductions in adjustment error. This thesis validated the hypothesis that addition of inputs and hidden neurons should lead to reductions in the adjustment error. Experimental evidence showed that the optimization methods exhibit different behaviors to the theoretically expected; therefore, the models fail in the reduction assumption of adjustment error. The main achievement of this thesis is the developing a strategy for building neural network models based on the design of a training algorithm that ensures error reduction when added parameters to the neural network. To achieve the reduction assumption of adjustment error, we designed a constructive strategy aimed at conserving the weights of the parameters of the previous model (model with fewer neurons or inputs) and to zero the weights of the new connections, prior to the optimization of the model. The optimization of the new model retains the error value reached by the previous model and, therefore, be improved or remain the same. The experimental application of the constructive approach presented results widely satisfactory, because complies with the reduction of error, and permit to reach values near to zero in the adjustment error. Likewise, we did modifications the constructive strategy so that it can reduce the model numbers that require evaluation. Two modifications were made, one considering adding entries sequentially (ordinate), and other non-sequential. To achieve a reduction in the number of models tested, in the sequential strategy each new model is compared if should be added an entry or a neuron, the decision is based on the lowest adjustment error. The non-sequential strategy allows non-contiguous entries may be included in the network, so that the decision to include a hidden neuron or input involves evaluate all entries available; the new model is one that provides greater reduction in the error. The experimental results fully satisfy the requirements; they achieve very significant reductions in the number of model to evaluate using both strategies. Subsequently, we evaluate the impact of the constructive strategy on three categories of selection criteria or specification of the model: based on adjustment error, in information criteria, and statistical tests. Selection based on the strategies of model specification indicates that none of these criteria are not able to choose the best model, therefore, these strategies are not valid. The results strongly impact the processes of building and specification of neural network models, since, leading to over-parameterized models have a high tendency to over-adjustment, which results in very good model fit, but with poor generalization and low parsimony. The main contributions of this this are four: Validation of the hypothesis that the iterative addition of hidden neurons and inputs in a neural network model should lead to reductions in the fit error, and discussion of its implications. Developing a strategy for building neural network models based on the design of a training algorithm that ensures error reduction when are added parameters to the neural network. Development of two modified constructive strategies that reduce the number of models that require evaluation, one where the inputs are added sequentially and the other, non-sequential. Evaluation of the performance of constructive strategies by model selection criteriaDoctorad

On the Selection of Weight Decay Parameter for Faulty Networks

Abstract—The weight-decay technique is an effective approach to handle overfitting and weight fault. For fault-free networks, without an appropriate value of decay parameter, the trained network is either overfitted or underfitted. However, many existing results on the selection of decay parameter focus on fault-free networks only. It is well known that the weight-decay method can also suppress the effect of weight fault. For the faulty case, using a test set to select the decay parameter is not practice because there are huge number of possible faulty networks for a trained network. This paper develops two mean prediction error (MPE) formulae for predicting the performance of faulty radial basis function (RBF) networks. Two fault models, multiplicative weight noise and open weight fault, are considered. Our MPE formulae involve the training error and trained weights only. Besides, in our method, we do not need to generate a huge number of faulty networks to measure the test error for the fault situation. The MPE formulae allow us to select appropriate values of decay parameter for faulty networks. Our experiments showed that, although there are small differences between the true test errors (from the test set) and the MPE values, the MPE formulae can accurately locate the appropriate value of the decay parameter for minimizing the true test error of faulty networks. Index Terms—Faulty network, generalization error, mean prediction error, regularization, weight decay