Aproximación de funciones con redes neuronales y algoritmos evolutivos

Lo subo en calidad de coautor, ya que el asesor es profesor de asignatura y me autorizo subirlo, así mismo tengo la autorización del Alumno graduado de MaestríaEn este trabajo de investigación se aborda el problema de aproximación de funciones de energía finita, a través de un modelo de red neuronal artificial que involucra funciones wavelets y algoritmos evolutivos. La aproximación de funciones de energía finita es un problema de interés en varias áreas del conocimiento. Por ejemplo, en la aproximación de funciones que representan variables financieras como los índices de la bolsa de valores, o variables de fenómenos naturales, como la temperatura atmosférica y la energía solar. Los fenómenos descritos anteriormente (variables financieras y variables climáticas) por mencionar algunos, tienen en común el desconocimiento de una función explícita que las relacione con otras variables, por lo que su aproximación resulta relevante a fin de hacer estudios sobre el modelo generado. Uno de los modelos usados para aproximar funciones consiste en la descomposición en otras funciones conocidas tales que su combinación lineal minimice el error cuadrático medio. Así, en este trabajo se propone hacer una combinación lineal de funciones wavelets vinculadas según un modelo conexionista, en donde las funciones wavelets son generadas mediante el algoritmo en cascada a partir de filtros ortogonales de reconstrucción perfecta, y a través de escalamientos y traslaciones se aproxime una función objetivo. Al modelo propuesto se le ha llamado EPWavenets, como una abreviatura de la combinación de algoritmos evolutivos, parametrización de filtros, funciones wavelets y redes neuronales artificiales. De esta forma, se busca demostrar que es posible aproximar una función de energía finita con funciones wavelets generadas a partir de filtros paramétricos cuya combinación está determinada por la arquitectura de una red neuronal, en donde los parámetros de escalamiento y traslación, los pesos sinápticos y los parámetros de los filtros se determinan con un algoritmo evolutivo desde el punto de vista del aprendizaje supervisado. Para demostrar lo anterior se utilizó la siguiente metodología: 1. Revisar modelos de red neuronal existentes que sean susceptibles de modificar sus funciones base y ajustar sus parámetros para aproximar funciones 2. Proponer un modelo de red neuronal que permita incluir nuevas funciones base y ajustar sus parámetros en forma supervisada 3. Identificar propiedades y familias de funciones wavelet que puedan incorporarse al modelo propuesto 4. Identificar un algoritmo evolutivo para ajustar los parámetros del modelo de red neuronal propuesto 5. Identificar un conjunto de funciones de prueba para comparar los resultados con otras redes neuronales con diferentes funciones base 6. Generar tablas comparativas y gráficas en donde se aprecie la comprobación de la hipótesis planteada a partir de los resultados experimentales Los resultados experimentales sustentan la hipótesis, indicando que es posible usar funciones wavelets con filtros paramétricos para aproximar funciones de energía finita, en una arquitectura de red neuronal. También se pudo confirmar que sí fue posible usar algoritmos evolutivos en EPWavenets para optimizar los parámetros libres, a efecto de minimizar el error de aproximación. Derivado de los resultados se concluye que las EPWavenets logran un alto grado de adaptabilidad y un desempeño competitivo respecto a otras redes neuronales que involucran funciones de base radial sobre un conjunto de funciones de prueba. .CONACy

Simulación y pronóstico de caudales diarios del Río Amazonas usando un enfoque híbrido Wavelet y Redes Neuronales

Universidad Nacional Agraria La Molina. Escuela de Posgrado. Maestría en Recursos HídricosEl incremento de eventos extremos durante las últimas décadas en la cuenca amazónica, ha dado lugar a un creciente interés por implementar efectivos sistemas de pronóstico hidrológico. Los pronósticos a corto plazo, como parte intrínseca de estos sistemas, son fundamentales en la mitigación de inundaciones, y la gestión de los recursos hídricos. Debido a la importancia de los pronósticos de alta calidad y a la complejidad de los sistemas hidrológicos, se han estudiado un gran número de métodos de modelamiento orientado a pronósticos. En esta investigación, se desarrollaron modelos “basados en datos” con dos técnicas, la red neuronal artificial (RNA) y un enfoque híbrido que combina análisis multiresolución wavelet y RNA llamado modelo wavelet red neuronal (WRN). En efecto, se formularon distintas estructuras de modelos univariados de RNA y WRN para múltiples horizontes de pronóstico, considerando que la confiabilidad de pronóstico disminuye al aumentar el tiempo de anticipación. Para el cual, se empleó series observadas de caudales diarios para el periodo 1985-2012, registrados en la estación hidrológica de Tamshiyacu en el río Amazonas, Perú. Además, el desempeño de los modelos se evaluó en función a los índices estadísticos, tales como la raíz del error cuadrático medio (RMSE) y la eficiencia de Nash-Sutcliffe (NSE). Así, para el horizonte de pronóstico más lejano (30 días), se encontró que el modelo WRN con RMSE = 4820 m3 /s y NSE = 0.83 superó ampliamente al modelo RNA con RMSE = 6092 m3 /s y NSE = 0.72, en la etapa de validación. Estos hallazgos muestran que el modelo híbrido tiene la capacidad potencial para mejorar la precisión de pronóstico en comparación al modelo RNA convencional. En suma, los resultados de esta investigación ayudarán a los hidrólogos y tomadores de decisiones en el pronóstico de caudales y la gestión sostenible de los recursos hídricos.The increasing number of extreme events during the last decades in the Amazon basin has led to a growing interest in implementing effective hydrological forecasting systems. Short-term forecasts, as an intrinsic part of these systems, are crucial for flood mitigation and water resources management. Due to the importance of high-quality forecasting and the complexity of hydrological systems, a large number of forecasting-oriented modelling methods have been studied. In this research, data-driven models with two techniques were developed, artificial neural network (ANN) and a hybrid approach which combines wavelet multi-resolution analysis and ANN named wavelet neural network (WNN) model. In effect, several structures of univariate ANN and WNN models were formulated for multiple forecasting horizons, considering that the reliability of forecasting decreases with increasing the lead-time. For which, observed time series of daily streamflows for the period 1985-2012 recorded at the Tamshiyacu gauging station on the Amazon river, Peru, were used. In addition, the performance of the models has been evaluated based on the statistical indices, such as root mean square error (RMSE) and Nash-Sutcliffe efficiency (NSE). Thus, for longer lead-time forecasting (30 days), it was found that the WNN model with RMSE = 4820 m3 /s and NSE = 0.83, widely outperformed to ANN model with RMSE = 6092 m3 /s and NSE = 0.72, in the test period. These findings show that the hybrid WNN model has the potential ability to improve the forecasting accuracy compared to the conventional ANN model. In sum, the outcomes of this research will assist hydrologists and decision makers in streamflow forecasting and sustainable management of water resources

Implementación de redes neuronales artificiales en FPGA para la determinación del espectro de neutrones fase hardware

Las Redes Neuronales Artificiales (RNAs), se han utilizado con gran éxito en la resolución de complejas tareas en las que los métodos convencionales alcanzan un nivel demasiado complicado como para ser utilizados. Recientemente las RNAs se han aplicado exitosamente en el campo de la física nuclear, específicamente en la reconstrucción de espectros de neutrones, una tarea realmente compleja que era resuelta con métodos iterativos u otras técnicas que ya se están viendo desplazadas por la aplicación de esta tecnología. Generalmente las RNAs son desarrolladas en alguna plataforma o software como por ejemplo MATLAB R, en donde el diseñador cuenta con varias herramientas para el desarrollo y puesta a punto de sus redes. Sin embargo, se ha observado que para el proceso de reconstrucción de espectros de neutrones por RNAs, el diseñador realiza un gran esfuerzo en la configuración y ajuste de la RNA y una vez que la red ha sido entrenada y probada en la resolución de este problema, se sigue dependiendo de MATLAB R y de una computadora para el único propósito de ejecutar la RNA; por lo tanto, se detecta un área de oportunidad para la implementación hardware de RNAs orientadas a la reconstrucción de espectros de neutrones. Si bien, dentro de la literatura no hay reportadas implementaciones de RNAs en la tarea de reconstrucción de espectros, si ha habido varios esfuerzos por llevar las RNAs a hardware, con la finalidad de acelerar su ejecución y de explotar su explícito paralelismo. Existe una clara tendencia de implementar RNAs en una tecnología hardware conocida como FPGA, que en los últimos años ha cobrado una notable popularidad, debido a que cuenta con la arquitectura y los recursos idóneos para su implementación. En este trabajo se ha diseñado una arquitectura de RNA implementada en un FPGA y que funciona a partir de una neurona, el procesamiento de la red se realiza de forma cíclica sin comprometer el tiempo de ejecución de la RNA y con la característica de que es configurable, es decir, el diseño permite aumentar o disminuir el número de neuronas de las capas de la RNA y el manejo de hasta 4 diferentes funciones de activación. Para su realización, se ha utilizado la tarjeta de desarrollo Basys2, una tarjeta de bajas prestaciones que incorpora un FPGA de la familia Spartan 3E de Xilinx. Así mismo, para el análisis del desempeño de nuestro diseño, se utilizaron tres RNAs del Neural Network Toolbox de MATLAB R, ejecutándolas en sus versiones software y hardware, para posteriormente contrastar los resultados así obtenidos

Procesamiento de audio digital para la clasificación de sonidos urbanos a través de una red neuronal

En respuesta directa al crecimiento poblacional en las grandes urbes, las ciudades inteligentes se han impulsado como un catalizador tecnológico, el cual permite aprovechar la disponibilidad de arquitecturas sensoriales distribuidas a lo largo de la urbe. Esto promueve nuevas áreas de estudio, siendo una de ellas la clasificación de sonidos ambientales (ESC, por sus siglas en inglés). Múltiples esfuerzos se han desarrollado para generar algoritmos computacionales que infieran de manera adecuada la relación entre los sonidos urbanos y su taxonomía, área poco profundizada en comparación a otras ramas de investigación. Sin embargo la técnica óptima para resolver este tipo de problemas no ha sido identificada aún, por lo que existen áreas de oportunidad en este campo de investigación como lo son la selección del método adecuado para trasladar el sonido a una representación numérica, prepreocesamiento del audio digital, selección del modelo predictivo a implementar, entre otras. La investigación presentada en esta tesis ahonda diferentes tópicos, abordando desde el procesamiento de señales para trasladar el espacio auditivo a una representación numérica a través de los coeficientes cepstrales de Mel (MFCCs, por sus siglas en inglés), hasta la selección y ajuste de un modelo de inteligencia artificial que tiene como foco principal un método de clasificación robusto para inferir la taxonomía de los sonidos contenidos en una urbe. Esta investigación se realizó utilizando el conjunto de datos”UrbanSound8k”, el cual integra diez categorías de sonidos (motores de autos, ruido a consecuencia de obras civiles, etcétera), además de ser punto de referencia en diversas investigaciones

Desarrollo de un controlador basado en redes neuronales para un sistema multivariable de nivel y caudal

This paper presents the development of a neural control based on the inverse model for multivariable hydraulics system of level and flow of Surcolombiana University. The degree of coupling between the control variables is evaluated through the method of relative gain matrix. The system modeling is done and the drivers are implemented in MatLab using the Toolbox and Neural Network Simulink as interface monitoring and control. The control performance is evaluated through simulations and real-time testing. The comparison of performance between the neuronal control and the fuzzy control is done, evaluating three parameters: overshoot, steady-state error and settling time. The results show a better performance against the previously developed fuzzy controller for the same system. It is evident that the steady-state error decreases significantly as the percentage of maximum error is 0.01% and 0.003% by neural networks and 3% and 1.75% by fuzzy control for level and flow respectively. As to overshoot although the fuzzy control is minimal, the control neural networks remove it entirely. For the settling time it is observed that the neuronal control also improves considerably for the two variablesEste artículo presenta el desarrollo de un control neuronal basado en el modelo inverso para el sistema hidráulico multivariable de nivel y caudal de la Universidad Surcolombiana. Con este propósito, se evalúa el grado de acoplamiento entre las variables a controlar a través del método de la matriz de ganancias relativas (RGA), se realiza el modelamiento del sistema y se implementan los controladores en MatLab haciendo uso del Neural Network Toolbox y de Simulink como interfaz de monitoreo y control. El rendimiento del control es evaluado mediante simulaciones y pruebas en tiempo real. La comparación del desempeño del control neuronal frente al control difuso se realiza evaluando tres parámetros: sobreimpulso, error en estado estacionario y tiempo de establecimiento. Los resultados obtenidos demuestran un mejor desempeño frente al controlador fuzzy desarrollado previamente para el mismo sistema. Se evidencia que el error en estado estacionario disminuye notablemente dado que el porcentaje de error máximo es de 0.01% y 0.003% por redes neuronales y de 3% y 1.75% por control difuso, para nivel y caudal respectivamente. En cuanto al sobreimpulso, aunque en el control difuso es mínimo, el control por redes neuronales lo elimina en las dos variables controladas. Para el tiempo de establecimiento se observa que el control neuronal también mejora considerablemente para las dos variables

Diseño de un sensor virtual para la predicción de la eficiencia de conversión de SO₂ a SO₃ en un reactor catalítico mult-ilechos mediante redes neuronales artificiales

Examina la posibilidad de diseñar un sensor virtual basado en Redes Neuronales Artificiales (RNA) para predecir la eficiencia de conversión de un reactor catalítico de una planta de ácido sulfúrico. Para el diseño del sensor virtual se utilizaron datos de planta, que fueron preprocesados con el fin de seleccionar los datos útiles, y mediante análisis de correlación se determinan preliminarmente las variables de entrada relevantes para el modelo de predicción, siendo: La concentración de dióxido de azufre (SO2) en el ingreso, las temperaturas de salida de los lechos, la concentración de oxígeno (O2) en la entrada y el flujo volumétrico del gas en la entrada. El diseño del sensor virtual basado en RNA requirió previamente el desarrollo de un modelo neuronal para la predicción de la concentración de salida de SO2 en el último lecho del convertidor. Con el fin de obtener el mejor modelo de predicción se realizan entrenamientos y validaciones de diversas estructuras de redes neuronales cambiando su configuración en el número de variables de la capa de entrada y el número de neuronas de la capa oculta. La configuración final óptima del modelo para la predicción de la concentración de SO2 de salida tiene nueve variables en la capa de entrada y nueve neuronas en la capa oculta. Los indicadores de desempeño del modelo de predicción de la concentración de SO2 son: El error porcentual medio absoluto de 12 %, el índice refinado de concordancia de 0,832 y el coeficiente de correlación de 0,945. Luego a partir de los resultados de la concentración de salida de SO2 se calcularon las eficiencias de conversión de SO2, obteniéndose el sensor virtual, cuyos indicadores de desempeño de predicción de la eficiencia de conversión son: El error porcentual medio absoluto de 0,2 %, índice refinado de concordancia de 0,902 y el coeficiente de correlación de 1,00. Además, el sensor virtual basado en RNA es comparado con otro sensor virtual derivado de leyes en estado estacionario, este último se determinó calculando en cada lecho del convertidor con los datos de la planta de ácido. Los resultados indican que el sensor virtual basado en RNA tiene un mejor desempeño en comparación con el sensor virtual derivado de leyes en estado estacionario, que tuvo un bajo desempeño

Diseño y simulación de un Sistema de Tracking basado en redes neuronales para mantener la máxima eficiencia de paneles solares

This research work focuses on the use of artificial neural networks (ANN) as a promising tool to improve the efficiency and stability of solar photovoltaic systems. Although photovoltaic systems harness a clean and renewable energy source, they face challenges due to variations in solar radiation, temperature and environmental conditions. These factors cause fluctuations in the output current and voltage of the solar panels, affecting the power generated. To address this problem, it is necessary to implement control strategies that maximize power extraction from the photovoltaic field. The main focus of this work is the maximum power point (MPP), which represents the optimal power transfer point on the current-voltage (I-V) characteristic curve of a solar panel. The challenge lies in adapting to changing conditions and achieving accurate monitoring of the MPP to improve system efficiency. Although there are different proposed tracking algorithms, they have shown limitations in terms of tracking rates and steady-state oscillations. To overcome these deficiencies, the applications of ANNs in the design of control algorithms are explored. ANNs stand out for their high dynamic response and ability to adapt to non-linear conditions. However, obtaining accurate training data for the controller is one of the main challenges. In this study, important variables such as solar radiation, temperature and optimal voltage are considered as inputs to the controller.Este trabajo de investigación se centra en el uso de redes neuronales artificiales (RNA) como una herramienta prometedora para mejorar la eficiencia y estabilidad de los sistemas solares fotovoltaicos. Aunque los sistemas fotovoltaicos aprovechan una fuente de energía limpia y renovable, enfrentan desafíos debido a las variaciones en la radiación solar, temperatura y condiciones ambientales. Estos factores ocasionan fluctuaciones en la corriente y tensión de salida de los paneles solares, afectando la potencia generada. Para abordar este problema, se requiere implementar estrategias de control que maximicen la extracción de potencia del campo fotovoltaico. El enfoque principal de este trabajo es el punto de máxima potencia (MPP), que representa el punto óptimo de transferencia de potencia en la curva de características corriente-voltaje (I-V) de un panel solar. El desafío radica en adaptarse a las condiciones cambiantes y lograr un seguimiento preciso del MPP para mejorar la eficiencia del sistema. Aunque existen diferentes algoritmos de seguimiento propuestos, han mostrado limitaciones en términos de tasas de seguimiento y oscilaciones en estado estacionario. Para superar estas deficiencias, se exploran las aplicaciones de las RNA en el diseño de algoritmos de control. Las RNA se destacan por su alta respuesta dinámica y capacidad para adaptarse a condiciones no lineales. Sin embargo, obtener datos precisos de entrenamiento para el controlador es uno de los principales desafíos. En este estudio, se consideran variables importantes como radiación solar, temperatura y voltaje óptimo como entradas para el controlador

Selección de perceptrones multicapa usando aprendizaje bayesiano

La Regularización Bayesiana de perceptrones multicapa pretende resolver el problema de optimización de los pesos de la red neuronal simultáneamente con el problema de generalización. En este trabajo se realiza un análisis de la regularización Bayesiana, que parece ser una de las más poderosas técnicas de entrenamiento de perceptrones multicapa, para luego hacer un comparativo con los resultados obtenidos usando Regla Delta Generalizada. Finalmente se discute alguna implicación de los resultados obtenidos respecto a la técnica basada en algoritmos constructivos para la selección final de neuronas en la capa oculta

Selección de perceptrones multicapa usando aprendizaje bayesiano

La Regularización Bayesiana de perceptrones multicapa pretende resolver el problema de optimización de los pesos de la red neuronal simultáneamente con el problema de generalización. En este trabajo se realiza un análisis de la regularización Bayesiana, que parece ser una de las más poderosas técnicas de entrenamiento de perceptrones multicapa, para luego hacer un comparativo con los resultados obtenidos usando Regla Delta Generalizada. Finalmente se discute alguna implicación de los resultados obtenidos respecto a la técnica basada en algoritmos constructivos para la selección final de neuronas en la capa oculta

Selección de perceptrones multicapa usando aprendizaje bayesiano

La Regularización Bayesiana de perceptrones multicapa pretende resolver el problema de optimización de los pesos de la red neuronal simultáneamente con el problema de generalización. En este trabajo se realiza un análisis de la regularización Bayesiana, que parece ser una de las más poderosas técnicas de entrenamiento de perceptrones multicapa, para luego hacer un comparativo con los resultados obtenidos usando Regla Delta Generalizada. Finalmente se discute alguna implicación de los resultados obtenidos respecto a la técnica basada en algoritmos constructivos para la selección final de neuronas en la capa oculta