Modelo de un sistema para la selección automática en dominios complejos con una estrategia cooperativa, de conjuntos de entrenamiento y arquitecturas ideales de redes de neuronas artificiales ulilizando alogaritmos genéticos

[Resumen] Esta tesis estudia el desarrollo de un modelo de sistema evolutivo y distribuido para la automatización y optimización de la construcción de RR,NN.AA. que se apliquen a dominios complejos. Los trabajos de investigación se centran en cuatro áreas: * Identificar, de forma automática, configuraciones óptimas de capas, elementos de proceso (EP) y parámetros de los EP, evitando el proceso de prueba y error que, actualmente, realiza el diseñador de la red. * Diseñar un método para la selección de un conjunto de entrenamiento óptimo a partir de series temporales, complementando así los métodos existentes para la discriminación de variables de entrada. * Se propone un método alternativo para el proceso de entrenamiento de RR.NN.AA. ya que, al aplicarlas a problemas complejos, como la predicción en el dominio temporal, los métodos de gradiente presentan problemas de mínimos locales. * Por último, se pretende armonizar, con una aproximación cooperativa, las distintas fases de desarrollo de la RNA: diseño del conjunto de entrenamiento, ajuste de los parámetros de la arquitectura y proceso de entrenamiento

Metodología para el desarrollo de sistemas de extracción de concimiento en RNA

[Resumen] Las Redes de Neuronas Artificiales (RR,NN.AA.) son de fácil implementación y utilización, así como otras características que las hacen idóneas para resolver problemas en muchos campos, sin embargo muchos desarrolladores e investigadores evitan su uso porque se consideran "cajas negras", es decir, son sistemas donde a partir de una serie de entradas produce unas salidas de respuesta y el proceso o explicación de por qué produce esas salidas es desconocido. Hasta ahora se han utilizado diferentes técnicas de extracción de reglas a partir de RNA, pero en la gran mayoría de los casos aplicados exclusivamente a RR.NN.AA., multicapa genéricas o sobre ciertos algoritmos de entrenamiento de redes multicapa o recurrentes. Estas limitaciones son debidas a que son más fáciles de tratar los procesos de extracción sobre ciertas arquitecturas o sobre ciertos algoritmos de entrenamiento particulares. En esta tesis se propone una metodología para la obtención del conocimiento de las RR.NN.AA., independientemente de su arquitectura: multicapa o recurrente. En cuanto a las RR.NN.AA., recurrentes la extracción de reglas se complica de forma exponencial debido a que intervienen estados pasados en las activaciones de las neuronas, y su capacidad de conocimiento distribuido es considerablemente muy superior a las RR.NN.AA., multicapa puesto que no existen restricciones en la conectividad entre neuronas. En esta tesis se aplica la Programación Genética (PG) para la extracción del conocimiento de las RR.NN.AA. La utilización de la PG conlleva la ventaja de que la forma de representación y estructuración de la información se realiza mediante un árbol semántico. Esta representación en árbol es la forma natural de representación de una regla simbólica

Modelos de procesamiento de la información en el cerebro aplicados a Sistemas Conexionistas: Redes NeuroGliales Artificiales y Deep Learning

Programa Oficial de Doutoramento en Tecnoloxías da Información e as Comunicacións. 5032V01[Resumen] En el campo de la Inteligencia Artificial, los sistemas conexionistas se han inspirado en las neuronas ya que, según la visión clásica de la Neurociencia, eran las únicas células con capacidad para procesar la información. Descubrimientos recientes de Neurociencia han demostrado que las células gliales tienen un papel clave en el procesamiento de la información en el cerebro. Basándose en estos descubrimientos se han desarrollado las Redes NeuroGliales Artificiales (RNGA) que cuentan con dos tipos de elementos de procesado, neuronas y astrocitos. En esta tesis se ha continuado con esta línea de investigación multidisciplinar que combina la Neurociencia y la Inteligencia Artificial. Para ello, se ha desarrollado un nuevo comportamiento de los astrocitos que actúan sobre la salida de las neuronas en las RNGA. Se ha realizado una comparación con las Redes de Neuronas Artificiales (RNA) en cinco problemas de clasificación y se ha demostrado que el nuevo comportamiento de los astrocitos mejora de manera significativa los resultados. Tras demostrar la capacidad de los astrocitos para procesar la información, en esta tesis se ha desarrollado además una nueva metodología que permite por primera vez la creación de redes Deep Learning conteniendo miles de neuronas y astrocitos, denominadas Deep Neuron-Astrocyte Networks (DANAN). Tras probarlas en un problema de regresión, las DANAN obtienen mejores resultados que las RNA. Esto permitirá evaluar comportamientos más complejos de los astrocitos en las redes de Deep Learning, pudiendo incluso crearse redes de astrocitos en un futuro próximo.[Resumo] No campo da Intelixencia Artificial, os sistemas conexionistas inspiráronse nas neuronas xa que, segundo a visión clásica da Neuronciencia, eran as únicas células con capacidade para procesar a información. Descubrimentos recentes de Neurociencia demostraron que as células gliais teñen un papel crave no procesamento da información no cerebro. Baseándose nestes descubrimentos desenvolvéronse as Redes NeuroGliales Artificiais (RNGA) que contan con dous tipos de elementos de procesado, neuronas e astrocitos. Nesta tese continuouse con esta liña de investigación multidisciplinar que combina a Neurociencia e a Intelixencia Artificial. Para iso, desenvolveuse un novo comportamento dos astrocitos que actúan sobre a saída das neuronas nas RNGA. Realizouse unha comparación coas Redes de Neuronas Artificiais (RNA) en cinco problemas de clasificación e demostrouse que o novo comportamento dos astrocitos mellora de xeito significativo os resultados. Tras demostrar a capacidade dos astrocitos para procesar a información, nesta tese desenvolveuse ademais unha nova metodoloxía que permite por primeira vez a creación de redes Deep Learning contendo miles de neuronas e astrocitos, denominadas Deep Neuron-Astrocyte Networks (DANAN). Tras probalas nun problema de regresión, as DANAN obteñen mellores resultados cas RNA. Isto permitirá avaliar comportamentos máis complexos dos astrocitos nas redes de Deep Learning, podendo ata crearse redes de astrocitos nun futuro próximo.[Abstract] In the field of Artificial Intelligence, connectionist systems have been inspired by neurons and, according to the classical view of neuroscience, they were the only cells capable of processing information. The latest advances in Neuroscience have shown that glial cells have a key role in the processing of information in the brain. Based on these discoveries, Artificial NeuroGlial Networks (RNGA) have been developed, which have two types of processing elements, neurons and astrocytes. In this thesis, this line of multidisciplinary research that combines Neuroscience and Artificial Intelligence has been continued. For this goal, a new behavior of the astrocytes that act on the output of the neurons in the RNGA has been developed. A comparison has been made with the Artificial Neuron Networks (ANN) in five classification problems and it has been demonstrated that the new behavior of the astrocytes significantly improves the results. After prove the capacity of astrocytes for information processing, in this thesis has been developed a new methodology that allows for the first time the creation of Deep Learning networks containing thousands of neurons and astrocytes, called Deep Neuron-Astrocyte Networks (DANAN). After testing them in a regression problem, the DANAN obtain better results than ANN. This allows testing more complexes astrocyte behaviors in Deep Learning networks, and even creates astrocyte networks in the near future

Desarrollo de nuevos algoritmos neurogliales que modelizan la interacción astrocito-neurona en sistemas de altas prestaciones

Programa Oficial de Doutoramento en Tecnoloxías da Información e as Comunicacións. 5032V0[Resumo] Estamos vivindo una era de evolución constante debido aos avances tecnolóxicos. Moitos deles están sendo posibles grazas á Intelixencia Artificial (IA) e a que se están almacenando grandes volumes de datos. Pódense construír ferramentas con componentes intelixentes que están revolucionando diversos campos grazas á gran cantidade de datos que poden ser analizados mediante devanditos modelos intelixentes. Sen embargo, moitas investigación só céntranse na cantidade e a calidade dos datos dos que se dispón, e apenas se realizan esforzos en mellorar as propias técnicas de IA. A proposta desta tese é a mellora de sistemas intelixentes conexionistas que ata hai pouco estaban formados por Redes de Neuronas Artificiais (RNA). Para levar a cabo tan ambiciosa labor, considerouse, do mesmo xeito que ocorreu con investigación noutras áreas, ter en conta como resolve o problema a naturaleza. Para iso, centrarémonos na estructura máis complexa e máis eficiente coñecida polo home, o cerebro humano. Con ese fin, é necesario apoiarse no campo da Neurociencia onde se pode tratar de levar os avances que se descobren ou as hipótesis que se xeran ao campo da IA. O núcleo desta tese vira contorna as investigación que evidencian que as neuronas non son os únicos elementos do cerebro humano que participan no procesamento da información, si non que os astrocitos do Sistema Glial (SG) xogan un papel esencial. De feito, a comunicación sináptica sábese xa que se produce con participación de neuronas e astrocitos, o cal coñécese como sinapsis tripartita. Isto levou á inclusión de novos elementos de procesado nas RNA que simulan o comportamento das células gliales creando as Redes NeuroGliais Artificiais (RNGA). Para demostrar a utilidade dos astrocitos artificiais e colaborar en demostrar a capacidade do SG, leváronse a cabo novos algoritmos de modulación astrocítica que se puxeron a proba en diferentes problemas de clasificación e regresión, obténdose resultados significativos con respecto a redes sen astrocitos. Ademais, desenvolveuse graza a esta tese una aplicación web opensource para que a comunidade científica poida usar estas redes libremente.[Resumen] Estamos viviendo una era de evolución constante debido a los avances tecnológicos. Muchos de ellos están siendo posibles gracias a la Inteligencia Artificial (IA) y a que se están almacenando grandes volúmenes de datos. Se pueden construir herramientas con componentes inteligentes que están revolucionando diversos campos gracias a la gran cantidad de datos que pueden ser analizados mediante dichos modelos inteligentes. Sin embargo, muchas investigaciones solo se centran en la cantidad y la calidad de los datos de los que se dispone, y apenas se realizan esfuerzos en mejorar las propias técnicas de IA. La propuesta de esta tesis es la mejora de sistemas inteligentes conexionistas que hasta hace poco estaban formados por Redes de Neuronas Artificiales (RNA). Para llevar a cabo tan ambiciosa labor, se ha considerado, al igual que ha ocurrido con investigación en otras áreas, tener en cuenta cómo resuelve el problema la naturaleza. Para ello, nos centraremos en la estructura más compleja y más eficiente conocida por el hombre, el cerebro humano. Con ese fin, es necesario apoyarse en el campo de la Neurociencia donde se puede tratar de llevar los avances que se descubren o las hipótesis que se generan al campo de IA. El núcleo de esta tesis gira entorno las investigaciones que evidencian que las neuronas no son los únicos elementos del cerebro humano que participan en el procesamiento de la información, si no que los astrocitos del sistema glial juegan un papel esencial. De hecho, la comunicación sináptica se sabe ya que se produce con participación de neuronas y astrocitos, lo cual se conoce como sinapsis tripartita. Esto llevó a la inclusión de nuevos elementos de procesado en las RNA que simulan el comportamiento de las células gliales creando las Redes NeuroGliales Artificiales (RNGA). Para demostrar la utilidad de los astrocitos artificiales y colaborar en demostrar la capacidad del Sistema Glial (SG), se han llevado a cabo nuevos algoritmos de modulación astrocítica que se han puesto a prueba en diferentes problemas de clasificación y regresión, obteniéndose resultados significativos con respecto a redes sin astrocitos. Además, se ha desarrollado gracias a esta tesis una aplicación web opensource para que la comunidad científica pueda usar estas redes libremente.[Abstract] We are living an era of constant evolution due to technological advances. Many of them are being possible thanks to Artificial Intelligence (AI) and the large volumes of data are being stored. You can build tools with intelligent components that are revolutionizing various fields thanks to a large amount of data that can be analyzed by these intelligent models. However, many investigations only focus on the quantity and quality of the data available, and little effort is made to improve the AI techniques themselves. The proposal of this thesis is the improvement of connectionist intelligent systems that until recently were formed by Artificial Neural Networks (ANN). To carry out such ambitious work, it has been considered, as has happened with research in other areas, to consider how nature solves the problem. For this, we will focus on the most complex and efficient structure known, the human brain. To that end, it is necessary to rely on the field of Neuroscience where one can try to take the advances that are discovered or the hypotheses that are generated in the AI field. The core of this thesis is based on research that shows that neurons are not the only elements of the human brain that participate in the processing of information. Astrocytes of the glial system play an essential role in the treatment of information. In fact, it is known that synaptic communication occurs with the participation of neurons and astrocytes, which is known as tripartite synapses. This led to the inclusion of new elements that simulate the behaviour of glial cells in ANN. The addition of the new elements, artificial astrocytes, originated the Artificial NeuroGial Networks (ANGN). To demonstrate the usefulness of artificial astrocytes and collaborate in demonstrating the capacity of the Glial System (GS), new algorithms of astrocytic modulation have been used. These algorithms have been tested in different classification and regression problems, obtaining significant results with respect to networks that do not use the GS. In addition, an open source web application has been developed thanks to this thesis so that the scientific community can use these networks freely

Composición musical mediante una red neuronal

En este trabajo se ha realizado el análisis y la comprobación de una red neuronal existente previamente, que compone música mediante técnicas de Aprendizaje Profundo (Deep Learning). El objetivo del trabajo ha sido realizar un proceso de composición musical automática de una Sonata. Para ello, tras la comprensión de la red, la iniciación en el lenguaje de programación Python 2 y la generación de una base de datos en formato MIDI mediante los programas Finale y Logic Pro X, se ha diseñado una red optima para la composición, entrenándola y evaluando sus resultados. Además, se exponen tres anexos con el fin de presentar las distintas formas de generar música algorítmica, de definir los conceptos Deep Learning y Big Data, así como de situar en un contexto histórico la Forma Sonata y repasar conceptos fundamentales del lenguaje musical necesarios para comprender tanto la entrada, como la salida de la red. Se muestra la partitura de la obra resultante del entrenamiento de la red en el cuarto y último anexo

Composición musical mediante una red neuronal

En este trabajo se ha realizado el análisis y la comprobación de una red neuronal existente previamente, que compone música mediante técnicas de Aprendizaje Profundo (Deep Learning). El objetivo del trabajo ha sido realizar un proceso de composición musical automática de una Sonata. Para ello, tras la comprensión de la red, la iniciación en el lenguaje de programación Python 2 y la generación de una base de datos en formato MIDI mediante los programas Finale y Logic Pro X, se ha diseñado una red optima para la composición, entrenándola y evaluando sus resultados. Además, se exponen tres anexos con el fin de presentar las distintas formas de generar música algorítmica, de definir los conceptos Deep Learning y Big Data, así como de situar en un contexto histórico la Forma Sonata y repasar conceptos fundamentales del lenguaje musical necesarios para comprender tanto la entrada, como la salida de la red. En el cuarto y último anexo se muestra la partitura de la obra resultante del entrenamiento de la red

SISTEMA DE RECONOCIMIENTO DE ROSTROS UTILIZANDO REDES NEURONALES ARTIFICIALES

En este trabajo se presenta un método para el reconocimiento de rostros, robusto a cambios de iluminación, postura y expresiones faciales. El método propuesto se encuentra dividido en dos etapas fundamentales; la primera que consiste en la extracción de características faciales por medio de la transformada wavelet discreta (TWD) y la segunda en la clasificación de patrones mediante la red neuronal perceptrón multicapa (MLP) a partir de los vectores característicos extraídos. La TWD es utilizada con la finalidad de construir un subespacio característico de bajas dimensiones expandido por medio de funciones wavelets a partir del espacio original de la imagen. La representación wavelet describe las características faciales de forma más robusta y simple que la representación original de la imagen. Las variaciones entre vectores característicos debido a los cambios de identidad son mayores que las variaciones intraclase producidas por cambios de iluminación, postura y expresión facial

Evolución de redes neuronales mediante sistemas de reescritura

Las redes neuronales evolutivas son un caso particular de redes neuronales artificiales en donde los pesos de las conexiones no son determinados por un método de entrenamiento sino por la aplicación de un proceso evolutivo. El método propuesto en esta tesis, NeSR, evoluciona tanto los pesos de conexión como la estructura de la red neuronal. Este método se basa en una codificación indirecta, es decir, no evoluciona redes neuronales sino sistemas de reescritura denominados Sistemas L. Esta representación permite construir una red neuronal, la cual será evaluada en el problema a resolver. Este método tiene la virtud de brindar una poderosa flexibilidad en la estructura de las redes generadas a partir de estos sistemas, aunque requiere un costo de procesamiento extra en el paso de convertir un genotivo (Sistema L) en su fenotipo (Red Neuronal). Las mediciones realizadas demuestran su capacidad para resolver distintos tipos de problemas en forma similar a otros métodos neuroevolutivos.Tesis digitalizada en SEDICI gracias a la colaboración de la Biblioteca de la Facultad de Informática.Facultad de Informátic

Evolución de redes neuronales para comandar criaturas que alcanzan objetivos sorteando obstáculos en un entorno virtual 2D

Las redes neuronales artificiales han demostrado ser exitosas resolviendo adecuadamente muchos problemas, pero como todo paradigma también presentan debilidades, tales como dificultad para hallar una topología adecuada, dificultad para elegir el valor apropiado de algunos parámetros del entrenamiento, fuerte dependencia con los valores iniciales de los pesos escogidos aleatoriamente, a veces requieren funciones de transferencia derivables, y entre otras más, pueden caer mínimos locales de la función de error que desean minimizar. Estas dificultades suelen resolverse a fuerza de la experiencia y habilidades de los expertos humanos. Ahora bien, la Computación Evolutiva, que junto al Conexionismo de las redes neuronales artificiales conforma la rama subsimbólica de la Inteligencia Artificial, puede mejorar estos resultados. Así es posible reemplazar el entrenamiento tradicional de las redes neuronales artificiales por la aplicación de los principios darwinianos –evolución por selección natural– a las redes neuronales artificiales debidamente codificadas en un cromosoma. Esto resuelve algunas de las debilidades mencionadas y da origen al nuevo paradigma denominado Neuroevolución. Los investigadores del área han propuesto distintas estrategias dentro de este paradigma. Entre otras cosas se utilizan los algoritmos evolucionarios para conseguir la arquitectura de la red, los pesos de las conexiones y las funciones de transferencia de los nodos. Incluso se han propuesto hibridaciones combinando aprendizaje evolucionario con las técnicas de entrenamiento propias de las redes neuronales artificiales. Esta tesina se enmarca dentro del paradigma de la Neuroevolución y, si bien me he ajustado a la propuesta de trabajo de grado presentada, aspiro a tratar unos cuantos conceptos propios de esta renovada rama de la Inteligencia Artificial.Facultad de Informátic

Evolución de redes neuronales para comandar criaturas que alcanzan objetivos sorteando obstáculos en un entorno virtual 2D

Las redes neuronales artificiales han demostrado ser exitosas resolviendo adecuadamente muchos problemas, pero como todo paradigma también presentan debilidades, tales como dificultad para hallar una topología adecuada, dificultad para elegir el valor apropiado de algunos parámetros del entrenamiento, fuerte dependencia con los valores iniciales de los pesos escogidos aleatoriamente, a veces requieren funciones de transferencia derivables, y entre otras más, pueden caer mínimos locales de la función de error que desean minimizar. Estas dificultades suelen resolverse a fuerza de la experiencia y habilidades de los expertos humanos. Ahora bien, la Computación Evolutiva, que junto al Conexionismo de las redes neuronales artificiales conforma la rama subsimbólica de la Inteligencia Artificial, puede mejorar estos resultados. Así es posible reemplazar el entrenamiento tradicional de las redes neuronales artificiales por la aplicación de los principios darwinianos –evolución por selección natural– a las redes neuronales artificiales debidamente codificadas en un cromosoma. Esto resuelve algunas de las debilidades mencionadas y da origen al nuevo paradigma denominado Neuroevolución. Los investigadores del área han propuesto distintas estrategias dentro de este paradigma. Entre otras cosas se utilizan los algoritmos evolucionarios para conseguir la arquitectura de la red, los pesos de las conexiones y las funciones de transferencia de los nodos. Incluso se han propuesto hibridaciones combinando aprendizaje evolucionario con las técnicas de entrenamiento propias de las redes neuronales artificiales. Esta tesina se enmarca dentro del paradigma de la Neuroevolución y, si bien me he ajustado a la propuesta de trabajo de grado presentada, aspiro a tratar unos cuantos conceptos propios de esta renovada rama de la Inteligencia Artificial.Facultad de Informátic