Evolving generalized euclidean distances for training RBNN

In Radial Basis Neural Networks (RBNN), the activation of each neuron depends on the Euclidean distance between a pattern and the neuron center. Such a symmetrical activation assumes that all attributes are equally relevant, which might not be true. Non-symmetrical distances like Mahalanobis can be used. However, this distance is computed directly from the data covariance matrix and therefore the accuracy of the learning algorithm is not taken into account. In this paper, we propose to use a Genetic Algorithm to search for a generalized Euclidean distance matrix, that minimizes the error produced by a RBNN.Publicad

Evolving Generalized Euclidean Distances for Training RBNN

In Radial Basis Neural Networks (RBNN), the activation of each neuron depends on the Euclidean distance between a pattern and the neuron center. Such a symmetrical activation assumes that all attributes are equally relevant, which might not be true. Non-symmetrical distances like Mahalanobis can be used. However, this distance is computed directly from the data covariance matrix and therefore the accuracy of the learning algorithm is not taken into account. In this paper, we propose to use a Genetic Algorithm to search for a generalized Euclidean distance matrix, that minimizes the error produced by a RBNN

Optimización evolutiva de distancias para clasificadores basados en prototipos

El proyecto consistirá en la implementación de un algoritmo que mejore la técnica de clasificación del vecino más cercano, utilizando técnicas evolutivas. El algoritmo del vecino más cercano es una técnica de clasificación cuyo mecanismo de aprendizaje consiste simplemente en almacenar los datos de aprendizaje. Para clasificar nuevos datos, les asigna la clase del dato más cercano de entre los de aprendizaje. Uno de los problemas de esta técnica de clasificación es que para cada dato que se desea clasificar, necesita computar todas las distancias a los datos ya almacenados. Una segunda cuestión es que es muy sensible a la función de distancia utilizada (típicamente la euclídea, pero no siempre esta es la más adecuada). Una manera de solventar el primer problema es sustituir los datos de entrenamiento por unos pocos prototipos bien elegidos, pero tiene el problema de que hay que determinar el número de prototipos y situarlos en el espacio de datos. El segundo problema se puede atacar modificando la función de distancia para adaptarla al problema. En este proyecto se pretenden abordar ambas cuestiones mediante una técnica de búsqueda local, inspirada en algoritmos evolutivos. Es decir, dicha técnica encontrará el mejor posicionamiento de los prototipos y la mejor función de distancia para el problema de clasificación concreto que se quiera resolver. La heurística que guiará la búsqueda será la maximización del porcentaje de aciertos del algoritmo del vecino más cercano. El objetivo del proyecto por tanto será que tras el transcurso de N generaciones para un dominio dado lleguemos a encontrar las matrices que representen la mejor distancia, así como el prototipo o prototipos que mejor describan el conjunto de datos original. El objetivo último es optimizar la tasa de aciertos del algoritmo del vecino más cercano.Ingeniería Técnica en Informática de Gestió

Evolución de proyecciones lineales para aprendizaje automático

En este proyecto se van a utilizar técnicas evolutivas para mejorar los resultados en tareas de clasificación y regresión de aprendizaje automático. Un algoritmo genético es un tipo especial de algoritmo que se inspira en la evolución biológica para encontrar soluciones a problemas y puede utilizarse para optimizar funciones. Por otro lado, muchos de los algoritmos de aprendizaje automático pueden aprender de un conjunto de datos clasificando a los nuevos datos teniendo en cuenta cómo están clasificados datos similares. Se puede mejorar la precisión de los algoritmos de aprendizaje (clasificación o regresión) transformando el espacio en el que se representan los datos. Esta transformación puede llevarse a cabo de manera lineal, multiplicando los datos por una matriz. Una transformación lineal es una función entre dos espacios vectoriales que preserva las operaciones de suma y producto por un escalar. El objetivo principal del proyecto es utilizar técnicas evolutivas para encontrar la matriz M que optimice el porcentaje de aciertos en problemas de clasificación (o el error cuadrático en problemas de regresión). Es decir, se espera que para un algoritmo de clasificación dado, que denominaremos algoritmo base (por ejemplo, J48), el porcentaje de aciertos en test para el conjunto de datos transformados x’ sea mas alto que para el conjunto original x. La matriz M no es más que un conjunto de valores reales, y se sabe que las técnicas evolutivas son apropiadas para optimizar cromosomas compuestos de reales. La función a optimizar (la función de fitness) será el porcentaje de aciertos obtenido al transformar los datos de entrenamiento con el individuo (una matriz M concreta). En el presente proyecto no sólo se quieren implementar y probar las ideas anteriores, sino integrarlas dentro del sistema de aprendizaje automático Weka, para que la transformación de datos pueda ser utilizada con cualquiera de los algoritmos y filtros proporcionados por dicha herramienta. De hecho, nuestra proyección evolutiva será implementada como un meta-algoritmo, que use otro algoritmo base, que será el beneficiario de la proyección. A pesar de que Weka permite la integración de nuevos algoritmos, este proceso está lejos de ser trivial, por lo que la inclusión de la técnica evolutiva dentro de Weka es una parte importante de este proyecto y ha consumido una buena parte del tiempo del mismo. Además, el meta-algoritmo permite una exhaustiva configuración de los más importantes parámetros que intervienen en un algoritmo evolutivo en general (tamaño de la población, constante de decremento…) y, en este en particular (tipo de matriz (completa, simétrica o diagonal), exponente…). Por último, también se llevará a cabo una validación experimental del sistema desarrollado.Ingeniería en Informátic