Se intenta determinar posibles relaciones entre los patrones emergentes de la evolución espacio-temporal de los autómatas celulares (AC: modelos computacionales de cálculo sencillo que desarrollan un comportamiento complejo y auto-organizativo) y la evolución que sufren las redes neuronales artificiales (RNA: modelos computacionales de elementos de proceso simple altamente interconectados que emulan los sistemas neuronales biológicos) durante las fases de aprendizaje y reconocimiento.
Se consideran las redes del tipo backpropagation (BP) durante su fase de aprendizaje y las redes de tipo Hopfield (HP) durante su fase de reconocimiento, como sistemas evolutivos y se trata de plasmar esa evolución en patrones gráficos comparables a los del modelo AC.
El estudio intenta descubrir primero, relaciones morfológicas y/o topológicas entre patrones evolutivos generados por estos modelos utilizados en el enfoque subsimbólico de la Inteligencia Artificial para estudiar el comportamiento inteligente y en las Ciencias Naturales (Física, Biología, etc.) para el modelado de sistemas naturales de dinámica compleja; luego, y en caso de logros positivos, indagar sobre una aproximación formal de estas relaciones, lo que permitiría de alguna forma, el intercambio de herramental teórico entre ambos modelos.Eje: Inteligencia artificialRed de Universidades con Carreras en Informática (RedUNCI

Marciszack, Marcelo Martín

Martínez, Osvaldo F.

Vázquez, Juan C.

Spanish

El Servicio de Difusión de la Creación Intelectual

Proyecto: RNA–AC
----------------------------------------------------------------------------------
Relaciones entre los momentos de aprendizaje y reconocimiento
 de las Redes Neuronales Artificiales y 
la evolución espacio-temporal de los Autómatas Celulares
-----------------------------------------------------------------------------------
Universidad Tecnológica Nacional
Facultad Regional Córdoba
Departamento de Ingeniería en Sistemas de Información
Laboratorio de Investigación de Software .NET
--------------------------------------------------------------------
   Maestro López y Cruz Roja Argentina
   5016 – Ciudad Universitaria
   Córdoba – Argentina
---------------------------------------------------------------------
   Ing. Osvaldo F. Martínez Ing. Juan C. Vázquez Ing. Marcelo M. Marciszack
   facumart@onenet.com.ar jcvazquez@acm.org mmarciszack@hotmail.com
RESUMEN
Se intenta determinar posibles relaciones entre los patrones emergentes de la evolución espacio-temporal de los 
autómatas celulares (AC: modelos computacionales de cálculo sencillo que desarrollan un comportamiento complejo y 
auto-organizativo) y la evolución que sufren las redes neuronales artificiales (RNA: modelos computacionales de 
elementos de proceso simple altamente interconectados que emulan los sistemas neuronales biológicos) durante las 
fases de aprendizaje y reconocimiento.
Se consideran las redes del tipo backpropagation (BP) durante su fase de aprendizaje y las redes de tipo 
Hopfield (HP) durante su fase de reconocimiento, como sistemas evolutivos y se trata de plasmar esa evolución en 
patrones gráficos comparables a los del modelo AC.
El estudio intenta descubrir primero, relaciones morfológicas y/o topológicas entre patrones evolutivos 
generados por estos modelos utilizados en el enfoque subsimbólico de la Inteligencia Artificial para estudiar el 
comportamiento inteligente y en las Ciencias Naturales (Física, Biología, etc.) para el modelado de sistemas naturales 
de dinámica compleja; luego, y en caso de logros positivos, indagar sobre una aproximación formal de estas relaciones, 
lo que permitiría de alguna forma, el intercambio de herramental teórico entre ambos modelos.
PALABRAS CLAVE
Inteligencia Artificial – Autómata Celular – Redes Neuronales Artificiales – Sistemas evolutivos
PRESENTACIÓN PRELIMINAR A WICC 2005
INTRODUCCIÓN
      Existe una gran cantidad de trabajos científicos y de ingeniería efectuados sobre redes 
neuronales y autómatas celulares, modelos que entre otros, han generado un vigoroso campo de 
investigación con aplicaciones y conexiones (teóricas y de modelado práctico) con diversas 
disciplinas.
     En el convencimiento de que todos los modelos evolutivos y los basados en sistemas biológicos 
reales, que emulan cómo la naturaleza ha resuelto problemas utilizando la selección natural
[Darwin-1859] o sus resultados, están en cierta forma “emparentados”, el proyecto busca establecer 
los principios de ese parentesco, delineando un camino hacia una teoría unificada de los sistemas 
evolutivos. La relación que se intenta determinar no ha sido a la fecha ni probada ni refutada, 
hasta donde se ha podido observar.
      El proyecto goza de corta vida ya que inició el anterior año, por lo cual estamos explorando el 
campo y construyendo herramientas de software que nos permitirán “medir” de alguna forma la 
existencia o inexistencia de la relación propuesta. Aún nuestros datos experimentales son 
insuficientes para conclusiones definitivas (si bien tenemos algunos resultados para discurtir), pero 
presentamos en lo que sigue las ideas de base de nuestra investigación con el ánimo de lograr 
retroalimentación de la comunidad científica y académica.
DE LOS AUTÓMATAS CELULARES (AC).
      La idea de los AC inicia en la década de 1940, con los trabajos de John von Neumann sobre 
máquinas auto-replicantes, inspirado en los modelos de Alan Turing de 1937 sobre máquinas 
abstractas universales [Newman-1994].
     Más recientemente, en sus trabajos sobre AC durante la década de 1980, Stephen Wolfram, 
entre otros, estudió desde distintos enfoques estos modelos de computación: mecánica estadística, 
propiedades algebraicas, universalidad y complejidad, teoría de la computación, origen de la 
aleatoriedad en los sistemas físicos, etc.; en particular, sobre la universalidad computacional de los 
AC [Wolfram-1984] presenta su clasificación de los mismos, ya clásica, en cuatro clases según su 
evolución (fenotipo), en “hipotética” concordancia con la categorización en cuatro niveles de las 
máquinas abstractas [Hopcroft-1979]; en un trabajo de 1985 [Wolfram-1985], Wolfram puede ya 
presentar al menos veinte importantes problemas no resueltos sobre AC.
      Uno de los problemas que persisten y es atacado con innovadores métodos, es el de la 
predicción de la evolución de los AC basado en sus reglas y estados iniciales (genotipo). En el 
Santa Fe Institute de EEUU, bajo la línea de investigación Computation in Physical and Biological 
Systems se desarrolla el proyecto  Evolving Cellular Automata (EvCA) dirigido por Crutchfield y 
Mitchel, que intenta determinar este genotipo utilizando lo que ellos han denominado Mecánica 
Computacional, un intento de aplicar el herramental teórico de la física de partículas elementales a 
los AC [Das-1995]; en particular nos interesamos en este abordaje gracias a una breve charla 
personal con el Dr. Rajarshi Das, mantenida luego de una conferencia de 1996 en el marco del 2º 
CACIC (Congreso Argentino de Ciencias de la Computación).
      Otros enfoques intentan relacionar la dinámica de evolución de los AC con la teoría de sistemas 
dinámicos; por ejemplo Avnet en su tesis [Avnet-2000], plantea la comparación contra la noción 
termodinámica de transiciones de fase.
      Los AC se han utilizado para simular un sinnúmero de sistemas naturales complejos, como una 
alternativa de cálculo simple y comportamiento emergente complejo, a los modelos tradicionales de 
modelado usando ecuaciones diferenciales; pero en todos los casos las reglas de evolución y las 
condiciones iniciales son determinadas por experimentación y contraste del patrón evolutivo 
espacio-temporal de AC contra ejemplos del sistema físico real; a la fecha no existen “leyes” y 
apenas algunas heurísticas, para determinar estos elementos.
DE LAS REDES NEURONALES ARTIFICIALES (RNA).
      En 1943, el neurocientífico (Warren McCulloch) y el matemático-lógico (Walter Pitts) plantean 
un modelo matemático del funcionamiento de la neurona biológica (McP) y demuestran que 
cualquier proceso que pueda hacerse con un sistema automático puede ser efectuado por un 
conjunto de estos elementos; von Neumann efectúa luego estudios comparativos entre los sistemas 
automáticos y los sistemas biológicos discutiendo sus diferencias y similitudes e interesándose por 
la “complicación” de los mismos [Newman-1994]. 
      En 1957 Rosenblatt, basado sobre un modelo de la retina biológica, presenta el Perceptron, una 
red de neuronas del tipo McP; éstas podían tener entradas continuas (analógicas) o binarias 
(digitales), con dos capas, heteroasociativa, de tiempo discreto, que puede “aprender” a clasificar 
patrones con un proceso de corrección de errores (convergencia) en un tiempo finito.
      En 1969, Marvin Minsky y Seymour Papert publican su libro Perceptrons en el cual presentan 
un lapidario informe sobre las capacidades computacionales de las redes Perceptron, indicando la 
incapacidad del modelo para resolver la función lógica XOR. Esto logró que, en la generalidad de 
los casos, los fondos de investigación para la inteligencia artificial se orientaran hacia los sistemas 
simbólicos y se desestimaran los proyectos subsimbólicos.
      En 1982, un físico, John Hopfield presenta su modelo de red autoasociativa (memoria de acceso 
por contenido), cuyos logros devuelve el impulso al enfoque subsimbólico. A éste trabajo siguieron 
los de Rumelhart [Rumelhart-1986] que introduce backpropagation como algoritmo de aprendizaje, 
Denker [Denker-1987] en 1987 demuestra que toda función booleana puede ser representada por 
una red neuronal unidireccional con una única capa oculta, y muchos otros que generaron un 
vigoroso campo de estudio y aplicación de estos modelos.
     Sin embargo también aquí existen problemas teóricos; por ejemplo, no hay procedimientos 
efectivos para determinar la “mejor” arquitectura de una RNA (cantidad de capas ocultas, 
neuronas por capa, reglas de propagación, funciones de activación y salida) entendiendo por mejor, 
a aquella que optimice a la vez el tiempo de aprendizaje de la red y su capacidad de reconocimiento, 
para un particular problema. Inclusive, en un trabajo de 2002, [Deolalikar-2002] se demuestra que 
con sólo cambiar el tipo de neurona de salida (con umbral por tramos en vez de todo o nada como la 
McP) y aumentar la dimensionalidad de la capa de entrada, una red de sólo dos capas puede 
formar regiones arbitrarias de decisión en el espacio de entradas.
     Las redes neuronales artificiales son sistemas complejos tomados como cajas negras para 
efectuar trabajos de reconocimiento de patrones, aproximación de funciones y descubrimiento de 
clasificaciones, donde es difícil expresar exactamente su comportamiento. Benítez [Benitez-2002] 
muestra una aproximación a este problema utilizando reglas vagas o difusas extraídas del 
comportamiento de una RNA.
OBJETIVOS DEL PROYECTO RNA_AC.
      En general, pensando las redes neuronales artificiales como sistemas dinámicos evolutivos, nos
proponemos determinar posibles relaciones entre los patrones emergentes de éstas y los que surgen 
de la evolución espacio-temporal de los autómatas celulares. De existir, formalizar las mismas.
      Para lograr este objetivo general, nos proponemos: 
 Lograr codificaciones significativas de la evolución del conocimiento obtenido por redes de tipo 
backpropagation durante su aprendizaje y de la evolución de los estados de activación de 
neuronas hacia el reconocimiento de patrones almacenados en redes tipo Hopfield.
 Establecer una representación gráfica uniforme de patrones evolutivos, que permita la clara 
comparación entre los mismos.
 Construir programas que implementen estos modelos de redes neurales y apliquen las 
codificaciones establecidas, mostrando gráficamente su evolución.
 Construir programas que implementen autómatas celulares parametrizados para el uso de 
distintas reglas y tipos de vecindades, mostrando gráficamente su evolución.
 Efectuar la búsqueda de semejanzas entre los patrones emergentes de los AC y las RNA.
 De encontrarlas, determinar posibles relaciones matemáticas que expliquen estas semejazas.
 Aproximar un modelo formal de las relaciones encontradas y probar el modelo teórico.
METODOLOGÍA.
      Siguiendo la línea de Wolfram (Wolfram-1994) que modela matemáticamente, visualiza 
patrones generados por los modelos traducidos a programas de computadoras y descubre similitudes 
de comportamiento analizándolos, se utilizará la experimentación computacional y el modelado 
formal, esto es:
 Efectuar un desarrollo formal detallado de estos modelos desde la perspectiva de la teoría de 
autómatas y el estudio de sus propiedades matemáticas y computacionales, para determinar qué 
variables serán controladas durante el estudio [Hopcroft-1979] [Wolfram-1994].
 Generación de distintas codificaciones para representar la evolución del conocimiento que redes 
de tipo BP adquieren durante su fase de aprendizaje (asignación de funciones de conversión de 
los pesos sinápticos, secuenciación de neuronas según orden de capas y otros experimentos).
 Generación de distintas codificaciones para representar las secuencias de activaciones de las 
neuronas en redes Hopfield durante su fase de reconocimiento (cadenas binarias, listas de 
símbolos por agrupación en vecindades y otros experimentos).
 Construcción de prototipos operativos de redes BP y HP para reconocimiento de símbolos 
(casos simples) y de AC para muestreo.
 Pruebas de evolución de variables bajo estudio (pesos sinápticos, estado de neuronas, estado de 
células, etc.) y estudio de las mismas (límites de valores, periodicidad, estabilidad, etc.).
 Determinación de la representación gráfica a utilizar (granularidad, colores, intervalos de 
muestreo y graficación, precisión de valores generados, etc.) de tal manera que sea uniforme y 
significativa en todos los modelos bajo estudio.
 Establecimiento de algoritmos para cotejo computacional de resultados.
 Determinación de la secuencia y cantidad de experimentos a realizar y cómo se organizarán y 
registrarán los resultados obtenidos de los mismos. Los ensayos y el registro deben tener en 
cuenta variables controladas (cantidad de neuronas, cantidad de células en una vecindad, reglas 
de evolución de células, cantidad de capas ocultas, etc.) ya especificadas.
 Construcción de programas operativos y flexibles (en el sentido que las variables de arquitectura 
y funcionamiento que determinen el comportamiento esencial puedan ser alteradas al 
experimentar) de AC, BP y HP que muestren los patrones espacio-temporales que emergen de 
su evolución, bajo las codificaciones definidas y utilizando la representación gráfica unificada, 
para problemas simples de reconocimiento de símbolos.
 Experimentación controlada y registro de resultados.
 Revisión de resultados. Revisión de los modelos gráficos y las codificaciones usadas; de 
incorporar modificaciones, nuevamente experimentación y registro (proceso iterativo).
 Búsqueda de semejanzas morfológicas en los resultados obtenidos, primero por simple 
visualización y luego por cotejo computacional.
 De encontrar relaciones, se discutirán los resultados obtenidos y se intentará expresar aquellas 
mediante expresiones matemáticas (en el “mejor” de los casos, un isomorfismo).
 Establecer la teoría de estas relaciones y efectuar predicciones comprobables.
 Verificar el cumplimiento de estas predicciones en resultados reales.
RESULTADOS
      Los resultados parciales de la investigación obtenidos a la fecha del Congreso, serán mostrados 
utilizando tablas numéricas y gráficos de evolución de los pesos sinápticos de las RNA analizadas. 
Además, se podrán adelantar gráficos de evolución de estos pesos “al modo de los AC” y los 
posibles criterios de comparación contra los de los AC unidimensionales clásicos.
      En este punto se discutirán además, las especificaciones de los distintos métodos de graficación 
de esta evolución del conocimiento adquirido por redes BP, punto clave en la metodología de 
trabajo.
ANÁLISIS DE RESULTADOS y CONCLUSIONES PRELIMINARES.
      Sabemos que de las cuatro categorías posibles de evolución de autómatas celulares indicadas 
por Wolfram en sus trabajos, las RNA pensadas como sistemas evolutivos sólo podrán alcanzar, con 
suerte, aquellas que tienden a estabilizarse en patrones uniformes.
      Aún así, la determinación de alguna relación entre los distintos momentos de las redes 
neuronales artificiales y la evolución espacio-temporal de los autómatas celulares, puede efectuar 
un importante aporte al estudio de ambos modelos matemáticos, impactando principalmente en las 
ciencias de la computación y en el estudio de los sistemas dinámicos complejos. De surgir algo tan 
fuerte como un isomorfismo, el camino a una teoría unificada de los modelos evolutivos puede 
quedar establecido.
      Según los resultados finales que se obtengan, inclusive este conocimiento podría tener 
importantes repercusiones tecnológicas que podrían dar lugar a futuros proyectos de investigación 
aplicada y desarrollos tecnológicos, ya que la aplicación cruzada de herramientas teóricas de los 
modelos bajo estudio indicaría el camino de, por ejemplo, la construcción de métodos más veloces 
de entrenamiento de RNA, la predicción evolutiva de los AC interpretados como máquinas de 
cómputo para reconocimiento y otros.
      Los resultados obtenidos hasta el momento (el proyecto esta en desarrollo), son gráficamente 
aun confusos, posiblemente debido a problemas de redondeo y conversión de variables de formatos 
nativos de los lenguajes empleados a binario. Actualmente estamos afinando este aspecto e ideando 
otras formas de conversión.
BIBLIOGRAFÍA.
[Avnet-2000] Avnet J. (2000), 
      Computation, Dynamics and the Phase-Transition, http://www.theory.org/complexity/cdpt,
      [Fecha de consulta : 17/07/2003]
[Castro-2002] Castro J., Mantas C., Benítez J. (2002),
      Interpretation of Artificial Neural Networks by Means of Fuzzy Rules,
     IEEE Transactions on Neural Network, Vol. 13, #1, pp. 101-116.
[Darwin1859] Darwin, C. (1859),
On the origins of species by means of natural selection, or the preservation of favoured race in 
the struggle for life, Traducción: El origen de las especies, (1992) Editorial Planeta, Barcelona, 
España. 
[Das-1995] Das R., Crutchfield J., Mitchel M., Hanson J. (1995),
     Proceedings of the Sixth International Conference on Genetic Algorithms, Morgan Kaufmann,
    pp. 336-343.
[Denker-1987] Denker J., Shwartz D., Wittner B., Solta S., Howard R., Jackel K., Hopfield J.
     (1987), Large Automatic Learning, Rule Extraction and Generalization, Complex Systems,
   Vol. 1, pp. 877-922.
[Deolikar-2002] Deolalikar V. (2002),
     A Two-Layer Paradigm Capable of Forming Arbitrary Decision Regions in Input Space, 
     IEEE Transactions on Neural Network, Vol. 13, #1, pp. 15-21.
[Hopcroft-1979] Hopcroft J. E.y Ullman J. D. (1979),
      Introduction to Automata Theory, Language and Computation, Addison-Wesley, N.York, USA.
[Newman-1994] Newman J. (1994), 
      El Mundo de las Matemáticas, Vol. 6, Grijalbo, Barcelona, España.
[Rumelhart-1986] Rumelhart D. y McClelland J. (1986),
      Parallel Distributed Processing, Vol. 1: Foundations, MIT Press.
[Wolfram-1984] Wolfram S. (1984),
      Universality and Complexity in Celullar Automata, Physica D, vol. 10, pp. 1-35.
[Wolfram-1985] Wolfram S. (1985),
      Twenty Problems in Theory of Cellular Automata, Physica Scripta, vol. T9, pp. 170-183.
[Wolfram-1994] Wolfram S. (1994),
      Cellular Automata and Complexity (collected papers), Addison-Wesley, Massachusetts, USA.
////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////


Proyecto: RNA–AC : Relaciones entre los momentos de aprendizaje y reconocimiento de las Redes Neuronales Artificiales y la evolución espacio-temporal de los Autómatas Celulares

http://sedici.unlp.edu.ar/bitstream/handle/10915/21168/Documento_completo.pdf?sequence=1

Proyecto: RNA–AC : Relaciones entre los momentos de aprendizaje y reconocimiento de las Redes Neuronales Artificiales y la evolución espacio-temporal de los Autómatas Celulares

Abstract

Similar works

Full text

Available Versions

El Servicio de Difusión de la Creación Intelectual