Gauss-newton Based Learning For Fully Recurrent Neural Networks

The thesis discusses a novel off-line and on-line learning approach for Fully Recurrent Neural Networks (FRNNs). The most popular algorithm for training FRNNs, the Real Time Recurrent Learning (RTRL) algorithm, employs the gradient descent technique for finding the optimum weight vectors in the recurrent neural network. Within the framework of the research presented, a new off-line and on-line variation of RTRL is presented, that is based on the Gauss-Newton method. The method itself is an approximate Newton\u27s method tailored to the specific optimization problem, (non-linear least squares), which aims to speed up the process of FRNN training. The new approach stands as a robust and effective compromise between the original gradient-based RTRL (low computational complexity, slow convergence) and Newton-based variants of RTRL (high computational complexity, fast convergence). By gathering information over time in order to form Gauss-Newton search vectors, the new learning algorithm, GN-RTRL, is capable of converging faster to a better quality solution than the original algorithm. Experimental results reflect these qualities of GN-RTRL, as well as the fact that GN-RTRL may have in practice lower computational cost in comparison, again, to the original RTRL

SYPEC: desenvolvimento de classificadores para identificação automática da postura de sentado

Dissertação para obtenção do Grau de Mestre em Engenharia BiomédicaActualmente, a postura de sentado é a postura mais adoptada pela sociedade em geral. O aumento das profissões que exigem longos períodos de tempo na postura de sentado e o estilo de vida sedentário são as principais causas. A adopção de posturas incorrectas na postura de sentado traz consequências a longo prazo, podendo desenvolver patologias ao nível da coluna. É no sentido de minimizar os problemas de saúde que se enquadra o projecto SYPEC (System for Posture Evaluation and Correction), cujo objectivo é desenvolver um sistema de avaliação e correcção postural incorporado numa cadeira. O protótipo do sistema SYPEC consiste numa cadeira de escritório convencional cujo assento e costas possuem bolsas de ar. Cada bolsa de ar possui um circuito independente de ar contendo um transdutor de pressão, um compressor de ar e uma electroválvula. Através deste sistema é possível medir os valores de pressão no interior das bolsas. O presente trabalho consistiu na detecção automática da postura de sentado, com base nas medidas de pressão. Foi necessário desenvolver algoritmos de classificação, baseado em dados previamente treinados. Foram estudadas 11 posturas diferentes e realizados testes a 30 sujeitos. Desenvolveram-se dois classificadores, um baseado em redes neuronais e outro no Teorema de Bayes, o Naive Bayes. Foram testados vários parâmetros para as redes neuronais, tendo obtido os melhores resultados com o treino Resilient Backpropagation, com uma camada interna e 15 neurónios, obtendo uma classificação média de 75% para os 30 sujeitos. Para o Naive Bayes, foram usados dois tipos de distribuições, a normal e a kernel, obtendo uma classificação média de 70%. Conseguiram-se resultados de 90% para alguns sujeitos. Com recurso à aplicação móvel e à adaptação das redes neuronais feita em trabalhos a decorrer em paralelo, é possível identificar em tempo real a postura em que o utilizador se encontra

A Conjugate Gradient Learning Algorithm for Recurrent Neural Networks

The real-time recurrent learning (RTRL) algorithm, which is originally proposed for training recurrent neural networks, requires a large number of iterations for convergence because a small learning rate should be used. While an obvious solution to this problem is to use a large learning rate, this could result in undesirable convergence characteristics. This paper attempts to improve the convergence capability and convergence characteristics of the RTRL algorithm by incorporating conjugate gradient computation into its learning procedure. The resulting algorithm, referred to as the conjugate gradient recurrent learning (CGRL) algorithm, is applied to train fully connected recurrent neural networks to simulate a second-order low pass filter and to predict the chaotic intensity pulsations of NH 3 laser. Results show that the CGRL algorithm exhibits substantial improvement in convergence (in terms of the reduction in mean squared error per epoch) as compared to the RTRL and batch mode RT..