Redes neurais baseadas no método de grupo de manipulação de dados : treinamento, implementações e aplicações

Tese (doutorado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Mecânica, 2013.O Método de Grupo para Manipulação de Dados (GMDH - Group Method of Data Handling) é um modelo de rede neural artificial (RNA) constituído de neurônios compostos por polinômios de baixa ordem. Os neurônios GMDH dispensam o uso das complexas funções de ativação, que demandam grandes esforços dos microprocessadores para que realizem seus cálculos. A simplicidade dos neurônios, em conjunto com outras características, tornam o GMDH uma opção interessante para aplicações de engenharia. Desde a proposta seminal do método, em 1966, diversos trabalhos têm sido desenvolvidos com o intuito de melhorar seus resultados em áreas como mineração de dados, predição, modelagem de sistemas, otimização e reconhecimento de padrões. Este trabalho introduziu uma abordagem teórica e experimental no estudo do GMDH, lidando com vários aspectos de seu processo de treinamento. Como resultado, produziu-se uma ferramenta de desenvolvimento chamada GMDH Box, que permite que o desenvolvedor escolha diferentes parâmetros de treinamento e varições do método, que podem ser aplicados em diferentes áreas. Nesse sentido, três aplicações foram escolhidas: (a) modelagem e predição de sistemas dinâmicos; (b) reconhecimento de padrões em bioinformática e; (c) sistemas embarcados baseados em FPGAs. A identificação de sistemas dinâmicos não lineares é uma tarefa difícil e existem vários relatos na literatura sobre a utilização de diferentes modelos de RNAs para aproximar essa classe de problemas. Este trabalho introduziu a aplicação da modelagem paralela de GMDH nesta área, comparando seus resultados com outros obtidos utilizando-se redes neurais MLP (Multiple Layers Perceptron). Na áarea de bioinformática, o método GMDH foi testado com sete sequências de proteínas cujos tamanhos variam de 14 a 54 resíduos. Os resultados demonstraram que as estruturas terciárias preditas adotam uma forma similar às das estruturas experimentais. Na área de sistemas embarcados, partes do método GMDH foram implementadas em hardware, mais precisamente em FPGAs (Field Programmable Gate Arrays). Um conjunto de experimentos foi realizado em um PC utilizando o FPGA como um coprocessador acessado através do protocolo TCP/IP. O fluxo de projeto demonstrou que é possível implementar-se a rede em hardware, que pode ser utilizada como um acelerador em sistemas embarcados. Experimentos demonstraram que a implementação é efetiva para encontrar-se soluções de boa qualidade para o problema em análise e representam os primeiros resultados da técnica inovadora da aplicação de GMDH em hardware para a solução do problema da predição de estruturas de proteínas. Nas três aplicações, obteve-se resultados interessantes, relacionados ao desempenho e à aplicabilidade do método, comparando-os com resultados obtidos a partir de abordagens mais conhecidas como o modelo MLP. _________________________________________________________________________________ ABSTRACTGMDH (Group Method of Data Handling) are arti cial neural networks (ANNs) composed of neurons constituted of low order polynomials. GMDH neurons are exempt from the use of complex activation functions, which require big e orts from microprocessors to perform their calculations. The simplicity of the GMDH neurons model, along with other characteristics, make GMDH an interesting option for engineering applications. Since the seminal proposal of the GMDH method in 1966, several works have been developed in order to improve its results in di erent areas such as data mining, knowledge discovery, forecasting, systems modeling, optimization and pattern recognition. This work has introduced a theoretical and experimental approach in the study of GMDH, discussing and addressing several aspects of its training process. This work has yielded a development tool called GMDH Box, which allows the designer to choose several GMDH training parameters and variations, which can be applied on different areas. In this direction, three applications have been chosen: (a) modeling and prediction of dynamic systems; (b) pattern recognition in bioinformatics and; (c) embedded systems based on FPGAs. Identi cation and prediction of nonlinear dynamic systems are di cult tasks and there are several reports in the literature about the utilization of dif erent models of ANNs to approximate this class of systems. This work has introduced the application of GMDH parallel modeling to this problem, comparing its results with the ones obtained with MLP (Multiple Layers Perceptron) ANNs. In the bioinformatics area, the GMDH method was tested with seven protein sequences whose sizes vary from 14 to 54 amino acid residues. Results show that the predicted tertiary structures adopt a fold similar to the experimental structures. In the embedded systems area, portions of the GMDH method have been implemented in hardware, more precisely in FPGAs (Field Programmable Gate Arrays). A set of experiments have been performed on a PC using the FPGA as a co-processor accessed through sockets over the TCP/IP protocol. The design ow employed demonstrated that it is possible to implement the network in hardware, which can be used as an accelerator in embedded systems. Experiments show that the proposed implementation is ef ective in finding good quality solutions for the example problem, which represents the early results of the novel technique of applying the GMDH algorithms in hardware for solving the problem of protein structures prediction. In the three applications, this work has detected several interesting results, related to performance and suitability, comparing the results with more well-known approaches such as the MLP model

Exploration of the power-performance tradeoff through parameterization of FPGA-based multiprocessor systems

The design space of FPGA-based processor systems is huge, because many parameters can be modified at design- and runtime to achieve an efficient system solution in terms of performance, power and energy consumption. Such parameters are, for example, the number of processors and their configurations, the clock frequencies at design time, the use of dynamic frequency scaling at runtime, the application task distribution, and the FPGA type and size. The major contribution of this paper is the exploration of all these parameters and their impact on performance, power dissipation, and energy consumption for four different application scenarios. The goal is to introduce a first approach for a developer's guideline, supporting the choice of an optimized and specific system parameterization for a target application on FPGA-based multiprocessor systems-on-chip. The FPGAs used for these explorations were Xilinx Virtex-4 and Xilinx Virtex-5. The performance results were measured on the FPGA while the power consumption was estimated using the Xilinx X Power Analyzer tool. Finally, a novel runtime adaptive multiprocessor architecture for dynamic clock frequency scaling is introduced and used for the performance, power and energy consumption evaluations