Contributions to projection pursuit learning

Orientadores: Fernando Jose Von Zuben, Clodoaldo Aparecido de Moraes LimaDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de ComputaçãoResumo: A obtenção de modelos parcimoniosos é uma necessidade em vários problemas de engenharia, como no caso de projeto de sistemas embarcados. Algoritmos construtivos para treinamento supervisionado têm apresentado efetividade como metodologias de projeto de redes neurais artificiais (RNAs) parcimoniosas, de boa acurácia e capacidade de generalização, embora requeiram mais recursos computacionais durante o processo de síntese da RNA. O aprendizado por busca de projeção está entre os métodos construtivos mais utilizados, mas ainda apresenta algumas limitações, sendo que aqui se procura tratar três delas: a inicialização da direção de projeção, o emprego de entrada de polarização junto aos neurônios da camada intermediária e a seleção de variáveis visando a redução no número de entradas, ou seja, na dimensão do vetor de projeção. Utilizou-se uma técnica de seleção de variáveis denominada wrapper, cuja implementação envolveu o emprego de um algoritmo genético, e realizaram-se experimentos de análise de desempenho no contexto de predição de séries temporais, indicando que as três propostas sugeridas trazem contribuições para o processo de aprendizado construtivoAbstract: The production of parsimonious models is a common demand on a wide variety of engineering problems, as in the design of embedded systems. Constructive algorithms for supervised learning have shown to be effective methodologies for the synthesis of parsimonious artificial neural networks, with high levels of accuracy and generalization capability, though requiring more computational resources during the training phase. Even being one of the most frequently adopted constructive learning methods, the projection pursuit learning algorithm still presents some limitations, and three of them will be treated here: the initialization of the direction of projection, the use of a bias term at the input of the hidden-layer neurons, and the selection of input variables as a form of reducing the number of inputs, i.e. the dimension of the vector of projection. The variable selection technique adopted here is denoted wrapper, and a genetic algorithm was considered as the search engine. The performance analysis has been carried out by experiments involving time series prediction, indicating that the three propositions suggested to deal with limitation of projection pursuit learning contribute favorably to the process of constructive learningMestradoEngenharia de ComputaçãoMestre em Engenharia Elétric