Fat-Fast VG-RAM WNN: A high performance approach

The Virtual Generalizing Random Access Memory Weightless Neural Network (VGRAM WNN) is a type of WNN that only requires storage capacity proportional to the training set. As such, it is an effective machine learning technique that offers simple implementation and fast training – it can be made in one shot. However, the VG-RAM WNN test time for applications that require many training samples can be large, since it increases with the size of the memory of each neuron. In this paper, we present Fat-Fast VG-RAM WNNs. Fat-Fast VG-RAM WNNs employ multi-index chained hashing for fast neuron memory search. Our chained hashing technique increases the VG-RAM memory consumption (fat) but reduces test time substantially (fast), while keeping most of its machine learning performance. To address the memory consumption problem, we employ a data clustering technique to reduce the overall size of the neurons’ memory. This can be achieved by replacing clusters of neurons’ memory by their respective centroid values. With our approach, we were able to reduce VG-RAM WNN test time and memory footprint, while maintaining a high and acceptable machine learning performance. We performed experiments with the Fat-Fast VG-RAM WNN applied to two recognition problems: (i) handwritten digit recognition, and (ii) traffic sign recognition. Our experimental results showed that, in both recognition problems, our new VG-RAM WNN approach was able to run three orders of magnitude faster and consume two orders of magnitude less memory than standard VG-RAM, while experiencing only a small reduction in recognition performance

Image-Based Mapping and Localization using VG-RAM Weightless Neural Networks

Localização e Mapeamento são problemas fundamentais da robótica autônoma. Robôs autônomos necessitam saber onde se encontram em sua área de operação para navegar pelo ambiente e realizar suas atividades de interesse. Neste trabalho, apresentamos um sistema para mapeamento e localização baseado em imagens que emprega Redes Neurais Sem Peso do Tipo VG-RAM (RNSP VG-RAM) para um carro autônomo. No nosso sistema, uma RNSP VG-RAM aprende posições globais associadas à imagens e marcos tridimensionais capturados ao longo de uma trajetória, e constrói um mapa baseado nessas informações. Durante a localização, o sistema usa um Filtro Estendido de Kalman para integrar dados de sensores e do mapa ao longo do tempo, através de passos consecutivos de predição e correção do estado do sistema. O passo de predição é calculado por meio do modelo de movimento do nosso robô, que utiliza informações de velocidade e ângulo do volante, calculados a partir de imagens utilizando-se odometria visual. O passo de correção é realizado através da integração das posições globais que a RNSP VG-RAM com a correspondência dos marcos tridimensional previamente armazenados no mapa do robô. Realizamos experimentos com o nosso sistema usando conjuntos de dados do mundo real. Estes conjuntos de dados consistem em dados provenientes de vários sensores de um carro autônomo, que foram sistematicamente adquiridos durante voltas ao redor do campus principal da UFES (um circuito de 3,57 km). Nossos resultados experimentais mostram que nosso sistema é capaz de aprender grandes mapas (vários quilômetros de comprimento) e realizar a localização global e rastreamento de posição de carros autônomos, com uma precisão de 0,2 metros quando comparado à abordagem de Localização de Monte Carlo utilizado no nosso veículo autônomo

Performance Comparison of Feature Face Detection Algorithm on The Embedded Platform

The intensity of light will greatly affect every process carried out in image processing, especially facial images. It is important to analyze how the performance of each face detection method when tested at several lighting levels. In face detection, various methods can be used and have been tested. The FLP method automates the identification of the location of facial points. The Fisherface method reduces the dimensions obtained from PCA calculations. The LBPH method converts the texture of a face image into a binary value, while the WNNs method uses RAM to process image data, using the WiSARD architecture. This study proposes a technique for testing the effect of light on the performance of face detection methods, on an embedded platform. The highest accuracy was achieved by the LBPH and WNNs methods with an accuracy value of 98% at a lighting level of 400 lx. Meanwhile, at the lowest lighting level of 175 lx, all methods have a fairly good level of accuracy, which is between 75% to 83%

Avaliação de Oportunidades de Investimento no Mercado Futuro Brasileiro na Escala de Dezenas de Segundos

"A utilização de sistemas automáticos de investimentos na Bolsa de Valores brasileira (BM&FBovespa) vem crescendo a cada ano. Isso ocorre porque os sistemas automáticos de investimento, também chamados de robôs, são capazes de avaliar vários ativos financeiros simultaneamente e em escalas de tempo muito menores do que as de um investidor. Dessa forma, surge a necessidade de se criar algoritmos capazes de analisar grandes quantidades de dados em tempo real e de decidir acerca da melhor ação a ser tomada para um determinado ativo financeiro de interesse a cada instante. Neste trabalho, foram avaliadas oportunidades de investimento no mercado futuro brasileiro (uma parte da BM&FBovespa) na escala de tempo de dezenas de segundos, usando um sistema automático de investimento baseado em preditores e considerando os custos de operação. Inicialmente, foi avaliado o limite superior de retorno que pode ser gerado por investimentos no mercado futuro usando um preditor perfeito, comumente chamado de oráculo. Em seguida, foram avaliados dois tipos de preditores neurais: um baseado em redes neurais Multilayer Perceptron (MLP) e o outro baseado em redes neurais sem peso VG-RAM. Os resultados mostraram que existem diariamente grandes oportunidades de investimento nas escalas de tempo analisadas, mas estas são difíceis de serem preditas usando as redes neurais consideradas. Isso ocorre porque as cotações dos ativos financeiros do mercado futuro têm comportamento muito próximo ao de séries random-walk. Contudo, usando mecanismos de decisão baseados no desempenho recente dos preditores, é possível melhorar a qualidade das decisões de compra e venda e se beneficiar de momentos em que as séries de cotações dos ativos são mais previsíveis.

Rejection-oriented learning without complete class information

Machine Learning is commonly used to support decision-making in numerous, diverse contexts. Its usefulness in this regard is unquestionable: there are complex systems built on the top of machine learning techniques whose descriptive and predictive capabilities go far beyond those of human beings. However, these systems still have limitations, whose analysis enable to estimate their applicability and confidence in various cases. This is interesting considering that abstention from the provision of a response is preferable to make a mistake in doing so. In the context of classification-like tasks, the indication of such inconclusive output is called rejection. The research which culminated in this thesis led to the conception, implementation and evaluation of rejection-oriented learning systems for two distinct tasks: open set recognition and data stream clustering. These system were derived from WiSARD artificial neural network, which had rejection modelling incorporated into its functioning. This text details and discuss such realizations. It also presents experimental results which allow assess the scientific and practical importance of the proposed state-of-the-art methodology.Aprendizado de Máquina é comumente usado para apoiar a tomada de decisão em numerosos e diversos contextos. Sua utilidade neste sentido é inquestionável: existem sistemas complexos baseados em técnicas de aprendizado de máquina cujas capacidades descritivas e preditivas vão muito além das dos seres humanos. Contudo, esses sistemas ainda possuem limitações, cuja análise permite estimar sua aplicabilidade e confiança em vários casos. Isto é interessante considerando que a abstenção da provisão de uma resposta é preferível a cometer um equívoco ao realizar tal ação. No contexto de classificação e tarefas similares, a indicação desse resultado inconclusivo é chamada de rejeição. A pesquisa que culminou nesta tese proporcionou a concepção, implementação e avaliação de sistemas de aprendizado orientados `a rejeição para duas tarefas distintas: reconhecimento em cenário abertos e agrupamento de dados em fluxo contínuo. Estes sistemas foram derivados da rede neural artificial WiSARD, que teve a modelagem de rejeição incorporada a seu funcionamento. Este texto detalha e discute tais realizações. Ele também apresenta resultados experimentais que permitem avaliar a importância científica e prática da metodologia de ponta proposta