Theoretical results on a weightless neural classifier and application to computational linguistics

WiSARD é um classificador n-upla, historicamente usado em tarefas de reconhecimento de padrões em imagens em preto e branco. Infelizmente, não era comum que este fosse usado em outras tarefas, devido á sua incapacidade de arcar com grandes volumes de dados por ser sensível ao conteúdo aprendido. Recentemente, a técnica de bleaching foi concebida como uma melhoria à arquitetura do classificador n-upla, como um meio de coibir a sensibilidade da WiSARD. Desde então, houve um aumento na gama de aplicações construídas com este sistema de aprendizado. Pelo uso frequente de corpora bastante grandes, a etiquetação gramatical multilíngue encaixa-se neste grupo de aplicações. Esta tese aprimora o mWANN-Tagger, um etiquetador gramatical sem peso proposto em 2012. Este texto mostra que a pesquisa em etiquetação multilíngue com WiSARD foi intensificada através do uso de linguística quantitativa e que uma configuração de parâmetros universal foi encontrada para o mWANN-Tagger. Análises e experimentos com as bases da Universal Dependencies (UD) mostram que o mWANN-Tagger tem potencial para superar os etiquetadores do estado da arte dada uma melhor representação de palavra. Esta tese também almeja avaliar as vantagens do bleaching em relação ao modelo tradicional através do arcabouço teórico da teoria VC. As dimensões VC destes foram calculadas, atestando-se que um classificador n-upla, seja WiSARD ou com bleaching, que possua N memórias endereçadas por n-uplas binárias tem uma dimensão VC de exatamente N (2n − 1) + 1. Um paralelo foi então estabelecido entre ambos os modelos, onde deduziu-se que a técnica de bleaching é uma melhoria ao método n-upla que não causa prejuízos à sua capacidade de aprendizado.WiSARD é um classificador n-upla, historicamente usado em tarefas de reconhecimento de padrões em imagens em preto e branco. Infelizmente, não era comum que este fosse usado em outras tarefas, devido á sua incapacidade de arcar com grandes volumes de dados por ser sensível ao conteúdo aprendido. Recentemente, a técnica de bleaching foi concebida como uma melhoria à arquitetura do classificador n-upla, como um meio de coibir a sensibilidade da WiSARD. Desde então, houve um aumento na gama de aplicações construídas com este sistema de aprendizado. Pelo uso frequente de corpora bastante grandes, a etiquetação gramatical multilíngue encaixa-se neste grupo de aplicações. Esta tese aprimora o mWANN-Tagger, um etiquetador gramatical sem peso proposto em 2012. Este texto mostra que a pesquisa em etiquetação multilíngue com WiSARD foi intensificada através do uso de linguística quantitativa e que uma configuração de parâmetros universal foi encontrada para o mWANN-Tagger. Análises e experimentos com as bases da Universal Dependencies (UD) mostram que o mWANN-Tagger tem potencial para superar os etiquetadores do estado da arte dada uma melhor representação de palavra. Esta tese também almeja avaliar as vantagens do bleaching em relação ao modelo tradicional através do arcabouço teórico da teoria VC. As dimensões VC destes foram calculadas, atestando-se que um classificador n-upla, seja WiSARD ou com bleaching, que possua N memórias endereçadas por n-uplas binárias tem uma dimensão VC de exatamente N (2n − 1) + 1. Um paralelo foi então estabelecido entre ambos os modelos, onde deduziu-se que a técnica de bleaching é uma melhoria ao método n-upla que não causa prejuízos à sua capacidade de aprendizado

Bus line trajectories classification using weightless neural networks

Geo-enabled devices are ubiquitous nowadays. Within a diversity of possible applications using the huge of amount data generated by this technology, our work focuses on a chronic problem of Rio de Janeiro city: its public bus system. This text presents a framework for GPS trajectories classification, whose focus is the identification of bus routes of a public bus system. In order to do that, it was used the lightweight and versatile WiSARD, a weightless neural network classifier. Different binarization methods were used to adapt raw data to WiSARD’s binary input, making use of a set of rules defined by the application domain. Yet, it is evaluated a way of combining WiSARD through decision directed acyclic graphs. All these approachs result in different flavors of a neuro-symbolic learning system. The framework was tested against a vast data set created from open access and real-time data acquired from the current bus system of Rio de Janeiro city. Results obtained suggest the applicability of the proposed solution in a classification problem with more than 500 classes. Comparisons made also indicate an equivalent performance of WiSARD and other state-of-art and widely used machine learning methods. In addition, the framework described here is believed to be adaptable to other application domains.Dispositivos com localização espacial estão em toda parte hoje em dia. Dentre várias possíveis aplicações com a grande quantidade de dados gerada por esse tipo de equipamento, nosso trabalho foca em um problema crônico da cidade do Rio de Janeiro: seu sistema público de ônibus. Apresenta-se neste texto uma arquitetura para classificação de trajetórias GPS, cujo foco é a identificação de rotas de ônibus do sistema público. Para isso, utilizamos o leve e versátil classificador baseado em redes neurais sem peso WiSARD. Para a geração da entrada da rede, experimentamos diferentes formas de binarização, fazendo uso de regras definidas pelo problema. Ainda, avaliamos uma forma de combinação das redes WiSARD com o uso de um grafo acíclico de decisões. Todas essas propostas resultam em diferentes sabores de um sistema de aprendizado neurossimbólico. Tal arquitetura foi testada contra um vasto conjunto de dados construído a partir de dados fornecido em tempo real e de forma pública pelo sistema corrente da cidade do Rio de Janeiro. Os resultados obtidos indicam a aplicabilidade da solução proposta em um problema de classificação envolvendo mais de 500 classes. As comparações efetuadas indicam uma equiparação do modelo WiSARD com outros modelos em estado da arte. No mais, acreditamos que a metodologia aqui descrita possa ser utilizada com sucesso em outros domínios