Theoretical results on a weightless neural classifier and application to computational linguistics

WiSARD é um classificador n-upla, historicamente usado em tarefas de reconhecimento de padrões em imagens em preto e branco. Infelizmente, não era comum que este fosse usado em outras tarefas, devido á sua incapacidade de arcar com grandes volumes de dados por ser sensível ao conteúdo aprendido. Recentemente, a técnica de bleaching foi concebida como uma melhoria à arquitetura do classificador n-upla, como um meio de coibir a sensibilidade da WiSARD. Desde então, houve um aumento na gama de aplicações construídas com este sistema de aprendizado. Pelo uso frequente de corpora bastante grandes, a etiquetação gramatical multilíngue encaixa-se neste grupo de aplicações. Esta tese aprimora o mWANN-Tagger, um etiquetador gramatical sem peso proposto em 2012. Este texto mostra que a pesquisa em etiquetação multilíngue com WiSARD foi intensificada através do uso de linguística quantitativa e que uma configuração de parâmetros universal foi encontrada para o mWANN-Tagger. Análises e experimentos com as bases da Universal Dependencies (UD) mostram que o mWANN-Tagger tem potencial para superar os etiquetadores do estado da arte dada uma melhor representação de palavra. Esta tese também almeja avaliar as vantagens do bleaching em relação ao modelo tradicional através do arcabouço teórico da teoria VC. As dimensões VC destes foram calculadas, atestando-se que um classificador n-upla, seja WiSARD ou com bleaching, que possua N memórias endereçadas por n-uplas binárias tem uma dimensão VC de exatamente N (2n − 1) + 1. Um paralelo foi então estabelecido entre ambos os modelos, onde deduziu-se que a técnica de bleaching é uma melhoria ao método n-upla que não causa prejuízos à sua capacidade de aprendizado.WiSARD é um classificador n-upla, historicamente usado em tarefas de reconhecimento de padrões em imagens em preto e branco. Infelizmente, não era comum que este fosse usado em outras tarefas, devido á sua incapacidade de arcar com grandes volumes de dados por ser sensível ao conteúdo aprendido. Recentemente, a técnica de bleaching foi concebida como uma melhoria à arquitetura do classificador n-upla, como um meio de coibir a sensibilidade da WiSARD. Desde então, houve um aumento na gama de aplicações construídas com este sistema de aprendizado. Pelo uso frequente de corpora bastante grandes, a etiquetação gramatical multilíngue encaixa-se neste grupo de aplicações. Esta tese aprimora o mWANN-Tagger, um etiquetador gramatical sem peso proposto em 2012. Este texto mostra que a pesquisa em etiquetação multilíngue com WiSARD foi intensificada através do uso de linguística quantitativa e que uma configuração de parâmetros universal foi encontrada para o mWANN-Tagger. Análises e experimentos com as bases da Universal Dependencies (UD) mostram que o mWANN-Tagger tem potencial para superar os etiquetadores do estado da arte dada uma melhor representação de palavra. Esta tese também almeja avaliar as vantagens do bleaching em relação ao modelo tradicional através do arcabouço teórico da teoria VC. As dimensões VC destes foram calculadas, atestando-se que um classificador n-upla, seja WiSARD ou com bleaching, que possua N memórias endereçadas por n-uplas binárias tem uma dimensão VC de exatamente N (2n − 1) + 1. Um paralelo foi então estabelecido entre ambos os modelos, onde deduziu-se que a técnica de bleaching é uma melhoria ao método n-upla que não causa prejuízos à sua capacidade de aprendizado

Weightless Neural Networks for text classification using tf-idf

n/

Incremental learning algorithms and applications

International audienceIncremental learning refers to learning from streaming data, which arrive over time, with limited memory resources and, ideally, without sacrificing model accuracy. This setting fits different application scenarios where lifelong learning is relevant, e.g. due to changing environments , and it offers an elegant scheme for big data processing by means of its sequential treatment. In this contribution, we formalise the concept of incremental learning, we discuss particular challenges which arise in this setting, and we give an overview about popular approaches, its theoretical foundations, and applications which emerged in the last years

Comparação de desempenho entre os modelos neurais ágeis ELM e WiSARD

Neural models are popular in machine learning. Agile neural models are a subset of this kind of models and are characterized by presenting a significantly faster training time, being applied mainly in online learning domains. Two examples of agile neural models are the Extreme Learning Machine (ELM), a single hidden layer feedforward neural network which synaptic weights do not need to be iteractively adjusted, and the Wilkes, Stonham and Aleksander Recognition Device (WiSARD), a weightless neural network model with multiple discriminators that use neurons based on RAM memory structures. In this work, a comparative study between ELM and WiSARD models is made, aiming to evaluate both models performance when applied to different datasets having different characteristics. The evaluation is made by comparing test accuracy, training and testing times metrics, as well as the amount of RAM memory consumed by the models.Modelos neurais são populares na área de aprendizado de máquina. Dentre os vários tipos de modelos desta classe, os modelos neurais ágeis se destacam por apresentarem tempo de treinamento consideravelmente inferior, sendo utilizados principalmente em domínios de aprendizado online. Dois exemplos deste tipo de modelo são a Extreme Learning Machine (ELM), que é uma rede neural com uma única camada oculta cujos pesos sinápticos não precisam ser ajustados, e a Wilkes, Stonham and Aleksander Recognition Device (WiSARD), um modelo de rede neural sem pesos com múltiplos discriminadores que utilizam neurônios implementados como estruturas de memória RAM. Neste trabalho, ´e realizado um estudo comparativo entre os modelos neurais ágeis ELM e WiSARD, visando avaliar o desempenho de ambos quando aplicados a diferentes conjuntos de dados com diferentes características. A avaliação é feita a partir da comparação das métricas de acurácia de teste, tempos de treinamento e de teste, além do uso de memória RAM dos dois modelos

Rejection-oriented learning without complete class information

Machine Learning is commonly used to support decision-making in numerous, diverse contexts. Its usefulness in this regard is unquestionable: there are complex systems built on the top of machine learning techniques whose descriptive and predictive capabilities go far beyond those of human beings. However, these systems still have limitations, whose analysis enable to estimate their applicability and confidence in various cases. This is interesting considering that abstention from the provision of a response is preferable to make a mistake in doing so. In the context of classification-like tasks, the indication of such inconclusive output is called rejection. The research which culminated in this thesis led to the conception, implementation and evaluation of rejection-oriented learning systems for two distinct tasks: open set recognition and data stream clustering. These system were derived from WiSARD artificial neural network, which had rejection modelling incorporated into its functioning. This text details and discuss such realizations. It also presents experimental results which allow assess the scientific and practical importance of the proposed state-of-the-art methodology.Aprendizado de Máquina é comumente usado para apoiar a tomada de decisão em numerosos e diversos contextos. Sua utilidade neste sentido é inquestionável: existem sistemas complexos baseados em técnicas de aprendizado de máquina cujas capacidades descritivas e preditivas vão muito além das dos seres humanos. Contudo, esses sistemas ainda possuem limitações, cuja análise permite estimar sua aplicabilidade e confiança em vários casos. Isto é interessante considerando que a abstenção da provisão de uma resposta é preferível a cometer um equívoco ao realizar tal ação. No contexto de classificação e tarefas similares, a indicação desse resultado inconclusivo é chamada de rejeição. A pesquisa que culminou nesta tese proporcionou a concepção, implementação e avaliação de sistemas de aprendizado orientados `a rejeição para duas tarefas distintas: reconhecimento em cenário abertos e agrupamento de dados em fluxo contínuo. Estes sistemas foram derivados da rede neural artificial WiSARD, que teve a modelagem de rejeição incorporada a seu funcionamento. Este texto detalha e discute tais realizações. Ele também apresenta resultados experimentais que permitem avaliar a importância científica e prática da metodologia de ponta proposta

Using Artificial Intelligence to Identify Perpetrators of Technology Facilitated Coercive Control

This study is one of the 21 projects funded by the Home Office for research on perpetrators of domestic abuse. It is interested in a specific form of domestic abuse known as Technology Facilitated Coercive Control (TFCC) and focussed on the digital communication between (alleged) perpetrators and victim/survivors held on mobile phones. The purpose of this feasibility study was twofold, i. to test the viability of an Artificial Intelligence (AI) programme to identify () perpetrators (including alleged perpetrators) of domestic abuse using digital communications held on mobile phones ii. to examine police and victim/survivor attitudes towards using AI in police investigations. Using digital conversations extracted from court transcriptions where TFCC was identified as a factor in the offending, the research team tested data sets built on different methods and techniques of AI. Natural Language Processing (NLP) tools, a subfield of AI, were also tested for their speed and accuracy in recognising abusive communication and identifying and risk assessing perpetrators of TFCC. Conscious of national concern about policing practices relating to Violence Against Women and Girls and that any AI programme would be futile without the co-operation of both the police and the public, two online surveys were devised to measure opinion. The first sought insight into the attitudes of victim/survivors, viewed as experts in domestic abuse, about using AI in police investigations. The second involved the police and questioned their views of using AI in this way

Using Artificial Intelligence to Identify Perpetrators of Technology Facilitated Coercive Control.

This study investigated the feasibility of using Artificial Intelligence to identify perpetrators of coercive control through digital data held on mobile phones. The research also sought the views of the police and victim/survivors of domestic abuse to using technology in this way

Data Science and Knowledge Discovery

Data Science (DS) is gaining significant importance in the decision process due to a mix of various areas, including Computer Science, Machine Learning, Math and Statistics, domain/business knowledge, software development, and traditional research. In the business field, DS's application allows using scientific methods, processes, algorithms, and systems to extract knowledge and insights from structured and unstructured data to support the decision process. After collecting the data, it is crucial to discover the knowledge. In this step, Knowledge Discovery (KD) tasks are used to create knowledge from structured and unstructured sources (e.g., text, data, and images). The output needs to be in a readable and interpretable format. It must represent knowledge in a manner that facilitates inferencing. KD is applied in several areas, such as education, health, accounting, energy, and public administration. This book includes fourteen excellent articles which discuss this trending topic and present innovative solutions to show the importance of Data Science and Knowledge Discovery to researchers, managers, industry, society, and other communities. The chapters address several topics like Data mining, Deep Learning, Data Visualization and Analytics, Semantic data, Geospatial and Spatio-Temporal Data, Data Augmentation and Text Mining

Traitement automatique de rapports d’incidents et accidents : application à la gestion du risque dans l’aviation civile

Тoзи реферат описва приложението на автоматичната обработка на естествен език (ОЕЕ) в контекста на управлението на риска в гражданското въздухоплаване. В тази област докладването на инциденти и разследването на произшествия генерират голямо количество информация, главно под формата на текстови описания на необичайни събития. На първо време описваме раличните типове (текстови) данни, които секторът произвежда. Анализираме самите документи, методите за съхраняването им, как са организирани, както и техните употреби от екперти по сигурността. Показваме, че съвремените парадигми за съхраняване и организация не са добре приспособени към реалната употреба на този тип данни и установяваме проблемните зони, в които ОЕЕ е част от решението. Две приложения, отговарящи прецизно на нуждите на експерти по авиационна сигурност, са имплементирани: автоматична класификация на доклади за инциденти и система за проучване на на колекции, основаваща се върху текстовото сходство. Въз основа на наблюдения на реалната употреба на приложенията, предлагаме няколко метода за обработка на доклади за инциденти и произшествия и обсъждаме в дълбочина как ОЕЕ може да бъде проложено на различни нива в информационнo-обработващите структури на един високорисков сектор. Оценявайки методите показваме, че трудностите свързани с многоизмерността и изменимостта на човешкия език могат да бъдат ефективно адресирани и предлагаме надеждни възходящи методи за справяне със свръхизобилието на доклади за инциденти в текстови форматThis thesis describes the applications of natural language processing (NLP) to industrial risk management. We focus on the domain of civil aviation, where incident reporting and accident investigations produce vast amounts of information, mostly in the form of textual accounts of abnormal events, and where efficient access to the information contained in the reports is required. We start by drawing a panorama of the different types of data produced in this particular domain. We analyse the documents themselves, how they are stored and organised as well as how they are used within the community. We show that the current storage and organisation paradigms are not well adapted to the data analysis requirements, and we identify the problematic areas, for which NLP technologies are part of the solution. Specifically addressing the needs of aviation safety professionals, two initial solutions are implemented: automatic classification for assisting in the coding of reports within existing taxonomies and a system based on textual similarity for exploring collections of reports. Based on the observation of real-world tool usage and on user feedback, we propose different methods and approaches for processing incident and accident reports and comprehensively discuss how NLP can be applied within the safety information processing framework of a high-risk sector. By deploying and evaluating certain approaches, we show how elusive aspects related to the variability and multidimensionality of language can be addressed in a practical manner and we propose bottom-up methods for managing the overabundance of textual feedback dataCette thèse décrit les applications du traitement automatique des langues (TAL) à la gestion des risques industriels. Elle se concentre sur le domaine de l'aviation civile, où le retour d'expérience (REX) génère de grandes quantités de données, sous la forme de rapports d'accidents et d'incidents. Nous commençons par faire un panorama des différentes types de données générées dans ce secteur d'activité. Nous analysons les documents, comment ils sont produits, collectés, stockés et organisés ainsi que leurs utilisations. Nous montrons que le paradigme actuel de stockage et d’organisation est mal adapté à l’utilisation réelle de ces documents et identifions des domaines problématiques ou les technologies du langage constituent une partie de la solution. Répondant précisément aux besoins d'experts en sécurité, deux solutions initiales sont implémentées : la catégorisation automatique de documents afin d'aider le codage des rapports dans des taxonomies préexistantes et un outil pour l'exploration de collections de rapports, basé sur la similarité textuelle. En nous basant sur des observations de l'usage de ces outils et sur les retours de leurs utilisateurs, nous proposons différentes méthodes d'analyse des textes issus du REX et discutons des manières dont le TAL peut être appliqué dans le cadre de la gestion de la sécurité dans un secteur à haut risque. En déployant et évaluant certaines solutions, nous montrons que même des aspects subtils liés à la variation et à la multidimensionnalité du langage peuvent être traités en pratique afin de gérer la surabondance de données REX textuelles de manière ascendant