Redes Neuronais

Introdução às redes neuronais. Arquitetura e princípio de funcionamento. Treino da redes neuronais. Avaliação de desempenho

Observações em redes neuronais

The many advances that machine learning, and especially its workhorse, deep learning, has provided to our society are undeniable. However, there is an increasing feeling that the field has become little understood, with researchers going as far as to make the analogy that it has developed into a form of alchemy. There is the need for a deeper understanding of the tools being used since, otherwise, one is only making progress in the dark, frequently relying on trial and error. In this thesis, we experiment with feedforward neural networks, trying to deconstruct the phenomenons we observe, and finding their root cause. We start by experimenting with a synthetic dataset. Using this toy problem, we find that the weights of trained networks show correlations that can be well-understood by the structure of the data samples themselves. This insight may be useful in areas such as Explainable Artificial Intelligence, to explain why a model behaves the way it does. We also find that the mere change of the activation function used in a layer may cause the nodes of the network to assume fundamentally different roles. This understanding may help to draw firm conclusions regarding the conditions in which Transfer Learning may be applied successfully. While testing with this problem, we also found that the initial configuration of weights of a network may, in some situations, ultimately determine the quality of the minimum (i.e., loss/accuracy) to which the networks converge, more so than what could be initially suspected. This observation motivated the remainder of our experiments. We continued our tests with the real-world datasets MNIST and HASYv2. We devised an initialization strategy, which we call the Dense sliced initialization, that works by combining the merits of a sparse initialization with those of a typical random initialization. Afterward, we found that the initial configuration of weights of a network “sticks” throughout training, suggesting that training does not imply substantial updates — instead, it is, to some extent, a fine-tuning process. We saw this by training networks marked with letters, and observing that those marks last throughout hundreds of epochs. Moreover, our results suggest that the small scale of the deviations caused by the training process is a fingerprint (i.e., a necessary condition) of training — as long as the training is successful, the marks remain visible. Based on these observations and our intuition for the reasons behind them, we developed what we call the Filter initialization strategy. It showed improvements in the training of the networks tested, but at the same time, it worsened their generalization. Understanding the root cause for these observations may prove to be valuable to devise new initialization methods that generalize better.É impossível ignorar os muitos avanços que aprendizagem automática, e em particular o seu método de eleição, aprendizagem profunda, têm proporcionado à nossa sociedade. No entanto, existe um sentimento crescente de que ao longo dos anos a área se tem vindo a tornar confusa e pouco clara, com alguns investigadores inclusive afirmando que aprendizagem automática se tornou na alquimia dos nossos tempos. Existe uma necessidade crescente de (voltar a) compreender em profundidade as ferramentas usadas, já que de outra forma o progresso acontece às escuras e, frequentemente, por tentativa e erro. Nesta dissertação conduzimos testes com redes neuronais artificiais dirigidas, com o objetivo de compreender os fenómenos subjacentes e encontrar as suas causas. Começamos por testar com um conjunto de dados sintético. Usando um problema amostra, descobrimos que a configuração dos pesos de redes treinadas evolui de forma a mostrar correlações que podem ser compreendidas atendendo à estrutura das amostras do próprio conjunto de dados. Esta observação poderá revelar-se útil em áreas como Inteligência Artificial Explicável, de forma a clarificar porque é que um dado modelo funciona de certa forma. Descobrimos também que a mera alteração da função de ativação de uma camada pode causar alterações organizacionais numa rede, a nível do papel que os nós nela desempenham. Este conhecimento poderá ser usado em áreas como Aprendizagem por Transferência, de forma a desenvolver critérios precisos sobre os limites/condições de aplicabilidade destas técnicas. Enquanto experimentávamos com este problema, descobrimos também que a configuração inicial dos pesos de uma rede pode condicionar totalmente a qualidade do mínimo para que ela converge, mais do que poderia ser esperado. Esta observação motiva os nossos restantes resultados. Continuamos testes com conjuntos de dados do mundo real, em particular com o MNIST e HASYv2. Desenvolvemos uma estratégia de inicialização, à qual chamamos de inicialização densa por fatias, que funciona combinado os méritos de uma inicialização esparsa com os de uma inicialização típica (densa). Descobrimos também que a configuração inicial dos pesos de uma rede persiste ao longo do seu treino, sugerindo que o processo de treino não causa atualizações bruscas dos pesos. Ao invés, é maioritariamente um processo de afinação. Visualizamos este efeito ao marcar as camadas de uma rede com letras do abecedário e observar que as marcas se mantêm por centenas de épocas de treino. Mais do que isso, a escala reduzida das atualizações dos pesos aparenta ser uma impressão digital (isto é, uma condição necessária) de treino com sucesso — enquanto o treino é bem sucedido, as marcas permanecem. Baseados neste conhecimento propusemos uma estratégia de inicialização inspirada em filtros. A estratégia mostrou bons resultados durante o treino das redes testadas, mas simultaneamente piorou a sua generalização. Perceber as razões por detrás deste fenómeno pode permitir desenvolver novas estratégias de inicialização que generalizem melhor que as atuais.Mestrado em Engenharia de Computadores e Telemátic

Introdución ás redes neuronais

Traballo Fin de Grao en Matemáticas. Curso 2021-2022A aprendizaxe profunda é unha disciplina que está en auxe dada a súa adecuación para resolver problemas complexos. Este traballo recolle a historia da aprendizaxe profunda dende os seus inicios, así como os conceptos básicos necesarios para a súa comprensión. Introdúcense as definicións formais dalgunhas funcións de activación, distintos tipos de redes neuronais como as redes recorrentes ou convolucionais e algoritmos e conceptos relativos ao seu adestramento. Finalmente, amósanse algunhas das aplicacións que ten no mundo real.Deep learning is a discipline that is on the rise given its suitability for solving complex problems. This project encompases the history of deep learning from its beginnings, as well as the basic concepts needed for its understanding. It introduces the formal definitions of some activation functions, several types of neural networks such as recurrent or convolutional networks and algorithms and concepts related to their training. Finally, it showcases some of the applications it has on the real world

Ressonância estocástica em redes neuronais

Mestrado em FísicaEsta tese apresenta uma investigação sobre ressonância estocástica [1] em redes neuronais. Começa-se por explicar alguns conceitos básicos em neurociências e faz-se uma revisão do papel da ressonância estocástica no funcionamento do cérebro. Depois, o modelo [2] considerado neste estudo é discutido. Prossegue-se para o cálculo analítico da função resposta do sistema, quando este é submetido a um estímulo dependente do tempo. Por fim, são analisadas as soluções numéricas das equações antes obtidas, de modo a compreender a dinâmica neuronal do sistema em estudo na presença de diferentes estímulos. De entre os comportamentos encontrados distingue-se a sincronização entre oscilações neuronais e estímulos periódicos, a modulação de amplitude, ressonância estocástica dinâmica, e ainda uma ressonância estocástica semelhante à ressonância estocástica limiar. ABSTRACT: This thesis presents an investigation of stochastic resonance [1] in neural networks. It begins with explaining some basic concepts in neuroscience and a review of the role of this phenomenon in brain functioning. Then the model [2] considered in this study is discussed. The thesis presents analytical calculations of the response function of the system when it is subjected to a time-dependent stimulus. Finally, the numerical solutions of the rate equations previously obtained are analysed to understand the dynamics of the neuronal system at the presence of time-dependent stimuli. Among the different behaviours which were found in this thesis, one can distinguish synchronization between neuronal oscillations and periodic stimuli, amplitude modulation, dynamical stochastic resonance, and a stochastic resonance similar to the threshold stochastic resonance

Redes Neuronais Artificiais para estimar o preço da habitação em Portugal

O encontro integrou o 7.º Workshop da APDR sobre o tema "Fronteiras e Desenvolvimento Regional" a ainda a XXXVI Reunion de Estudios Regionales.Neste artigo, foi desenvolvido um modelo de Redes Neuronais Artificiais para estimar o preço de venda de um apartamento. Recorrendo à boa vontade de alguns Agentes Imobiliários, constitui-se uma base de dados com mais de trinta atributos, de apartamentos vendidos entre 2005 e 2009, numa cidade de Portugal. O agrupamento de alguns destes atributos, possibilitou a construção de índices de localização, de conforto, de anexos e de conservação que para além de ter a vantagem de incorporar várias características, reduz significativamente o número de variáveis explicativas no modelo. As variáveis explicativas utilizadas neste modelo, podem facilmente ser generalizadas para outras cidades do país. A utilização das Redes Neuronais Artificias, para estimar o preço da habitação, pode ser bastante útil em Portugal, e é uma séria alternativa aos métodos econométricos

Modelação de gerador eletromagnético com redes neuronais artificiais

Mestrado em Engenharia MecânicaThe increasing necessity for autonomous functioning systems alied with comsumption reduction by microelectronic devices over the last years, has motivated the research on self-powering devices for remote applications. Developing an energy harvestring device for a determined application requires its study and optimization. Therefore, modeling the dynamics of the system for simulation purposes becomes mandatory. The use of analytical mathematical models or FEM is a standard approach for the development of computable models. However, this approach reveals to be time-consuming due to temporal restrictions established not only by the model development but also by its simulation. This work investigates the application of Artificial Neural Networks on the modeling of magnetic levitation systems for energy harvesting purposes. The data collection implied by a Neural Network approach demanded the development of a device suitable for the acquirement of information intrinsic to the system. A testing station was built with the goal to induce rotational excitations on the device and acquire the motion dynamics of the levitation magnet. Different network architectures and implementation techniques are approached in this work in order to optimize the characteristics of the model. From the different approaches taken for proper model implementation, the configuration named in this work as NARX BROC allowed the attainment of correlation values above 95% for simulations inside and outside the training range, when compared with experimental results. Also, the performance of the developped generator is analyzed and discussed according to intended applicationsA crescente necessidade de sistemas de funcionamento autónomo aliada à redução de consumo por parte dos dispositivos microeletrónicos ao longo dos últimos anos, tem motivado a investigação de dispositivos para auto geração. O desenvolvimento de um dispositivo para energy harvesting, considerando uma determinada aplicação, requer o seu estudo e otimização. Consequentemente, a modelação do sistema para efeitos de simulação torna-se imperativa. A utilização de modelos matemáticos analíticos ou FEM é uma abordagem standard no desenvolvimento de um modelo para computação. No entanto, estas abordagens apresentam-se morosas, devido às restições temporais estabelecidas não só pelo desenvolvimento do modelo, mas também pela sua simulação. Neste trabalho, a aplicação de Redes Neuronais Artificiais para a modelação da dinâmica de um harvester baseado em levitação magnética é investigada. A recolha de dados requerida pela metodologia das Redes Neuronais Artificiais impôs o desenvolvimento de um dispositivo adequado para a aquisição de dados intrínsecos ao sistema. Uma estação de testes foi construída com o objetivo de induzir excitações rotacionais no dispositivo e adquirir a dinâmica de movimento mecânico dos ímanes em levitação. Diferentes arquiteturas de redes e técnicas de implementação são abordadas neste trabalho, de modo a otimizar as características do modelo. Das diferentes abordagens tidas para implementação de um modelo de redes neuronais, a configuração denominada neste trabalho como NARX BROC permitiu a obtenção de correlações superiores a 95% para simulações dentro e fora da gama de treino, quando comparadas com resultados experimentais. O desempenho do gerador desenvolvido é também analisado e discutido de acordo com aplicações pretendida

A aplicabilidade das redes neuronais no prognóstico vital de doentes com insuficiência cardíaca, pela análise da variabilidade da frequência cardíaca

The cardiovascular system in healthy individuals possesses an intrinsic rythm, which varies considerably throughout time. This propriety is fundamental to the adaptability of the system to constant changes, and is denominated as variability. Several theories and descoveries concerning the variability of signals of the cardiovascular systems have been published by several authors, over the last thirty years. These studies call into question the significance of homeostasis of the system. Throughout these investigations, several types of analysis and characterizations were proposed to corrolate how certain pathologies diminish the variability of cardiovascular parameters, leading to the emergence of periodical and poorly adaptable patterns, which took over this system. One of the clinical entities that has already been proven to affect the variability of cardiac frequency, is heart failure. This disease, which affects 1 to 2% of the World's population, presents, in Portugal, an intra-hospital mortality rate of 12,5%. Considering this problematic, an idea to train an artificial inteligence, the neuronal networks, was proposed in order to detect and evaluate the periodicity patterns in the evolution of the cardiovascular parameters (specifically, the cardiac frequency), in a heart failure background. With this analysis, the network transmits its evaluation of the vital prognostic of the patients. After the training and testing phases of the neuronal network, the prognostics were correct in 96,385% of the cases, with a percentage of response certainty of 81,07%. We concluded that this analysis of the variability of the cardiac frequency using a neuronal network, is possible. Moreover, we predict that this may prove to be a very useful tool in clinical practice in the future, and that it might also have several important applications.O sistema cardiovascular de indivíduos saudáveis apresenta um ritmo intrínseco que varia consideravelmente ao longo do tempo. Esta propriedade, que se revela fundamental para a adaptabilidade do sistema às constantes mudanças às quais o corpo humano se encontra sujeito, tem o nome de variabilidade. As teorias e descobertas sobre a variabilidade dos sinais do sistema cardiovascular têm sido publicadas por vários autores, ao longo dos últimos trinta anos. Estes estudos, vieram pôr em causa o significado de homeostasia do sistema. No decorrer destas investigações, foram lançados vários tipos de análises e caracterizações da forma como certas patologias diminuem a variabilidade dos parâmetros cardiovascular, o que leva ao aparecimento de padrões periódicos e pouco adaptáveis, que se apoderam deste sistema. Uma das entidades clínicas, que está comprovada que afeta a variabilidade da frequência cardíaca, é a insuficiência cardíaca. Esta doença que afeta entre 1 a 2% da população mundial, é responsável, em Portugal, por uma taxa de mortalidade intra-hospitalar de 12,5%. No seguimento desta lógica, surgiu a ideia de tentar treinar uma inteligência artificial, as redes neuronais, para detetar e avaliar os padrões de periodicidade, na evolução de parâmetros cardiovasculares (neste caso, a frequência cardíaca), próprios da insuficiência cardíaca. Com esta análise, a rede transmite a sua avaliação do prognóstico vital dos doentes. Após o treino e teste da rede neuronal, obteve-se uma previsão acertada do prognóstico em 96,385% dos casos, com uma percentagem de certeza de resposta de 81,07%. Concluiu-se então, que esta análise da variabilidade da frequência cardíaca, por parte de uma rede neuronal, é possível. Para além disso, prevê-se que esta seja uma útil ferramenta no meio clínico e que esta possa ter várias aplicações no futuro

Previsão da tenrura da carne de cordeiro via redes neuronais artificiais e análise de sensibilidade

A avaliação da qualidade é um factor chave para a indústria da carne, onde o objectivo primordial reside na satisfação das necessidades dos consumidores. Em particular, a tenrura é considerada a mais importante característica que afecta o paladar da carne. Neste trabalho, é proposto um Conjunto de Redes Neuronais , baseado na selecção de atributos via um procedimento de Análise de Sensibilidade, para a predição da tenrura da carne de cordeiros. Este problema foi modelado através de duas tarefas diferentes de regressão, usando medições instrumentais e um painel sensorial. Em ambos os casos, as soluções propostas apresentaram melhores resultados do que o método tradicional da Regressão Múltipla

Aplicações da inteligência artificial na engenharia sísmica

Alguns métodos do domínio da inteligência artificial têm vindo a ser utilizados na engenharia civil, nomeadamente na engenharia sísmica, pelo que se faz, neste artigo, um resumo das diversas aplicações sugeridas por um elevado número de investigadores. Os estudos realizados no âmbito da engenharia sísmica, apresentam grande complexidade, face à elevada incerteza que os caracterizam e em virtude de serem não lineares. Para tentar solucionar alguns desses problemas, vários investigadores têm proposto, nas duas últimas décadas, que se recorra ao desenvolvimento de sistemas periciais, sistemas fuzzy, redes neuronais e redes fuzzy neuronais, designadamente nas avaliações do risco sísmico (análise da casualidade e da vulnerabilidade sísmica), para modelar o comportamento não linear

Previsão da tenrura da carne de cordeiro via redes neuronais artificiais e análise de sensibilidade

A avaliação da qualidade é um factor chave para a indústria da carne, onde o objectivo primordial reside na satisfação das necessidades dos consumidores. Em particular, a tenrura é considerada a mais importante característica que afecta o paladar da carne. Neste trabalho, é proposto um Conjunto de Redes Neuronais1, baseado na selecção de atributos via um procedimento de Análise de Sensibilidade, para a predição da tenrura da carne de cordeiros. Este problema foi modelado através de duas tarefas diferentes de regressão, usando medições instrumentais e um painel sensorial. Em ambos os casos, as soluções propostas apresentaram melhores resultados do que o método tradicional da Regressão Múltipla