Configurable Low Power Analog Multilayer Perceptron

A configurable, low power analog implementation of a multilayer perceptron (MLP) is presented in this work. It features a highly programmable system that allows the user to create a MLP neural network design of their choosing. In addition to the configurability, this neural network provides the ability of low power operation via analog circuitry in its neurons. The main MLP system is made up of 12 neurons that can be configurable to any number of layers and neurons per layer until all available resources are utilized. The MLP network is fabricated in a standard 0.13 μm CMOS process occupying approximately 1 mm2 of on-chip area. The MLP system is analyzed at several different configurations with all achieving a greater than 1 Tera-operations per second per Watt figure of merit. This work offers a high speed, low power, and scalable alternative to digital configurable neural networks

Intégration de Réseaux de Neurones pour la Télémétrie Laser

Grandes lignes : Un réseau de neurones est une architecture paramétrable composée de plusieurs modules appelés neurones. Ils peuvent être utilisés pour compenser des variations non souhaitées de certains phénomènes physiques ou pour effectuer des tâches de discrimination. Un réseau de neurones a été intégré en technologie CMOS basse tension pour être implanté au sein d'un télémètre laser par déphasage. Deux études ont été menées en parallèle. La première consiste à lever l'indétermination sur la mesure de distance déduite de la mesure de déphasage. La seconde étude permet la classification de différents types de surfaces à partir de deux signaux issus du télémètre. Résumé détaillé : Un réseau de neurones a la faculté de pouvoir être entraîné afin d'accomplir une tâche d'approximation de fonction ou de classification à partir d'un nombre limité de données sur un intervalle bien défini. L'objectif de cette thèse est de montrer l'intérêt d'adapter les réseaux de neurones à un type de système optoélectronique de mesure de distance, la télémétrie laser par déphasage. La première partie de ce manuscrit développe de manière succincte leurs diverses propriétés et aptitudes, en particulier leur reconfigurabilité par l'intermédiaire de leurs paramètres et leur capacité à être intégré directement au sein de l'application. La technique de mesure par télémétrie laser par déphasage est développée dans le deuxième chapitre et comparée à d'autres techniques télémétriques. Le troisième chapitre montre qu'un réseau de neurones permet d'améliorer nettement le fonctionnement du télémètre. Une première étude met en valeur sa capacité à accroître la plage de mesure de distance sans modifier la résolution. Elle est réalisée à partir de mesures expérimentales afin de prouver le réel intérêt de la méthode comportementale développée. La deuxième étude ouvre une nouvelle perspective relative à l'utilisation d'un télémètre laser par déphasage, celle d'effectuer la classification de différents types de surfaces sur des plages de distances et d'angles d'incidence variables. Pour valider expérimentalement ces deux études, les cellules de base du neurone de type perceptron multi-couches ont été simulées puis implantées de manière analogique. Les phases de simulation, de conception et de test du neurone analogique sont détaillées dans le quatrième chapitre. Un démonstrateur du réseau de neurones global a été réalisé à partir de neurones élémentaires intégrés mis en parallèle. Une étude de la conception des mêmes cellules en numérique est détaillée succinctement dans le cinquième chapitre afin de justifier les avantages associés à chaque type d'intégration. Le dernier chapitre présente les phases d'entraînement et de validation expérimentales du réseau intégré pour les deux applications souhaitées. Ces phases de calibrage sont effectuées extérieurement à l'ASIC, par l'intermédiaire de l'équation de transfert déterminée après caractérisation expérimentale et qualification du réseau de neurones global. Les résultats expérimentaux issus de la première étude montrent qu'il est possible d'obtenir à partir des signaux de sorties du télémètre et du réseau de neurones, une mesure de distance de précision (50µm) sur un intervalle de mesure 3 fois plus important que celui limité à la mesure du déphasage. Concernant l'application de discrimination de surfaces, le réseau de neurones analogique implanté est capable de classer quatre types de cibles sur l'intervalle [0.5m ; 1.25m] pour un angle d'incidence pouvant varier de - π /6 à + π /6. ABSTRACT : Outline : A neural network is a trainable structure composed by modules called neurons. They may be used in order to compensate adverse variations of physical phenomenon or to achieve discrimination tasks. Two studies were held in order to integrate a neural network in low voltage CMOS technology in a phase-shift laser rangefinder. The first one consists in raising the indecision on distance measurement deduced from the phase-shift measurement. The aim of the second study is to classify different kinds of surfaces using two signals issued from the rangefinder. Detailed abstract : A neural network has the capability to be trained in order to approximate functions or to achieve classification from a limited number of data on a well defined interval. The first part of the manuscript develops succinctly their various properties and aptitudes, particularly their reconfigurability through they parameters and their capability to be integrated directly in the application. The aim of this thesis is to demonstrate the interest of adapting neural networks to a type of distance measurement optoelectronic system, the phase-shift laser rangefinding. This measurement technique is developed in the second chapter and compared to other rangefinding techniques. The third chapter demonstrates that a neural network allows to improve considerably the rangefinder functioning. A first study highlights its capability to increase the distance measurement range without modifying the resolution. It is achieved from experimental measurements, in order to prove the real interest of the developed behavioural method. In a second study, the same neural network structure is used in order to show its capability to discriminate different types of surfaces on variable distance and incidence angle ranges. The main cells of the multi-layer perceptron-type neuron were simulated then implanted in analog. A conception study of the same cells in digital were achieved in order to justify the advantages associated to each type of integration. The simulation, conception and test stages are detailed in the fourth chapter. The whole neural network were achieved from elementary integrated neurons in parallel. The digital version of the neuron is succinctly detailed then compared to the analog structure in the fifth chapter. The last part of the thesis presents the behavioural and test training and validation phases of the integrated network for the two developed applications. These calibrage phases are achieved off-chip through the transfer equation issued from experimental characterisation and qualification of the whole neural network. Thus, by combining the signals provided by the phasemeter and the neural network outputs, it is possible to reach a distance measurement with high resolution (50µm) on a measurement range three times wider than the one limited by the phase-shift measurement. Concerning the surfaces discrimination application, the implanted analog neural network is capable of classifying four types of targets on the interval [0.5m ; 1.25m] for a incidence angle varying between - π /6 and + π /

Overcoming Noise and Variations In Low-Precision Neural Networks

This work explores the impact of various design and training choices on the resilience of a neural network when subjected to noise and/or device variations. Simulations were performed under the expectation that the neural network would be implemented on analog hardware; this context asserts that there will be random noise within the circuit as well as variations in device characteristics between each fabricated device. The results show how noise can be added during the training process to reduce the impact of post-training noise. Architectural choices for the neural network also directly impact the performance variation between devices. The simulated neural networks were more robust to noise with a minimal architecture with fewer layers; if more neurons are needed for better fitting, networks with more neurons in shallow layers and fewer in deeper layers closer to the output tend to perform better. The paper also demonstrates that activation functions with lower slopes do a better job of suppressing noise in the neural network. It also shown that the accuracy can be made more consistent by introducing sparsity into the neural network. To that end, an evaluation is included of different methods for generating sparse architectures for smaller neural networks. A new method is proposed that consistently outperforms the most common methods used in larger, deeper networks.Ph.D