Validación del uso de aritmética distribuida en la implementación de redes neuronales

En este documento se presentan algunos resultados del uso de aritmética distribuida enfocados hacia implementaciones hardware de redes neuronales, dichos resultados confrontan consideraciones de área vs. precisión, a tener en cuenta por parte del diseñador antes de llevar la arquitectura de su red neuronal a algún dispositivo (microcontrolador, dispositivos de lógica programable o DSPs). El algoritmo desarrollado brinda un estimativo de cuánto se penaliza la precisión de la red a nivel hardware a medida que aumenta el número de bits empleados para representar las entradas. Además posee la ventaja que ejecuta las operaciones de manera digital emulando operaciones reales como se efectuarían en FPGA o CPLD, lo cual posteriormente puede ser utilizado para extraer el código para programar estos dispositivos

Classification de signaux invariante en translation

Cet article présente une méthode de classification de signaux non-stationnaires dans le cas où les signaux contiennent des motifs caractéristiques dont la position temporelle est variable est inconnue. Nous avons montré que la construction d'une représentation graphique des signaux, basée sur une transformée en ondelettes continues permet de s'affranchir d'une référence temporelle absolue et de faire face efficacement à ce problème. Après avoir défini un produit scalaire entre graphes, nous avons comparé les résultats en classification entre les SVM et, les kppv

Comparison of Effects of Entropy Coding Schemes Cascaded with Set Partitioning in Hierarchical Trees

WT (Wavelet Transform) is considered as landmark for image compression because it represents a signal in terms of functions which are localized both in frequency and time domain. Wavelet sub-band coding exploits the self-similarity of pixels in images and arranges resulting coefficients in different sub-bands. A much simpler and fully embedded codec algorithm SPIHT (Set Partitioning in Hierarchical Trees) is widely used for the compression of wavelet transformed images. It encodes the transformed coefficients depending upon their significance comparative to the given threshold. Statistical analysis reveals that the output bit-stream of SPIHT comprises of long trail of zeroes that can be further compressed, therefore SPIHT is not advocated to be used as sole mean of compression. In this paper, wavelet transformed images have been initially compressed by using SPIHT technique and to attain more compression, the output bit streams of SPIHT are then fed to entropy encoders; Huffman and Arithmetic encoders, for further de-correlation. The comparison of two concatenations has been carried out by evaluating few factors like Bit Saving Capability, PSNR (Peak Signal to Noise Ratio), Compression Ratio and Elapsed Time. The experimental results of these cascading demonstrate that SPIHT combined with Arithmetic coding yields better compression ratio as compared to SPIHT cascaded with Huffman coding. Whereas, SPIHT once combined with Huffman coding is proved to be comparatively efficient

A Theory of Cramer-Rao Bounds for Constrained Parametric Models

A simple expression for the Cram'er-Rao bound (CRB) is presented for the scenario of estimating parameters $\theta$ that are required to satisfy a differentiable constraint function $f(\theta)$. A proof of this constrained CRB (CCRB) is provided using the implicit function theorem, and the encompassing theory of the CCRB is proven in a similar manner. This theory includes connecting the CCRB to notions of identifiability of constrained parameters; the linear model under a linear constraint; the constrained maximum likelihood problem, it's asymptotic properties and the method of scoring with constraints; and hypothesis testing. The value of the tools developed in this theory are then presented in the communications context for the convolutive mixture model and the calibrated array model

Signal Processing for Compressed Sensing Multiuser Detection

The era of human based communication was longly believed to be the main driver for the development of communication systems. Already nowadays we observe that other types of communication impact the discussions of how future communication system will look like. One emerging technology in this direction is machine to machine (M2M) communication. M2M addresses the communication between autonomous entities without human interaction in mind. A very challenging aspect is the fact that M2M strongly differ from what communication system were designed for. Compared to human based communication, M2M is often characterized by small and sporadic uplink transmissions with limited data-rate constraints. While current communication systems can cope with several 100 transmissions, M2M envisions a massive number of devices that simultaneously communicate to a central base-station. Therefore, future communication systems need to be equipped with novel technologies facilitating the aggregation of massive M2M. The key design challenge lies in the efficient design of medium access technologies that allows for efficient communication with small data packets. Further, novel physical layer aspects have to be considered in order to reliable detect the massive uplink communication. Within this thesis physical layer concepts are introduced for a novel medium access technology tailored to the demands of sporadic M2M. This concept combines advances from the field of sporadic signal processing and communications. The main idea is to exploit the sporadic structure of the M2M traffic to design physical layer algorithms utilizing this side information. This concept considers that the base-station has to jointly detect the activity and the data of the M2M nodes. The whole framework of joint activity and data detection in sporadic M2M is known as Compressed Sensing Multiuser Detection (CS-MUD). This thesis introduces new physical layer concepts for CS-MUD. One important aspect is the question of how the activity detection impacts the data detection. It is shown that activity errors have a fundamentally different impact on the underlying communication system than data errors have. To address this impact, this thesis introduces new algorithms that aim at controlling or even avoiding the activity errors in a system. It is shown that a separate activity and data detection is a possible approach to control activity errors in M2M. This becomes possible by considering the activity detection task in a Bayesian framework based on soft activity information. This concept allows maintaining a constant and predictable activity error rate in a system. Beyond separate activity and data detection, the joint activity and data detection problem is addressed. Here a novel detector based on message passing is introduced. The main driver for this concept is the extrinsic information exchange between different entities being part of a graphical representation of the whole estimation problem. It can be shown that this detector is superior to state-of-the-art concepts for CS-MUD. Besides analyzing the concepts introduced simulatively, this thesis also shows an implementation of CS-MUD on a hardware demonstrator platform using the algorithms developed within this thesis. This implementation validates that the advantages of CS-MUD via over-the-air transmissions and measurements under practical constraints

Etude et conception d’une structure BIST pour convertisseur analogique-numérique

Analog and mixed circuit testing is more and more difficult because of the integration of agrowing number of complex components in one system. BIST techniques allow the realizationof an effective test system by integrating the test resources to the system. In this thesis, wepresent a BIST Structure for Analog to Digital Converters (ADC). The stimuli generatoris a digital Sigma-Delta oscillator delivering a sine wave after a simple analog filtering. Abank of digital filters separating the different harmonic components of the signal from theADC is used to analyze of the response. From these harmonic components, different spectralparameters are calculated. To validate this structure, different prototypes have been designedon FPGA. The experimental results confirm the ability of our structure to effectively test a12-bit ADC with a 70-dB-SNR.Le test de circuits analogiques et mixtes est de plus en plus difficile du fait de l’intégration d’un nombre croissant de composants complexes au sein d’un même système. Les techniques de BIST permettent la réalisation d’un test efficace en intégrant au système les ressources nécessaires au test. Dans cette thèse, nous présentons une structure BIST pour les Convertisseurs Analogiques-Numériques (CAN) tout numérique. Le générateur de stimuli est un oscillateur Sigma-Delta numérique délivrant, après un simple filtrage analogique, une sinusoïde. L’analyse de la réponse se fait au moyen d’un banc de filtres numériques séparant les différentes composantes harmoniques du signal issu du CAN. A partir de ces composantes harmoniques, différents paramètres spectraux sont calculés. Afin de valider cette structure, différents prototypes ont été conçu sur FPGA. Les résultats expérimentaux confirment la capacité de notre structure à tester efficacement un CAN 12 bits ayant un SNR de 70 dB

Échantillonnage stochastique efficace par modèle Bernoulli mélange de Gaussiennes pour la résolution des problèmes inverses parcimonieux

Cette thèse aborde la résolution des problèmes inverses parcimonieux quand les données observées peuvent être considérées comme une combinaison linéaire d'un faible nombre d'éléments dits « atomes » (e.g., impulsions, réponse instrumentale décalée ou sinusoïdes). Ces problèmes sont rencontrés dans différents domaines d'application, allant du contrôle non destructif ultrasonore, à la spectroscopie et l'analyse spectrale. Dans le contexte bayésien, ces problèmes peuvent être abordés en considérant des modèles a priori sur les paramètres d'intérêts, prenant en compte la parcimonie de façon explicite via l'introduction de variables binaires (e.g., modèle Bernoulli-Gaussien). L'estimation des paramètres se fait ensuite en calculant un estimateur de type espérance a posteriori à partir d'échantillons générés par des méthodes Monte-Carlo par chaînes de Markov (MCMC). L'avantage majeur des méthodes MCMC dans le contexte bayésien, par rapport aux approches d'optimisation déterministes, est la possibilité d'intégrer sans grande difficulté l'estimation des hyper-paramètres du modèle (e.g., la variance du bruit d'observation) ainsi que de se placer dans un cadre semi-aveugle ou aveugle, c'est-à-dire des cas où les atomes sont partiellement ou totalement inconnus. Cependant, ces méthodes MCMC sont généralement très coûteuses en temps de calcul et nécessitent d'être manipulées avec soin afin de garantir leur convergence. Des approches d'échantillonnage efficace s'appuyant sur le Partially Collapsed Gibbs Sampler (PCGS) ont été développées dans le cas du modèle Bernoulli-Gaussien. Cependant, elles ne peuvent pas être utilisées dès que l'on souhaite considérer d'autres a priori parcimonieux, avec des lois à longues queues (e.g., Bernoulli-Laplace) qui sont préférables à la Gaussienne car elles induisent une moindre régularisation ; ou avec des lois à support réduit (e.g., Bernoulli-Exponentiel) afin de garantir une contrainte de non-négativité. On est alors restreint à l'utilisation des méthodes MCMC classiques coûteuses en temps de calcul. L'objectif de cette thèse est de réconcilier l'échantillonnage PCGS avec des modèles prenant en compte la parcimonie de façon explicite autres que le modèle Bernoulli-Gaussien. La principale contribution est l'introduction et l'étude d'un nouveau modèle a priori dit « Bernoulli Mélange de Gaussiennes » (BMG). Ce dernier repose sur les lois de mélange continu de Gaussiennes et permet l'amélioration des propriétés de convergence des méthodes MCMC grâce à une implémentation numérique efficace d'algorithmes PCGS. D'autre part, le modèle est présenté dans un cadre général, permettant de prendre en compte, de manière systématique, de nombreuses lois de probabilité. Pour ces travaux, nous avons exploité des lois de probabilité de la famille LSMG (Location and Scale Mixture of Gaussians), peu étudiée dans la littérature, que nous avons caractérisées plus précisément. Une deuxième contribution majeure consiste à étendre le champ d'application du modèle BMG aux lois de probabilité à support réduit. Ainsi, nous avons proposé une nouvelle approche d'approximation de lois de probabilité dénommée « asymptotically Exact Location-Scale Approximations » (ELSA) pour laquelle nous avons montré le bon comportement, à la fois en théorie et en pratique et avons montré empiriquement son efficacité par rapport aux approches de l'état de l'art. Enfin, l'efficacité du nouveau modèle BMG, de son échantillonneur PCGS et des approximations ELSA est étudiée et validée dans le cadre des problèmes inverses parcimonieux sur un exemple de déconvolution de train d'impulsions.This thesis deals with sparse inverse problems when the observed data can be considered as a linear combination of a small number of elements called « atoms » (e.g., pulses, shifted instrumental response or sinusoids). These problems are encountered in various domains, ranging from ultrasonic non-destructive testing to spectroscopy and spectral analysis. In the Bayesian framework, these problems can be addressed by considering a priori models on the parameters of interest that take into account the sparsity explicitly via the introduction of binary variables (e.g., Bernoulli-Gaussian model). The estimation of the parameters is done by computing the posterior mean estimator from samples generated by Markov chain Monte Carlo (MCMC) methods. The major advantage of MCMC methods in the Bayesian framework, compared to deterministic optimization approaches, is the possibility of integrating without much difficulty the estimation of the hyper-parameters of the model (e.g., the variance of the observation noise) as well as considering semi-blind or blind settings, i.e., cases where the atoms are partially or totally unknown. However, MCMC methods are generally computationally expensive and need to be handled carefully to ensure their convergence. An efficient sampling approaches based on the Partially Collapsed Gibbs Sampler (PCGS) have been developed for the Bernoulli-Gaussian model. However, it cannot be used with other sparse enforcing priors, such as priors with long-tailed distributions (e.g., Bernoulli-Laplace) which are preferable to the Gaussian because they induce less regularization; or with distributions supported in a bonded interval (e.g., Bernoulli-Exponential) in order to guarantee a non-negativity constraint. As a result one is restricted to the computationally expensive classical MCMC methods. The objective of this thesis is to reconcile PCGS sampling with models that explicitly take into account sparsity other than the Bernoulli-Gaussian model. The main contribution is the introduction and study of a new prior model called « Bernoulli Mixture of Gaussians » (BMG). The latter, based on continuous Gaussian mixtures improves the convergence properties of MCMC methods thanks to an efficient numerical implementation of PCGS algorithms. On the other hand, the model is presented in a general framework, allowing to take into account, in a systematic way, a rich family of probability distributions. More precisely, the BMG relies on the LSMG (Location and Scale Mixture of Gaussians) family, which we have studied and characterized. The second major contribution consists in extending the field of application of the BMG model to probability distributions supported on a bounded interval. Thus, we have proposed a new approach to approximate probability distributions called « asymptotically Exact Location-Scale Approximations » (ELSA) for which we have shown good behavior, both in theory and in practice and empirically validate its efficiency compared to state-of-the-art approaches. Finally, the efficiency of the BMG model, its PCGS sampler and ELSA approximations is studied and validated in the context of sparse inverse problems on an example of spike train deconvolution