Comparison of Nonuniform Optimal Quantizer Designs for Speech Coding with Adaptive Critics and Particle Swarm

This paper presents the design of a companding nonuniform optimal scalar quantizer for speech coding. The quantizer is designed using two neural networks to perform the nonlinear transformation. These neural networks are used in the front and back ends of a uniform quantizer. Two approaches are presented in this paper namely adaptive critic designs and particle swarm optimization, aiming to maximize the signal-to-noise ratio. The comparison of these optimal quantizer designs over a bit-rate range of 3-6 is presented. The perceptual quality of the coding is evaluated by the International Telecommunication Union\u27s Perceptual Evaluation of Speech Quality standar

Video data compression using artificial neural network differential vector quantization

An artificial neural network vector quantizer is developed for use in data compression applications such as Digital Video. Differential Vector Quantization is used to preserve edge features, and a new adaptive algorithm, known as Frequency-Sensitive Competitive Learning, is used to develop the vector quantizer codebook. To develop real time performance, a custom Very Large Scale Integration Application Specific Integrated Circuit (VLSI ASIC) is being developed to realize the associative memory functions needed in the vector quantization algorithm. By using vector quantization, the need for Huffman coding can be eliminated, resulting in superior performance against channel bit errors than methods that use variable length codes

Traitement et compression de données en temps réel en utilisant l’intelligence artificielle pour des détecteurs à haut débit

Le SLAC National Accelerator Laboratory démarrera bientôt la prochaine génération de lasers à électrons libres rayons X; le Linac Coherent Light Source - II (LCLS-II). Les expériences scientifiques rendues possibles par ce dernier conduisent à une génération de données qui dépassera le To/s. L’objectif global de la recherche proposée est de réduire la bande passante requise pour le transfert des données générées par les expériences qui auront lieu dans ces nouvelles installations. Pour ce faire, nous manipulons localement et en temps réel les données numériques rendues disponibles par un détecteur du SLAC National Accelerator Laboratory (la «CookieBox»), afin de compresser les données par discrimination événementielle. Cette compression rejette les données générées avec des impulsions de rayons X non conformes, ce qui diminue la bande passante globale. Les algorithmes existants ne permettent pas d’atteindre les requis en latence pour le traitement des données. En revanche, des algorithmes d’intelligence artificielle, comme le réseau de neurones artificiels, utilisent des opérations arithmétiques simples et parallélisables. Par conséquent, ces algorithmes démontrent le potentiel d’atteindre les requis en latence pour traiter les données générées par la «CookieBox». Malgré tout, la conception et l’utilisation d’algorithmes d’intelligence artificielle peuvent être incompatibles avec l’acquisition de données scientifiques en temps réel. Ainsi, ces travaux combinent des méthodes standards de compression de données avec les réseaux neuronaux. Cette approche permet d’atteindre la latence nécessaire pour la compression, en plus de minimiser l’empreinte matérielle nécessaire. Dans un premier temps, une méthode de quantification nonuniforme optimise la représentation de l’information à travers les données de la «CookieBox». La représentation plus dense permet de compresser les données en conservant les informations pertinentes qu’elles contiennent. Cela signifie que la taille des données est réduite sans perdre les informations importantes. Par la suite, un petit réseau neuronal utilise ces données afin de classifier les impulsions de rayons X en moins de 6 μs avec un taux de classification de 86 %. Il est possible d’atteindre une latence de moins de 2 μs en tolérant une baisse de 3 % sur le taux de classification. Les travaux de recherche proposés offrent une solution pour réduire la génération de données massives lors des expériences scientifiques de grande envergure tout en considérant les paradigmes liés à l’intelligence artificielle en science. La communauté scientifique pourra acquérir plus de données de meilleure qualité et les analyser plus rapidement, ce qui accélérera la recherche. Ces travaux auront des retombées directes sur la performance du détecteur visé, qui contribuera à la recherche fondamentale en structure des matériaux et des molécules biologiques. Plus encore, les outils de compression développés pourront être transférés à d’autres applications, par exemple en imagerie médicale et en informatique quantique

Quantization of Neural Network Equalizers in Optical Fiber Transmission Experiments

The quantization of neural networks for the mitigation of the nonlinear and components' distortions in dual-polarization optical fiber transmission is studied. Two low-complexity neural network equalizers are applied in three 16-QAM 34.4 GBaud transmission experiments with different representative fibers. A number of post-training quantization and quantization-aware training algorithms are compared for casting the weights and activations of the neural network in few bits, combined with the uniform, additive power-of-two, and companding quantization. For quantization in the large bit-width regime of $\geq 5$ bits, the quantization-aware training with the straight-through estimation incurs a Q-factor penalty of less than 0.5 dB compared to the unquantized neural network. For quantization in the low bit-width regime, an algorithm dubbed companding successive alpha-blending quantization is suggested. This method compensates for the quantization error aggressively by successive grouping and retraining of the parameters, as well as an incremental transition from the floating-point representations to the quantized values within each group. The activations can be quantized at 8 bits and the weights on average at 1.75 bits, with a penalty of $\leq 0.5$~dB. If the activations are quantized at 6 bits, the weights can be quantized at 3.75 bits with minimal penalty. The computational complexity and required storage of the neural networks are drastically reduced, typically by over 90\%. The results indicate that low-complexity neural networks can mitigate nonlinearities in optical fiber transmission.Comment: 15 pages, 9 figures, 5 table

MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization

Mixed-precision quantization of efficient networks often suffer from activation instability encountered in the exploration of bit selections. To address this problem, we propose a novel method called MetaMix which consists of bit selection and weight training phases. The bit selection phase iterates two steps, (1) the mixed-precision-aware weight update, and (2) the bit-search training with the fixed mixed-precision-aware weights, both of which combined reduce activation instability in mixed-precision quantization and contribute to fast and high-quality bit selection. The weight training phase exploits the weights and step sizes trained in the bit selection phase and fine-tunes them thereby offering fast training. Our experiments with efficient and hard-to-quantize networks, i.e., MobileNet v2 and v3, and ResNet-18 on ImageNet show that our proposed method pushes the boundary of mixed-precision quantization, in terms of accuracy vs. operations, by outperforming both mixed- and single-precision SOTA methods