Low-Complexity Approaches to Slepian–Wolf Near-Lossless Distributed Data Compression

This paper discusses the Slepian–Wolf problem of distributed near-lossless compression of correlated sources. We introduce practical new tools for communicating at all rates in the achievable region. The technique employs a simple “source-splitting” strategy that does not require common sources of randomness at the encoders and decoders. This approach allows for pipelined encoding and decoding so that the system operates with the complexity of a single user encoder and decoder. Moreover, when this splitting approach is used in conjunction with iterative decoding methods, it produces a significant simplification of the decoding process. We demonstrate this approach for synthetically generated data. Finally, we consider the Slepian–Wolf problem when linear codes are used as syndrome-formers and consider a linear programming relaxation to maximum-likelihood (ML) sequence decoding. We note that the fractional vertices of the relaxed polytope compete with the optimal solution in a manner analogous to that observed when the “min-sum” iterative decoding algorithm is applied. This relaxation exhibits the ML-certificate property: if an integral solution is found, it is the ML solution. For symmetric binary joint distributions, we show that selecting easily constructable “expander”-style low-density parity check codes (LDPCs) as syndrome-formers admits a positive error exponent and therefore provably good performance

Mathematical Programming Decoding of Binary Linear Codes: Theory and Algorithms

Mathematical programming is a branch of applied mathematics and has recently been used to derive new decoding approaches, challenging established but often heuristic algorithms based on iterative message passing. Concepts from mathematical programming used in the context of decoding include linear, integer, and nonlinear programming, network flows, notions of duality as well as matroid and polyhedral theory. This survey article reviews and categorizes decoding methods based on mathematical programming approaches for binary linear codes over binary-input memoryless symmetric channels.Comment: 17 pages, submitted to the IEEE Transactions on Information Theory. Published July 201

A Novel Stochastic Decoding of LDPC Codes with Quantitative Guarantees

Low-density parity-check codes, a class of capacity-approaching linear codes, are particularly recognized for their efficient decoding scheme. The decoding scheme, known as the sum-product, is an iterative algorithm consisting of passing messages between variable and check nodes of the factor graph. The sum-product algorithm is fully parallelizable, owing to the fact that all messages can be update concurrently. However, since it requires extensive number of highly interconnected wires, the fully-parallel implementation of the sum-product on chips is exceedingly challenging. Stochastic decoding algorithms, which exchange binary messages, are of great interest for mitigating this challenge and have been the focus of extensive research over the past decade. They significantly reduce the required wiring and computational complexity of the message-passing algorithm. Even though stochastic decoders have been shown extremely effective in practice, the theoretical aspect and understanding of such algorithms remains limited at large. Our main objective in this paper is to address this issue. We first propose a novel algorithm referred to as the Markov based stochastic decoding. Then, we provide concrete quantitative guarantees on its performance for tree-structured as well as general factor graphs. More specifically, we provide upper-bounds on the first and second moments of the error, illustrating that the proposed algorithm is an asymptotically consistent estimate of the sum-product algorithm. We also validate our theoretical predictions with experimental results, showing we achieve comparable performance to other practical stochastic decoders.Comment: This paper has been submitted to IEEE Transactions on Information Theory on May 24th 201

Une odyssée de la communication classique au calcul quantique tolérant aux fautes

Cette thèse traite principalement de la protection de l'information. Non pas au sens de protection des renseignements privés dont on entend souvent parler dans les médias, mais plutôt au sens de robustesse à la corruption des données. En effet, lorsque nous utilisons un cellulaire pour envoyer un texto, plusieurs facteurs, comme les particules atmosphériques et l'interférence avec d'autres signaux, peuvent modifier le message initial. Si nous ne faisons rien pour protéger le signal, il est peu probable que le contenu du texto reste inchangé lors de la réception. C'est ce problème qui a motivé le premier projet de recherche de cette thèse. Sous la supervision du professeur David Poulin, j'ai étudié une généralisation des codes polaires, une technologie au coeur du protocole de télécommunication de 5\textsuperscript{ième} génération (5G). Pour cela, j'ai utilisé les réseaux de tenseurs, outils mathématiques initialement développés pour étudier les matériaux quantiques. L'avantage de cette approche est qu'elle permet une représentation graphique intuitive du problème, ce qui facilite grandement le développement des algorithmes. À la suite de cela, j'ai étudié l'impact de deux paramètres clés sur la performance des codes polaires convolutifs. En considérant le temps d'exécution des protocoles, j'ai identifié les valeurs de paramètres qui permettent de mieux protéger l'information à un coût raisonnable. Ce résultat permet ainsi de mieux comprendre comment améliorer les performances des codes polaires, ce qui a un grand potentiel d'application en raison de l'importance de ces derniers. Cette idée d'utiliser des outils mathématiques graphiques pour étudier des problèmes de protection de l'information sera le fil conducteur dans le reste de la thèse. Cependant, pour la suite, les erreurs n'affecteront plus des systèmes de communications classiques, mais plutôt des systèmes de calcul quantique. Comme je le présenterai dans cette thèse, les systèmes quantiques sont naturellement beaucoup plus sensibles aux erreurs. À cet égard, j'ai effectué un stage au sein de l'équipe de Microsoft Research, principalement sous la supervision de Michael Beverland, au cours duquel j'ai conçu des circuits permettant de mesurer un système quantique afin d'identifier les potentielles fautes qui affectent celui-ci. Avec le reste de l'équipe, nous avons prouvé mathématiquement que les circuits que j'ai développés sont optimaux. Ensuite, j'ai proposé une architecture pour implémenter ces circuits de façon plus réaliste en laboratoire et les simulations numériques que j'ai effectuées ont démontré des résultats prometteurs pour cette approche. D'ailleurs, ce résultat a été accueilli avec grand intérêt par la communauté scientifique et a été publié dans la prestigieuse revue \textit{Physical Review Letters}. Pour complémenter ce travail, j'ai collaboré avec l'équipe de Microsoft pour démontrer analytiquement que les architectures actuelles d'ordinateurs quantiques reposant sur des connexions locales entre les qubits ne suffiront pas pour la réalisation d'ordinateurs de grandes tailles protégés des erreurs. L'ensemble de ces résultats sont inspirés de méthodes issues de la théorie des graphes et plus particulièrement des méthodes de représentation des graphes dans un espace en deux dimensions. L'utilisation de telles méthodes pour le design de circuits et d'architectures quantiques est également une approche novatrice. J'ai terminé ma thèse sous la supervision du professeur Stefanos Kourtis. Avec celui-ci, j'ai créé une méthode, fondée sur la théorie des graphes et des méthodes d'informatique théorique, qui permet de concevoir automatiquement de nouveaux protocoles de correction des erreurs dans un système quantique. La méthode que j'ai conçue repose sur la résolution d'un problème de satisfaction de contraintes. Ce type de problème est généralement très difficile à résoudre. Cependant, il existe pour ces derniers un paramètre critique. En variant ce paramètre, le système passe d'une phase où les instances sont facilement résolubles vers une phase où il est facile de montrer qu'il n'y pas de solution. Les problèmes difficiles sont alors concentrés autour de cette transition. À l'aide d'expériences numériques, j'ai montré que la méthode proposée a un comportement similaire. Cela permet de montrer qu'il existe un régime où il est beaucoup plus facile que ce que le croyait la communauté de concevoir des protocoles de corrections des erreurs quantiques. De plus, en autant que je sache,l'article qui a résulté de ce travail est le premier qui met de l'avant ce lien entre la construction de protocoles de corrections des erreurs, les problèmes de satisfaction de contraintes et les transitions de phases

ADMM and Reproducing Sum-Product Decoding Algorithm Applied to QC-MDPC Code-based McEliece Cryptosystems

QC-MDPC (quasi cyclic moderate density parity check) code-based McEliece cryptosystems are considered to be one of the candidates for post-quantum cryptography. Decreasing DER (decoding error rate) is one of important factor for their security, since recent attacks to these cryptosystems effectively use DER information. In this paper, we pursue the possibility of optimization-base decoding, concretely we examine ADMM (alternating direction method of multipliers), a recent developing method in optimization theory. Further, RSPA (reproducing sum-product algorithm), which efficiently reuse outputs of SPA (sum-product algorithm) is proposed for the reduction of execution time in decoding. By numerical simulations, we show that the proposing scheme shows considerable decrement in DER compared to the conventional decoding methods such as BF (bit-flipping algorithm) variants or SPA

Concentration of Measure Inequalities in Information Theory, Communications and Coding (Second Edition)

During the last two decades, concentration inequalities have been the subject of exciting developments in various areas, including convex geometry, functional analysis, statistical physics, high-dimensional statistics, pure and applied probability theory, information theory, theoretical computer science, and learning theory. This monograph focuses on some of the key modern mathematical tools that are used for the derivation of concentration inequalities, on their links to information theory, and on their various applications to communications and coding. In addition to being a survey, this monograph also includes various new recent results derived by the authors. The first part of the monograph introduces classical concentration inequalities for martingales, as well as some recent refinements and extensions. The power and versatility of the martingale approach is exemplified in the context of codes defined on graphs and iterative decoding algorithms, as well as codes for wireless communication. The second part of the monograph introduces the entropy method, an information-theoretic technique for deriving concentration inequalities. The basic ingredients of the entropy method are discussed first in the context of logarithmic Sobolev inequalities, which underlie the so-called functional approach to concentration of measure, and then from a complementary information-theoretic viewpoint based on transportation-cost inequalities and probability in metric spaces. Some representative results on concentration for dependent random variables are briefly summarized, with emphasis on their connections to the entropy method. Finally, we discuss several applications of the entropy method to problems in communications and coding, including strong converses, empirical distributions of good channel codes, and an information-theoretic converse for concentration of measure.Comment: Foundations and Trends in Communications and Information Theory, vol. 10, no 1-2, pp. 1-248, 2013. Second edition was published in October 2014. ISBN to printed book: 978-1-60198-906-