Analysis and Error Performances of Convolutional Doubly Orthogonal Codes with Non-Binary Alphabets

RÉSUMÉ Récemment, les codes convolutionnels simple-orthogonaux de Massey ont été adaptés au décodage efficace moderne. Plus spécifiquement, les caractéristiques et propriétés d'simple-orthogonalité de ce groupe de codes ont été étendues aux conditions de double-orthogonalité afin d'accommoder les algorithmes de décodage itératif modernes, donnant lieu aux codes convolutionnels doublement orthogonaux notés codes CDOs. Ainsi À l'écart de l'algorithme de propagation de croyance (Belief Propagation, BP), le décodage itératif à seuil, développé à partir de l'algorithme de décodage à seuil de Massey, peut aussi être appliqué aux codes CDOs. Cet algorithme est particulièrement attrayant car il offre une complexité moins élevée que celle de l'algorithme de décodage à propagation de croyance (en anglais Belief Propagation, noté BP). Les codes convolutionnels doublement orthogonaux peuvent être divisés en deux groupes: les codes CDOs non-récursifs utilisant des structures d’encodage à un seul registre à décalage, et les codes CDOs récursifs (en anglais Recursive CDO, notés RCDO) construits à partir de proto-graphes. À des rapports signal-à-bruit Eb/N0 modérés, les codes non-récursifs CDO présentent des performances d’erreurs comparables à celles des autres technique courantes lorsqu’ils sont utilisés avec l'algorithme de décodage à seuil, présentant ainsi une alternative attrayante aux codes de contrôle de parité à faible densité (en Anglais Low-Density Parity-Check codes, notés LDPC). Par contre, les codes CDOs récursifs RCDO fournissent des performances d'erreur très élevées en utilisant le décodage BP, se rapprochent de la limite de Shannon. De plus, dans l'étude des codes LDPC, l'exploitation des corps finis GF(q) avec q>2 comme alphabets du code contribue à l'amélioration des performances avec l'algorithme de décodage BP. Ces derniers sont appelés alors les codes LDPC q-aires. Inspiré du succès de l'application des alphabets dans un corps de Galois de q éléments GF(q), dans les codes LDPC, nous portons dans cette thèse, notre attention aux codes CDO utilisant les corps GF(q) finis, appelés CDO q-aires. Les codes CDO récursifs et non-récursifs binaires sont ainsi étendus à l'utilisation des corps finis GF(q) avec q>2. Leurs performances d’erreur ont été déterminées par simulation à l’ordinateur en utilisant les deux algorithmes de décodage itératif : à seuil et BP. Bien que l'algorithme de décodage à seuil souffre d'une perte de performance par rapport à l'algorithme BP, sa complexité de décodage est substantiellement réduite grâce à la rapide convergence au message estimé. On montre que les codes CDO q-aires fournissent des performances d'erreur supérieures à celles des codes binaires aussi bien dans le décodage itératif à seuil et dans le décodage BP. Cette supériorité en termes de taux d'erreur est plus prononcée à haut rapport signal-à-bruit Eb/N0. Cependant ces avantages sont obtenus au prix d'une complexité plus élevée, complexité évaluée par le nombre des différentes opérations requises dans le processus de décodage. Afin de faciliter l'implémentation des codes CDO q-aires, nous avons examiné l'effet des alphabets quantifiés dans la procédure de décodage sur les performances d'erreur. Il a été démontré que le processus de décodage nécessite une quantification plus fine que dans le cas des codes binaires.----------ABSTRACT Recently, the self orthogonal codes due to Massey were adapted in the realm of modern decoding techniques. Specifically, the self orthogonal characteristics of this set of codes are expanded to the doubly orthogonal conditions in order to accommodate the iterative decoding algorithms, giving birth to the convolutional doubly orthogonal (CDO) codes. In addition to the belief propagation (BP) algorithm, the CDO codes also lend themselves to the iterative threshold decoding, which has been developed from the threshold decoding algorithm raised by Massey, offering a lower-complexity alternative for the BP decoding algorithm. The convolutional doubly orthogonal codes are categorized into two subgroups: the non-recursive CDO codes featured by the shift-register structures without feedback, while the recursive CDO (RCDO) codes are constructed based on shift registers with feedback connections from the outputs. The non-recursive CDO codes demonstrate competitive error performances under the iterative threshold decoding algorithm in moderate Eb/N0 region, providing another set of low-density parity-check convolutional (LDPCC) codes with outstanding error performances. On the other hand, the recursive CDO codes enjoy exceptional error performances under BP decoding, enjoying waterfall performances close to the Shannon limit. Additionally, in the study of the LDPC codes, the exploration of the finite fields GF(q) with q>2 as the code alphabets had proved to improve the error performances of the codes under the BP algorithm, giving rise to the q-ary LDPC codes. Inspired by the success of the application of GF(q) alphabets upon the LDPC codes, we focus our attention on the CDO codes with their alphabets generalized with the finite fields; particularly, we investigated the effects of this generalization on the error performances of the CDO codes and investigated their underlying causes. In this thesis, both the recursive and non-recursive CDO codes are extended with the finite fields GF(q) with q>2, referred to as q-ary CDO codes. Their error performances are examined through simulations using both the iterative threshold decoding and the BP decoding algorithms. Whilst the threshold decoding algorithm suffers some performance loss as opposed to the BP algorithm, it phenomenally reduces the complexity in the decoding process mainly due to the fast convergence of the messages. The q-ary CDO codes demonstrated superior error performances as compared to their binary counterparts under both the iterative threshold decoding and the BP decoding algorithms, which is most pronounced in high Eb/N0 region; however, these improvements have been accompanied by an increase in the decoding complexity, which is evaluated through the number of different operations needed in the decoding process. In order to facilitate the implementation of the q-ary CDO codes, we examined the effect of quantized message alphabets in the decoding process on the error performances of the codes

Efficient Methods for Finding Optimal Convolutional Self-Doubly Orthogonal Codes

Résumé: Au cours des dernières années, la hausse sans précédent du nombre d'ultrabooks et d'appareils mobiles s'est accompagnée d'un besoin toujours croissant d'accès aux technologies permettant des communications sans-fil fiables et à haut débit. Pour atténuer ou éliminer les erreurs induites par les interférences et le bruit dans les canaux de communication, il est important de développer des systèmes de codage efficaces pour la correction d'erreurs. En effet, lors de communications de données numériques sur un canal ayant un faible rapport signal sur bruit, ces codes permettent de conserver un taux d'erreur faible tout en augmentant le débit des transmissions et/ou en diminuant la puissance d'émission requise. Ceci contribue grandement à améliorer l'efficacité énergétique de ces dispositifs électroniques sans-fil et, ainsi, à prolonger leur autonomie. Dans cette thèse par articles, nous présentons un algorithme de recherche efficace pour trouver deux types de codes correcteurs d'erreur: les codes convolutionnels doublement orthogonaux (CDO) et les codes convolutionnels doublement orthogonaux simplifiés (S-CDO). En effet, ces codes sont utilisés dans un système de contrôle d'erreurs ayant un décodage à seuil itératif différent de la procédure de décodage Turbo classique, puisqu'il ne nécessite aucun entrelaceur, ni à l'encodage, ni aux étapes de décodage. Néanmoins, son processus de décodage à seuil nécessite que ces codes convolutionnels systématiques satisfassent des propriétés dites de « double orthogonalité », allant au-delà des conditions requises par les codes « simplement orthogonaux », bien connus et habituellement utilisés lors d'un décodage à seuil non-itératif. Afin de pouvoir construire des codecs à haute performance et à faible latence avec ces codes, il est important de minimiser leur longueur de contrainte ou « span » pour un nombre J de connexions donné. Bien que trouver des codes CDO et S-CDO ne soit pas difficile, déterminer les codes ayant un span minimal (dit optimal) pour un ordre J donné est mathématiquement très complexe. En effet, la construction directe de codes CDO / S-CDO à span court/optimal reste un problème ouvert et qui est soupçonné d'être NP-complet. Cette thèse présente un total de trois articles: deux articles publiés dans IEEE Transactions on Communications et un article soumis au journal IEEE Transactions on Parallel and Distributed Systems . Dans ces articles, nous décrivons un nouvel algorithme de recherche parallèle, efficace et implicitement-exhaustif pour trouver des codes CDO et S-CDO systématiques, à taux R=1/2 et ayant un span plus court, voire minimal, c.à.d. optimal. Comparé à l'algorithme de recherche implicitement-exhaustif de référence, l'algorithme de recherche à haute performance proposé reste exhaustif mais fournit un facteur d'accélération très important, supérieur à 16300 pour les codes CDO (J=7) et supérieur à 6300 pour les codes S-CDO (J=8).----------Abstract: In recent years, the rise of ultrabooks and mobile devices has been accompanied by an ever increasing need for reliable high-bandwidth wireless communications. To mitigate or eliminate the errors that are invariably introduced due to noise and interference in the communication channels, it is important to develop efficient error-correcting coding schemes. Indeed, these codes may be used to preserve the error performance while allowing the data-rate of digital communications to be increased and the transmission power at lower signal-to-noise ratios to be reduced, thereby improving the overall power efficiency of these devices. In this manuscript-based thesis, we present an efficient search algorithm for finding optimal/short-span Convolutional Self-Doubly Orthogonal (CDO) codes and Simplified Convolutional Self-Doubly Orthogonal (S-CDO) codes. These error-correcting codes are employed in an iterative error-control coding scheme that differs from the classical Turbo code procedure, as it does not require any interleaver, neither at the encoding nor at the decoding stages. However, its iterative threshold decoding procedure requires that these systematic convolutional codes satisfy some “double orthogonality properties”, beyond those of the well-known orthogonal codes used in the usual non-iterative threshold decoding. In order to build high-performance, low-latency codecs with these codes, it is important to minimize the constraint length, also called “span”, for a given number J of generator connections. Although finding CDO/S-CDO codes is not difficult, determining the optimal/short-span codes for a given order J is computationally very challenging. The direct construction of optimal or shortest-span CDO and S-CDO codes has so far eluded analysis, and the search for these codes is believed to be an NP-complete problem. The thesis presents a total of three articles: two articles that were published in IEEE Transactions on Communications , and one article that was submitted for publication to IEEE Transactions on Parallel and Distributed Systems . In these articles, we describe a novel efficient and parallel implicitly-exhaustive search algorithm for finding rate R=1/2 systematic optimal/short-span CDO and S-CDO codes. The high-performance search algorithm is still exhaustive in nature, yet it provides an impressive speedup that is larger than 16300 (CDO, J=7) and 6300 (S-CDO, J=8) over the reference implicitly-exhaustive search algorithm, and larger than 2000 (CDO, J=17) over the fastest known CDO validation function used in high-performance pseudo-random search algorithms

Coding Theory

Coding theory lies naturally at the intersection of a large number of disciplines in pure and applied mathematics: algebra and number theory, probability theory and statistics, communication theory, discrete mathematics and combinatorics, complexity theory, and statistical physics. The workshop on coding theory covered many facets of the recent research advances

Error-Correction Coding and Decoding: Bounds, Codes, Decoders, Analysis and Applications

Coding; Communications; Engineering; Networks; Information Theory; Algorithm

A STUDY OF LINEAR ERROR CORRECTING CODES

Since Shannon's ground-breaking work in 1948, there have been two main development streams of channel coding in approaching the limit of communication channels, namely classical coding theory which aims at designing codes with large minimum Hamming distance and probabilistic coding which places the emphasis on low complexity probabilistic decoding using long codes built from simple constituent codes. This work presents some further investigations in these two channel coding development streams. Low-density parity-check (LDPC) codes form a class of capacity-approaching codes with sparse parity-check matrix and low-complexity decoder Two novel methods of constructing algebraic binary LDPC codes are presented. These methods are based on the theory of cyclotomic cosets, idempotents and Mattson-Solomon polynomials, and are complementary to each other. The two methods generate in addition to some new cyclic iteratively decodable codes, the well-known Euclidean and projective geometry codes. Their extension to non binary fields is shown to be straightforward. These algebraic cyclic LDPC codes, for short block lengths, converge considerably well under iterative decoding. It is also shown that for some of these codes, maximum likelihood performance may be achieved by a modified belief propagation decoder which uses a different subset of 7^ codewords of the dual code for each iteration. Following a property of the revolving-door combination generator, multi-threaded minimum Hamming distance computation algorithms are developed. Using these algorithms, the previously unknown, minimum Hamming distance of the quadratic residue code for prime 199 has been evaluated. In addition, the highest minimum Hamming distance attainable by all binary cyclic codes of odd lengths from 129 to 189 has been determined, and as many as 901 new binary linear codes which have higher minimum Hamming distance than the previously considered best known linear code have been found. It is shown that by exploiting the structure of circulant matrices, the number of codewords required, to compute the minimum Hamming distance and the number of codewords of a given Hamming weight of binary double-circulant codes based on primes, may be reduced. A means of independently verifying the exhaustively computed number of codewords of a given Hamming weight of these double-circulant codes is developed and in coiyunction with this, it is proved that some published results are incorrect and the correct weight spectra are presented. Moreover, it is shown that it is possible to estimate the minimum Hamming distance of this family of prime-based double-circulant codes. It is shown that linear codes may be efficiently decoded using the incremental correlation Dorsch algorithm. By extending this algorithm, a list decoder is derived and a novel, CRC-less error detection mechanism that offers much better throughput and performance than the conventional ORG scheme is described. Using the same method it is shown that the performance of conventional CRC scheme may be considerably enhanced. Error detection is an integral part of an incremental redundancy communications system and it is shown that sequences of good error correction codes, suitable for use in incremental redundancy communications systems may be obtained using the Constructions X and XX. Examples are given and their performances presented in comparison to conventional CRC schemes

Codes convolutionnels doublement orthogonaux récursifs : analyse et recherche des nouveaux codes, évaluation des performances

Les bases du codage -- Une communication numérique -- Codes convolutionnels simplement orthogonaux -- Codes Convulutionnesl récursifs systématiques -- Théorie des codes convolutionnels doublement orthogonaux non récursifs -- Décodage à seuil itératif -- Codes convultionnels doublement orthogonaux au sens large -- Codes convolutionnels orthogonaux au sens strict -- Construction des nouveaux codes R -- CSO2 -- WS -- Performances d'erreur obtenues par simulations -- Construction de nouveaux codes R -- CSO2C -- SS -- Simulations

Conception et prototypage de décodeurs à seuil itératif à haut débit

Codage de canal -- Système de communication numérique -- Principe du codage correcteur d'erreur -- Les codes LDPC -- Les codes Turbo -- Les codes CDO -- Notions matérielles -- La technologie FPGA -- Les FPGA de la famille Virtex-II pro de Xilinx -- Délai critique d'un circuit numérique -- Stratégie de resynchronisation d'un circuit numérique -- Environnement d'évaluation des performances d'erreur du DSI -- Décodeur à seuil itératif à haut débit des codes CDO -- Architecture du décodeur à seuil -- Le pondérateur -- Les registres à décalage -- Technique de pipelinage du décodeur -- Stratégie de resynchronisation du décodeur -- Emplacements des étages de pipeline -- Capacité de pipelinage d'un codeur CDO -- Implémentation des composants pipelinés -- Système de communication adapté aux codes perforés -- Gestionnaire d'horloge -- Endoceur perforé -- Décodeur à seuil itératif adapté aux codes perforés -- Recherche de générateurs des codes PCDO à taux compatibles et à haute capacité de pipelinage -- Codes convolutionnels doublement orthogonaux à multi-registres à décalage -- Définition des codes M-CDO -- Simplification des codes M-CDO -- Représentation vectorielle des différences simples et doubles -- Simplification des conditions de la définition des codes M-CDO -- Décodeur à seuil itératif à haut débit de codes M-CDO -- Les registres à décalage -- Le noyau de logique combinatoire -- Pipelinage du décodeur à seuil des codes M-CDO -- Nombre d'emplacements des étages de pipeline -- Capacité de pipelinage d'un générateur de codes M-CDO -- Recherche des meilleurs générateurs de codes M-CDO -- Notations utilisées -- Comparaison des délais des deux architectures du pondérateur -- Choix de la résolution interne du décodeur -- Pipelinage du décodeur à seuil -- Influence de l'architecture du registre à décalage élémentaire -- Exemple de pipelinage d'un décodeur à seuil des codes M-CPDO -- Prototypage du DSI des codes PCDO à taux compatibles -- Simulation du gestionnaire d'horloge -- Résultats expérimentaux du DSI des codes PCDO à taux compatibles -- Influence de la potection quasi-EEP sur les performances -- Comparaison des codes doublement orthogonaux

A STUDY OF ERASURE CORRECTING CODES

This work focus on erasure codes, particularly those that of high performance, and the related decoding algorithms, especially with low computational complexity. The work is composed of different pieces, but the main components are developed within the following two main themes. Ideas of message passing are applied to solve the erasures after the transmission. Efficient matrix-representation of the belief propagation (BP) decoding algorithm on the BEG is introduced as the recovery algorithm. Gallager's bit-flipping algorithm are further developed into the guess and multi-guess algorithms especially for the application to recover the unsolved erasures after the recovery algorithm. A novel maximum-likelihood decoding algorithm, the In-place algorithm, is proposed with a reduced computational complexity. A further study on the marginal number of correctable erasures by the In-place algoritinn determines a lower bound of the average number of correctable erasures. Following the spirit in search of the most likable codeword based on the received vector, we propose a new branch-evaluation- search-on-the-code-tree (BESOT) algorithm, which is powerful enough to approach the ML performance for all linear block codes. To maximise the recovery capability of the In-place algorithm in network transmissions, we propose the product packetisation structure to reconcile the computational complexity of the In-place algorithm. Combined with the proposed product packetisation structure, the computational complexity is less than the quadratic complexity bound. We then extend this to application of the Rayleigh fading channel to solve the errors and erasures. By concatenating an outer code, such as BCH codes, the product-packetised RS codes have the performance of the hard-decision In-place algorithm significantly better than that of the soft-decision iterative algorithms on optimally designed LDPC codes

Étude des propriétés des codes convolutionnels récursifs doublement-orthogonaux

Résumé Cette thèse propose l'étude des codes convolutionnels récursifs doublement orthogonaux (RCDO). Ces codes correcteur d'erreur trouvent leur source dans les travaux développés au cours des dernières années à l'École Polytechnique de Montréal et ont pour objectif de corriger les erreurs se produisant lors du transfert de l'information entre une source et un destinataire. Les codes RCDO représentent une famille de codes convolutionnels récursifs qui offrent des performances d'erreur qui s'approchent des limites prédites par la théorie pour les canaux de communications considérés dans cette thèse. Outre les excellentes performances d'erreur offertes par les codes RCDO, il s'avère que cette famille de codes correcteurs d'erreur peut être générée par un encodage qui est très simple à réaliser en comparaison avec des techniques de codage qui offrent des performances d'erreur similaires. De plus, le décodage de ces codes s'effectue à l'aide d'un décodeur itératif qui est composé d'une chaîne successive du même décodeur. Le nombre de décodeurs qui se succèdent dans la chaîne représente le nombre d'itérations effectuées lors du décodage. Le fait de répéter la même structure facilite grandement la conception du décodeur itératif, car uniquement la conception d'un seul décodeur doit être prise en compte pour réaliser l'ensemble du décodeur itératif. La simplicité de mise en oeuvre de la technique de codage proposée facilite donc les opérations d'encodage et de décodage et est ainsi adaptée à des sources d'information délivrant des symboles d'information à hauts débits et qui nécessitent de hautes performances d'erreur. Les objectifs de cette thèse sont multiples. Dans un premier temps, ce travail permet d'établir la correspondance entre les codes Low-Density Parity-Check (LDPC) et les codes RCDO. À partir de cette correspondance, il devient possible de quantifier un seuil de convergence asymptotique associé à une famille de codes RCDO. C'est-à-dire que sous ce seuil, la probabilité d'effectuer une erreur de décodage ne converge pas vers zéro. Nous avons aussi analysé la complexité associée aux opérations liées à l'encodage et au décodage des codes RCDO. Suite à ce travail, il devient donc possible d'imposer des critères de conception matérielle et ainsi générer les codes RCDO qui offrent les meilleurs seuils de convergence théorique.---------- Abstract This thesis presents Recursive Convolutional Doubly-Orthogonal (RCDO) codes. These new error correcting codes represent a class of convolutionnal Low-Density Parity-Check (LDPC) codes that can be easily decoded iteratively. The doubly-orthogonal conditions of RCDO codes allow the decoder to estimate a symbol with a set of equations that are independent over two successive iterations. This reduces the error propagation throughout the iterative decoding process and therefore improves the error performances. The fondation of this research founds his source in recent works that has been presented in the last decade at École Polytechnique de Montréal. As presented in this document, the error performances of RCDO codes are near the Shannon capacity for the additive white gaussian noise and the binary erasure channels. In order to achieve these error performances, only a simple multi shift registers recursive convolutional encoder is required at the encoder. Moreover, the iterative decoder is realized only by concatenating, a certain number of time, the same simple threshold decoder. Therefore, the complete decoder is a cascade of the same threshold decoder. It follows that only the design of one simple threshold decoder is needed for constructing the complete iterative decoder. The implementation simplicities of the encoder and of the iterative decoder of RCDO codes is advantageous as compared to the implementation complexity of error correcting techniques that achieve similar error performances. This thesis has many objectives. First of all, this work presents a bridge between the family of LDPC block codes and the RCDO codes, indeed both families of codes are constructed from their parity-check matrix. From this fact, it becomes possible to identify an asymptotic threshold value that represents the limit above which the error performances of a family of RCDO codes can converge to zero. Moreover, we also present the complexity analysis associated to the encoding and to the decoding of RCDO codes. From this analysis, it becomes now possible to impose material criterions and to search for an ensemble of RCDO codes that meet all the material requirements and have the best theoretical threshold value. The question that motivates this thesis is the following. Is it possible to approach the theoretical Shannon limits associated to error correcting codes over binary symmetric memoryless channels using the doubly-orthogonal conditions imposed on convolutional codes? For this thesis, the symmetric channels are : the Binary Erasure Channel (BEC) and the Additive White Gaussian Noise (AWGN) channel

UNDERWATER COMMUNICATIONS WITH ACOUSTIC STEGANOGRAPHY: RECOVERY ANALYSIS AND MODELING

In the modern warfare environment, communication is a cornerstone of combat competence. However, the increasing threat of communications-denied environments highlights the need for communications systems with low probability of intercept and detection. This is doubly true in the subsurface environment, where communications and sonar systems can reveal the tactical location of platforms and capabilities, subverting their covert mission set. A steganographic communication scheme that leverages existing technologies and unexpected data carriers is a feasible means of increasing assurance of communications, even in denied environments. This research works toward a covert communication system by determining and comparing novel symbol recovery schemes to extract data from a signal transmitted under a steganographic technique and interfered with by a simulated underwater acoustic channel. We apply techniques for reliably extracting imperceptible information from unremarkable acoustic events robust to the variability of the hostile operating environment. The system is evaluated based on performance metrics, such as transmission rate and bit error rate, and we show that our scheme is sufficient to conduct covert communications through acoustic transmissions, though we do not solve the problems of synchronization or equalization.Lieutenant, United States NavyApproved for public release. Distribution is unlimited