Estimating the complexity of implementation for a coding/decoding system is a delicate question. There is usually

no unique answer. We can make a rought distinction between :

- algorithmic complexity ;

— hardware complexity, corresponding to the number of logical gates and binary memories contained in a codin g

or decoding device.

For the first notion in the case of block codes, one deals mostly with arithmetic complexity . We survey the mai n

existing estimations "practical" and asymptotical while trying to distinguish between the operations in an extensio n

field and those on the ground field. We illustrate the second notion with an example showing the limitations o f

some evaluations .Apprécier la complexité de la mise en oeuvre d'un système de codage/décodage est une question délicate qui ne

reçoit généralement pas de réponse unique . On peut sommairement distinguer :

— une complexité algorithmique;

— une complexité matérielle qui correspond au nombre de portes logiques et de mémoires binaires que compren d

un codeur ou un décodeur .

Pour la première notion et dans le cas des codes en blocs, il s'agit principalement d'une complexité arithmétique .

Nous passons en revue les principales estimations existantes, « pratiques » ou asymptotiques, en tentant d e

distinguer les opérations sur un corps extension de celles sur le corps de base. Nous illustrons la seconde notio n

sur un exemple qui met en valeur les limitations de certaines évaluations 

GODLEWSKI, Philippe

Traitement du signal

I-Revues

RECHERCHES
Complexité de systèmes
de correction d'erreurs
Complexity of error correction devices
j
Philippe GODLEWSKI
ENST, Département Systèmes et Communications, 46, rue Barrault, 75013
PARIS
Enseignant-chercheur au département
Systèmes et Communications de l'E.N .S. Télécommunications, Domaines
d'enseignement : communications numériques, théorie de l'information . Domaines de recherches :
codes correcteurs
d'erreurs, cryptographie.
RÉSUMÉ
Apprécier la complexité de la mise en oeuvre d'un système de codage/décodage est une question délicate qui ne
reçoit généralement pas de réponse unique . On peut sommairement distinguer
- une complexité algorithmique ;
- une complexité matérielle qui correspond au nombre de portes logiques et de mémoires binaires que comprend
un codeur ou un décodeur.
Pour la première notion et dans le cas des codes en blocs, il s'agit principalement d'une complexité arithmétique .
Nous passons en revue les principales estimations existantes, « pratiques » ou asymptotiques, en tentant de
distinguer les opérations sur un corps extension de celles sur le corps de base. Nous illustrons la seconde notion
sur un exemple qui met en valeur les limitations de certaines évaluations .
MOTS CLÉS
Codes correcteurs d'erreurs, complexité
.
Traitement du Signal
SUMMARY
Estimating the complexity of implementation for a coding/decoding system is a delicate question . There is usually
no unique answer . We can make a rought distinction between :
- algorithmic complexity;
- hardware complexity, corresponding to the number of logical gates and binary memories contained in a coding
or decoding device.
For the first notion in the case of block codes, one deals mostly with arithmetic complexity . We survey the main
existing estimations "practical" and asymptotical while trying to distinguish between the operations in an extension
field and those on the ground field . We illustrate the second notion with an example showing the limitations of
some evaluations.
KEY WORDS
Error-correcting-codes, complexity .
179
volume 1 -
n° 2-2 -1984
TABLE DES MATIÈRES
Introduction
1 . La notion de complexité d'un algorithme
2. Calculs sur un corps extension
3. Complexité du codage
4. Les principales techniques de décodage
ferme
5. Complexité du décodage
6. Complexité matérielle
7. Algorithmes de décodage pondéré
Conclusion
Bibliographie
Introduction
Apprécier la complexité de la mise en ceuvre d'un
système de codage/décodage est une question délicate
qui ne reçoit généralement pas de réponse unique . On
peut sommairement distinguer
- une complexité algorithmique (qui est ici principa-
lement arithmétique) ;
- une complexité matérielle qui correspond au
nombre de portes logiques et de mémoires binaires
que comprend un codeur ou un décodeur .
Nous précisons dans le cas des codes en blocs, la
première notion et nous illustrons rapidement la
seconde . Le cas des codes convolutionnels sera évoqué
à la fin de cet article.
Dans ce qui suit on considère un (n, k) code en blocs
C, de distance minimale d = 2 t + 1 ou 2 t + 2 défini
sur un corps F à q éléments .
1 . La notion de complexité
d'un algorithme [1]
Pour résoudre un problème ou accomplir une tache
(codage, décodage), on a souvent le choix entre divers
algorithmes . La complexité (en temps) kx d'un algo-
rithme correspond au nombre maximal d'instructions
COMPLEXITÉ DE SYSTÈMES DE CORRECTION D'ERREURS
Traitement du Signal
180
élémentaires (ou de cycles machine) que son déroule-
ment nécessite. Il suffit très souvent de ne prendre en
compte, dans les algorithmes de type algébrique que
l'on rencontre en codage, que les instructions les plus
complexes (multiplications, divisions) et de négliger
les plus simples (chargements des registres, mises en
mémoire, tests et sauts, . . .) . De cette manière, on ne
dénombre que les opérations arithmétiques : on parle
alors de complexité arithmétique . Il est d'usage de
donner le comportement asymptotique de kx , on écrit
alors :
kx-O (f (n, k, t)),
ce qui signifie qu'il existe une constante c o telle que
k. :g
co f (n, k, t) .
Nous donnons dans ce qui suit des ordres de grandeur
« pratiques » de kx. Ce qui signifie que les évaluations
faites ne correspondent pas toujours aux algorithmes
asymptotiquement les plus performants . Ces derniers
sont en effet souvent sans intérêt pour les longueurs
n considérées en pratique. On retiendra aussi que la
constante c o est voisine de 1 et bornée par 10 dans la
plupart des estimations fournies .
L'espace mémoire nécessaire à l'exécution de l'algo-
rithme conditionne la complexité en mémoire . Des
compromis temps/mémoire sont toujours envisagea-
bles. En particulier un algorithme de décodage qui
consiste à consulter une liste de tous les mots reçus
possibles (ou respectivement de tous les syndromes)
a une complexité en temps négligeable mais une com-
plexité en mémoire exponentielle (en n . q" ou respecti-
vement en n . q" -k ). On se place ci-après dans la
situation où la mémoire nécessaire à l'exécution de
l'algorithme est, au plus, du même ordre que k,,.
La complexité arithmétique s'apparente alors à la
longueur d'un programme sans boucle (« straight line
complexity », [1 et 2]) .
2. Calculs sur un corps extension
Il est important de noter que les calculs nécessaires
au codage et au décodage peuvent être effectués soit
sur le corps de base F = F soit sur une extension F
de F qui comporte qm éléments. Pour les codes de
Reed-Solomon m=l, pour des codes (BCH,
Goppa, . . .) construits en longueur primitive n=qm-1
ou n = qm. On utilisera la notation O ( .) [respective-
ment Oe. ( . )] si les calculs sont considérés sur F (resp .
sur F') . Quand on dispose d'une unité arithmétique
qui effectue les quatre opérations sur F, les calculs
sur F' se ramènent à des calculs polynomiaux sur F .
De cette manière l'addition sur F' nécessite m addi-
tions sur F alors que l'algorithme naïf de multiplica-
tion demande de l'ordre de m 2 additions et multiplica-
tions sur le même corps [un algorithme moins naïf en
volume 1 - n° 2-2 -1984
demande 0 (m . log (m))J . Ainsi dans un corps exten-
sion F', la multiplication est « plus complexe » que
l'addition .
Les algorithmes de codage et de décodage utilisés
comportent principalement des additions-soustrac-
tions et des multiplications (peu de divisions), des
deux catégories d'opérations intervenant dans des pro-
portions comparables .
Ces dernières considérations amènent à ne comptabili-
ser dans l'évaluation de la complexité, que les multipli-
cations et les divisions (sauf dans le corps F 2 où on
ne prend compte que les additions) . Pour fixer les
idées on pourra avoir en mémoire les correspondances
« pratiques » : O (f )-m' . 0.. (f) et « asymptoti-
ques » : 0 (f)-m . log (m) . 0 e7L (f) qui relient les
complexités de calcul sur F et sur F', son extension
de degré m.
Remarques pratiques
- La règle couramment admise : « la multiplication
est plus complexe que l'addition » n'est plus valable
dans les corps d'entiers (F p avec p premier) . Les
deux opérations y sont d'une difficulté d'exécution
analogue : la multiplication modulo p correspond à
l'addition modulo p-1 qui est de complexité voisine
de celle de l'addition modulo p. Le corps F2 représente
la seule exception nette à cette règle, le « et logique »
étant reconnu moins complexe que le « ou exclusif » .
- L'addition est particulièrement simple dans les
corps de caractéristique 2 . Elle correspond alors au
« ou exclusif bit à bit » (instruction IEXOR du
Fortran ou du Basic) .
Les correspondances précédentes entre O ( .) et
Oex
( .) ne sont pas pertinentes lorsqu'on utilise des
tables de logarithme et d'exponentielle
a` --> i=log. (a'),
i ---+ a`
ou encore une table de log de Zech Z (i) défini par
l'équation
1 + a` = aZ
W.
Ceci correspond à un compromis temps/mémoire qui
est envisageable dans les structures microprogram-
mées si I F' 1 = qm < 2 16 . De cette manière, sur de tels
corps extension F' de caractéristiquep > 2 la multiplica-
tion apparaît à l'ingénieur plus simple que l'addition .
3. Complexité du codage
La complexité du codage est de l'ordre de
O (k . (n-k)) opérations sur F pour un code linéaire .
Si un algorithme rapide de transformation de Fourier
discrète est utilisable, on obtient une évaluation en
Oex
(n .log (n)) . Notons que dans le cas des codes
cycliques les calculs peuvent être très simplement
Traitement du Signal
RECHERCHES
181
sérialisés : le codeur ne comporte qu'un registre à
décalage rebouclé suivant le polynôme générateur de
degré (n-k) et fournit la redondance en k coups
d'horloge. Dans le cas des codes de Reed-Solomon,
des simplifications supplémentaires ont été apportées
par Berlekamp [3]. On retiendra que dans la mise en
oeuvre d'un système de codage/décodage, le codage
correspond à la partie facile .
4. Les principales techniques de décodage
après décision ferme
On distingue habituellement
- Le décodage après décision ferme (hard decision
decoding) qui traite des données sévèrement
quantifiées : le décodeur ne dispose que de symboles
à valeurs dans Fq .
- Le décodage pondéré (soft decision decoding) qui
prend en compte une indication supplémentaire sur
la vraisemblance ou la fiabilité de chacun des symbo-
les reçus. Cette information est disponible à la sortie
de certains démodulateurs.
La correction conjointe d'erreurs et d'effacements est
un cas intermédiaire .
Nous donnons maintenant une liste des principales
techniques de décodage ferme
- Le décodage par recherche exhaustive (EXH) ou
par filtrage adapté . On compare le mot reçu avec
tous les q k mots du code. Ceci n'est donc envisageable
que si le nombre de mots de code est limité. En
comparant directement le signal reçu aux différents
signaux possibles, on obtient la version « pondérée »
de l'algorithme .
- Le décodage par calcul du syndrome et recherche
dans une table (TAB) . Cette méthode est préférable
à la précédente lorsque k/n > 1/2 . Elle est actuellement
envisageable si q" - k < iOs .
- Le décodage par piégeage d'erreurs (PIEG), en
anglais : « error trapping ». Il utilise souvent la struc-
ture de Meggitt .
- Le décodage majoritaire (MAJ) est associé aussi
en pratique avec la structure de Meggitt .
- Le décodage par permutations (PERM) n'est
adapté que pour certains codes de longueur modérée
ayant un groupe d'automorphisme suffisamment
riche .
5. Complexité du décodage
La question générale du décodage est liée à un certain
nombre de problèmes dits « NP-complets » et réputés
intractables. Plus précisément, si l'on se donne un
volume 1 - n° 2 -2 -1984
TABLEAU
Complexité du décodage algébrique .
code linéaire (n, k) arbitraire, un mot y de longueur
n et un entier w quelconques, le problème de détermi-
ner s'il existe ou non un mot du code à une distance
inférieure ou égale à w de y est NP-complet [4] . La
complexité d'un algorithme permettant de le résoudre
semble donc exponentielle .
Sur un plan plus pratique, la plupart des algorithmes
de décodage proposés nécessitent au moins O(inf
( q k, q"-k))
opérations (cf. EXH-TAB, MEG, . . .) . Leur
complexité demeure donc exponentielle, même s'ils
s'adressent à des classes restreintes de codes . L'excep-
tion notable est celle des algorithmes de décodage
algébrique qui ont une complexité majorée par
Oex
(n . t) opérations sur un corps extension, où
t=[dBCH -1]/2 (cf. tableau). Si l'on utilise un algo-
rithme rapide de calcul du PGCD de deux polynômes
([1], p. 308) on obtient une évaluation en O e7C
(n .log2 (n)), mais l'algorithme déduit est peu per-
formant en regard de l'algorithme d'Euclide et surtout
de l'algorithme de Berlekamp-Massey pour les lon-
gueurs n utilisées (n < 10 6 , cf. [5], p. 369) .
6
. Complexité matérielle
La complexité algorithmique donne des ordres de
grandeur mais ne fournit pas de mesure fine de la
complexité de réalisation matérielle. Les estimations
du type de celles qui viennent d'être données sont
souvent approximatives. On n'y distingue pas, en
général, les multiplications où l'une des opérandes est
une constante de celles où les deux opérandes sont
des variables; on néglige aussi les transferts de don-
nées entre mémoires. De cette manière les structures
COMPLEXITÉ DE SYSTÈMES DE CORRECTION D'ERREURS
Traitement du Signal
182
microprogrammées sont avantagées, bien qu'elles
soient peu adaptées à la plupart des algorithmes de
codage et de décodage.
Ces derniers mettent souvent en aeuvre des calculs
polynomiaux et la structure naturelle pour les effec-
tuer est celle des circuits linéaires séquentiels . Les
circuits peuvent être réalisés sous forme cablée ou
sous forme de composants intégrés (VLSI) qui fonc-
tionnent sur un mode systolique : chaque porte logi-
que y est utilisée d'une façon presque permanente
(c'est-à-dire à chaque coup d'horloge) .
Le décodeur de Meggitt comme exemple de décodage
algébrique (fig.) .
Considérons, pour fixer les idées, le décodeur de Meg-
gitt, dans le cas d'un code de Hamming binaire de
longueur 127 engendré par g (x) = x' + x + 1 . Il com-
porte un registre tampon de longueur n = 127, un
registre rebouclé de longueur n - k = 7, une simple
porte « et » à n - k entrées . Ce décodeur peut être vu
comme une réalisation matérielle de l'algorithme de
décodage algébrique . Le registre à décalage rebouclé
qui permet le calcul du syndrome apparaît alors
comme un circuit multiplicateur par un élément [3 du
corps extension F'=F 128, racine du polynôme g (x)
Le contenu de ses mémoires représente la décomposi-
tion d'un élément de F' qui est un F 2-espace vectoriel
sur la base (1, [3, [32 , . . . , [3 6 ), le rebouclage représente
la relation g((3) = 0, c'est-à-dire (3' = (3 + 1 . On
remarque ainsi que cette multiplication est plus simple
que l'addition dans ce même corps puisqu'elle ne
nécessite qu'un « ou exclusif » et un décalage circu-
laire. On suppose maintenant que le mot reçu est
b (x)=c (x)+x'
.
, b (x) correspond au mot de code
c (x)=a (x) . g (x) perturbé par une erreur additive
e (x) = x'. Les éléments binaires b" _ 1 , b" _ 2 , . . . , b° se
présentent l'un après l'autre à l'entrée du décodeur .
Lorsque les n symboles (b ° , . . ., b,-,) sont présents
dans le r Bistre tampon, le registre du syndrome
contient b ((3) = (3'.
Si i = n -1, P'= R -1 correspond au vecteur (1000001)
sur la base considérée. La correction de b"-, est alors
activée au coup d'horloge suivant que l'on numérote
par 1, grâce au décodage effectué par la porte « et » .
Si n = n - s, le registre du syndrome contient au coup
d'horloge numéro s-1, (3" - S (3s-1=(3-1 . La correc-
tion de b"_,, présent alors à l'extrémité du registre
tampon, est activée au coup d'horloge suivant (n ° s) .
Le décodeur comporte
n + n - k mémoires binaires (bascules D) ;
j portes « ou exclusif » à deux entrées avec
2<j<n-k;
n-k portes « et » à deux entrées pour réaliser le
« et » global.
Sa complexité matérielle, c'est-à-dire le nombre de
composants logiques élémentaires qu'il comporte
(hors registre tampon) est en O
(n - k)
. Chaque com-
posant étant utilisé pendant, soit n, soit 2 n coups
d'horloge, on obtient une complexité algorithmique
totale en n2 . Mais cette dernière évaluation ne fait
apparaître la simplicité du décodeur .
volume 1 - n° 2 -2 -1984
Algorithme
d'intérêt
pratique
Algorithme
asymptotiquement
plus performant
Calcul du syndrome
(valeur du polynome
reçu en
r
points)	
Algorithme de Berlekamp
(ou « PGCD rapide ») .
Localisation des erreurs
.
Évaluation des erreurs (cas
non binaire)
	
Total
(pour une capacité de cor-
rection r/n bornée infé-
rieurement par 1) . . . .
n . r
(3/2) r 2
n
. r/2
r 2
O, (n . logn)
O ex (r .log2 (r))
0 871 (n . log (n))
0 871 (n .log (n))
(3/2) n . r+(5/2) r 2
>_7,, O,
% (n
2 ) O,x (n
.log2 (n))
n désigne la longueur du code considéré,
r=dscH-1,
pour un
code de Reed-Solomon r =n -k .
entrée du
décodeur
registre tampon
Décodeur de Meggitt (le contenu des registres correspond au coup d'horloge n° 0) .
Remarque : Ce décodeur peut être vu comme la
matérialisation de deux types d'algorithmes, qui, dans
le cas général, sont bien différents
- le décodage algébrique, l'expression de la comple-
xité Oex (nt) devient O (n . (n-k)) puisqu'ici t = 1 et le
degré de l'extension m est égal à n-k;
- le décodage par syndrome dont la complexité est
en O ((n-k) 2" -k) mais ici n=2"
-k
Cet exemple doit inciter à la prudence celui qui
cherche à savoir si la complexité d'un type (trop
restreint) d'algorithmes est exponentielle ou polyno-
miale .
7. Algorithmes de décodage pondéré
Les algorithmes de décodage pondéré peuvent être
divisés en deux catégories .
(i) Les algorithmes optimaux (à vraisemblance maxi-
male). L'algorithme de Viterbi est le reprédentant le
plus populaire de cette classe. Il demande environ
0(2
K-1
2``9
k)
comparaisons par bit d'information
décodé où K est la longueur de contrainte (ou la
mémoire minimale) d'un' (n, k) code convolutionnel
binaire.
(ii) Les algorithmes sous optimaux (algorithmes
séquentiels, de Chase, . . .) qui sont le plus souvent
des heuristiques . L'effort de calcul qu'ils nécessitent
dépend alors du rapport signal à bruit qui caractérise
le canal de transmission . Citons le décodage
« GMD » de Forney [6] qui met en jeu d - 1 décoda-
ges algébriques et dont la complexité reste polyno-
miale (en O eX (n 3 ))
Traitement du Signal
RECHERCHES
183
Conclusion
Évaluer la complexité d'un algorithme de décodage
est un travail comptable peu sophistiqué mais parfois
fastidieux. Les évaluations ne sont souvent pas très
significatives quand elles s'intéressent à un code parti-
culier. Elles fournissent cependant des ordres de gran-
deur qui permettent d'extrapoler les performances à
des classes infinies de codes . Dans une perspective de
réalisation de décodeur sur des circuits intégrés, un
problème d'actualité est d'implanter un algorithme de
complexité en O (f (n, . . . )) de telle manière que le
circuit correspondant ait une complexité matérielle en
O (f (n,
. . .)/n) .
BIBLIOGRAPHIE
A. V.
AHO,
J. E. HOPCROFT et J . D. HULLMAN, The
Design and Analysis of Computer Algorithms, Addison-
Westley, Reading Mass., 1975 .
[2] A. LEMPEL, G. SEROUssI et J. Ziv, On the Power of
Staight-Line Computations in Finite Fields, IEEE
Trans. Inform. Theory, IT-28, n° 6, November 1982,
p. 875-880 .
E. R. BERLEKAMP, Bit-Serial Reed-Solomon Encoders,
IEEE Trans. Inform. Theory, IT-28, n° 6, November
1982, p . 869-867 .
[4] E. R. BERLEKAMP, R . J. MCELIECE et H . C. A. VAN TIL-
BORG, On the Inherent Intractability of certain Coding
Problems, IEEE Trans
. Inform . Theory, IT-00, n° 3,
May 1978, p . 384-386 .
F. J. MACWILLIAMS et N . J. A. SLOANE, The Theory
of Error-Correcting Codes, Amsterdam, North-Holland,
1977 .
[6] G. D. FoRNEY, Generalized Minimum Distance Deco-
ding, IEEE Trans. Inform. Theory, IT-12, April 1966,
p. 125-131 .
[1]
[3]
[5]
volume 1 - n° 2-2 -1984
n-t
o--
registre
du syndrome
(contient b(13)
au coup n°0)
circuit de
porte correction
et'
sortie


Complexity of error correction devices

Abstract

Similar works

Full text

Available Versions

I-Revues