Nous présentons une parallélisation et une implantation d'un algorithme de reconnaissance de mots chinois ; cet algorithme est basé sur une approche neuronale utilisant une mémoire auto-associative. On peut distinguer 2 niveaux de parallélisme dans cet algorithme : parallélisme de la phase d'apprentissage et parallélisme de la phase de reconnaissance. Une application de reconnaissance de mots chinois a été implantée sur une architecture utilisant 3 DSPs TMS320C40. Les accélérations de 2.1 et 2.52 sont respectivement obtenues pour les phases d'apprentissage et de reconnaissance 

ABDI, Hervé

FAN YANG

PAINDAVOINE, Michel

I-Revues

SEIZIÈME COLLOQUE GRETSI — 15-19 SEPTEMBRE 1997 — GRENOBLE 595
Parallélisation et Implantation d’un Algorithme de
Reconnaissance de Mots Chinois
Fan Yang.1/, Michel Paindavoine.1/ et Hervé Abdi.2/
.1/LE2I, Université de Bourgogne,
6, Bd Gabriel-21000 Dijon, France
email:fanyang(paindav)@u-bourgogne.fr
.2/LEAD, Université de Bourgogne,
6, Bd Gabriel-21000 Dijon, France
email:herve@u-bourgogne.fr
RÉSUMÉ
Nous présentons une parallélisation et une implantation d’un algo-
rithme de reconnaissance de mots chinois ; cet algorithme est basé
sur une approche neuronale utilisant une mémoire auto-associative.
On peut distinguer 2 niveaux de parallélisme dans cet algorithme : pa-
rallélisme de la phase d’apprentissage et parallélisme de la phase de
reconnaissance. Une application de reconnaissance de mots chinois
a été implantée sur une architecture utilisant 3 DSPs TMS320C40.
Les accélérations de 2.1 et 2.52 sont respectivement obtenues pour
les phases d’apprentissage et de reconnaissance .
ABSTRACT
We present a parallelization and an implementation of a Chinese cha-
racter recognition algorithm. This algorithm is based on a neuronal
approach using auto-associative memories. We can make out two pa-
rallelism levels in this alogorithm: learning phase and recognition
phase. A Chinese character recognition algorithm has been imple-
mented using 3 DSPs TMS320C40 from Texas Instruments. Acce-
lerations of 2.1 and 2.52 are respectively obtained for the learning
phase and the recognition phase.
1 Introduction
Depuis quelques années, les réseaux de neurones artificiels
font l’objet d’un renouveau d’intérêt, car ils correspondent
à une approche performante pour la résolution d’un grand
nombre de problèmes comme par exemple la reconnaissance
de formes, la classification, le traitement du signal et des
images. En outre, la plupart des calculs que demandent ces
réseaux sont réguliers et dès lors, leur implantation sur des
architectures parallèles permet de réduire considérablement le
temps de calcul comparé aux machines séquentielles [1]. Nous
illustrons cette propriété avec une application liée à la recon-
naissance de formes, et plus particulièrement à la reconnais-
sance de caractères.
Dans une première de cet article nous présentons le mo-
dèle de réseau de neurones utilisé qui se décompose en deux
phases : la phase d’apprentissage et la phase de reconnais-
sance. En deuxième partie nous abordons en termes d’adéqua-
tion algorithme-architecture la stratégie de parallélisation. Les
troisième et quatrième parties sont consacrées à la description
de la parallélisation des deux phases de l’algorithme.
2 Présentation de l’algorithme
Les modèles de réseaux de neurones utilisant des mémoires
auto-associatives sont donc composés de neurones linéaires
dont la réponse est une fonction linéaire de l’activation et
fonctionnent comme des mémoires auto-adressables. Le but
de ces modèles est de stocker des stimuli et de les récupérer
avec une version partielle ou dégradée du stimulus. L’avantage
de ces modèles par rapport à des modèles non linéaires est
de pouvoir intégrer un très grand nombre de cellules dans
le réseau. Leur implémentation est particulièrement aisée,
puisque ces modèles s’analysent avec des notions de valeurs et
vecteurs propres (matrices semi-définies positives). En outre,
dans de nombreuses applications, utilisant des approches plus
sophistiquées, ces modèles constituent alors la première étape
de traitement.
L’auto-associateur est entraîné par un apprentissage super-
visé. C’est à dire qu’en phase d’apprentissage, on applique en
entrée du réseau un ensemble de données auquel on fait cor-
respondre une sortie désirée. Nous avons utilisé la règle de
Widrow-Hoff qui modifie les poids à chaque présentation d’un
couple entrée-sortie et dont l’apprentissage procède par itéra-
tions. Des modèles plus récents utilisent les vecteurs propres
et les valeurs propres comme outils d’analyse [2]. Rappelons
que la matrice de prototypes A (ou stimuli d’apprentissage)
peut se décomposer en valeurs singulières selon :
A D P1QT (1)
P : matrice des vecteurs propres de AAT
Q : matrice des vecteurs propres de ATA
1 : matrice diagonale des valeurs singulières = 31=2
596
3 : matrice des valeurs propres de AAT et ATA
Nous pouvons alors montrer [3] que la matrice de poids W
converge vers :
W.1/ D PPT (2)
La phase de rappel revient à multiplier la matrice de nouveaux
stimuli X par la matrice de poids W pour obtenir la matrice de
réponse O :
O D PPTX (3)
La figure 1 montre les résultats d’une mémoire auto-
associative qui est utilisée pour reconnaître des images brui-
tées de mots chinois. La mémoire reconstitue des stimuli sto-
ckés de manière satisfaisante.
FIG. 1 — Réponse d’un auto-associateur à des mots chinois
manuscrits et bruités. La mémoire a été entraînée avec des
mots chinois imprimés (en haut), au milieu :stimuli bruités du
réseau et en bas : réponse du réseau
3 Méthodologie et architecture paral-
lèle
Les deux questions primordiales que l’on doit se poser pour
implémenter un algorithme sur une architecture parallèle sont :
— quelles sont les spécificités
de l’algorithme?
— quel type d’architecture
pourrait le mieux répondre
au besoin?
La première question consiste à exprimer l’algorithme initial
de façon non plus séquentielle, mais de manière à mettre en
évidence le parallélisme inhérent de l’algorithme. Cette étape
peut être réalisée à l’aide d’un graphe de dépendance qui est
une description formelle des activités espace-temps dans un
algorithme. Pour la deuxième question, on propose une archi-
tecture à flot de données qui nous semble bien adaptée à notre
algorithme de reconnaissance de mots chinois. L’architecture
à flot de données ne comporte ni unité de commande, ni mé-
moire globale, mais est directement contrôlée par les données
elles-mêmes [4]. Dans cette approche, l’arrivée d’une donnée
d’un processeur voisin est interprétée comme un changement
d’état et initialise une action. Ce type de machine permet à
la fois de limiter le coût de gestion (sans horloge globale) et
d’obtenir un haut degré de parallélisme.
4 Parallélisation de la phase d’appren-
tissage
L’apprentissage s’effectue en trois étapes (voir figure 2) :
- Calcul de la matrice B=ATA avec A : l’ensemble des
prototypes
- Extraction des vecteurs propres et des valeurs propres de
la matrice B : [Q, ]=eigen (B)
- Calcul de la matrice de vecteurs propres P=AQ
inv(diag()) = AQÄ1
b b b b
q λ
21 3 4
i i
q
q
q
3
2
1
i
a 1 a 2 a 3 a
q 4 p 4
p 3
p 2
p 1
4
j
λ4
λ3
λ2
λ1
i
a
a
a
3
2
1
i
a 1 a 2 a 3 a
a 4 b 4
b 3
b 2
b 1
4
(a): Calcul de la matrice B
(c): Calcul de la matrice P
(b): Extraction des vecteurs propres
       et valeurs propres
FIG. 2 — Graphe de dépendance de la règle de Widrow-Hoff
Une boucle est présente sur le graphe de la figure 2b. Ceci
montre que le calcul en cours de qi, i ne peut commencer
seulement quand on a le résultat qiÄ1, iÄ1, ce qui signifie que
cette étape d’extraction des vecteurs propres et des valeurs
propres n’est pas parallélisable. Par contre, les deux autres
étapes de l’algorithme présentent une grande potentialité de
parallélisme.
Nous avons implanté une application de reconnaissance de
mots chinois sur 3 DSPs en suivant l’approche par flot de
données. Chaque mot est composé de 4040 pixels. La figure
3 montre le graphe flot de données de l’implémentation de la
phase d’apprentissage qui a été obtenu avec l’outil SynDex [4].
Le chronométrage de l’exécution montre qu’une accélération
597
FIG. 3 — Implantation de la phase d’apprentissage
d’un facteur de 2.1 est obtenue.
5 Parallélisation de la phase de recon-
naissance
Pour calculer la réponse du réseau, il suffit de multiplier la
matrice des nouveaux stimuli X par la matrice de poids pour
obtenir la matrice de réponse O selon l’équation (3). Dans le
but de la parallélisation, l’équation (3) est factorisée et nous
obtenons :
oi D
NX
kD1
pk.pk
Txi/ D
MX
mD1
.
RX
kD1
pk.pk
Txi// (4)
avec N le nombre de colonnes de la matrice P, MR = N.
La figure 4 représente le graphe de dépendance de la phase
1 p2
x i o i
p
M
pR+1 p2R+1
i
k
R R R
FIG. 4 — Graphe de dependance
de rappel. On peut obtenir la réponse oi au stimulus xi en
effectuant des calculs parallèles sur M blocs de données,
chaque bloc étant composé de R colonnes de P. Ainsi les blocs
de P sont distribués sur tous les processeurs d’une manière
équilibrée. A chaque flot de données, un stimulus xi est
transmis à l’architecture parallèle, chaque processeur réalise
sa propre tâche en même temps que les autres d’une manière
asynchrone. A la fin du calcul, tous les résultats sont regroupés
vers la machine root. Cette approche peut être réalisée avec
une topologie de type “grille”. L’efficacité de cette approche
parallèle est illustrée par la figure 5.
0 5 10 15 20 25
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Efficacite = F(Nombre processeur)
....... r=0.1
___ r=0.5
− − r=0.8
FIG. 5 — Efficacité de parallélisation
Nous avons rD Tcom=Tcal , Tcom qui est le temps de
communication d’un vecteur entre deux processeurs voisins, et
Tcal qui est le temps nécessaire pour traiter une ligne de donnée
de la matrice de vecteurs propres P. Plus r est grand, plus
l’efficacité baisse. Pour un nombre de processeurs inférieur
à 8, on a toujours une approche parallèle assez performante
et ceci indépendemment de la valeur de r. L’application de
reconnaissance de mots chinois a été implantée sur 3 DSPs
TMS320C40, la figure 6 montre le graphe flot de données (à
gauche) et l’architecture du système (à droite). Nous avons
FIG. 6 — Graphe Browser de l’implantation
obtenu une accélération expérimentale de 2.52 (E f fexp =
0.84). La vitesse de reconnaissance est de plus de 6 mots par
seconde (6.25 mots/s, Tpara = 160 ms).
6 Conclusion
Les analyses et résultats obtenus pour la parallélisation de
notre algorithme de reconnaissance de mots chinois montrent
598
que l’algorithme de l’auto-associateur est un problème très pa-
rallélisable aussi bien pour la phase d’apprentissage que pour
la phase de reconnaissance.
En perspective, un prétraitement utilisant un détecteur de
contour multi-échelles [5] a montré que le taux de recon-
naissance augmente de 17% [6]. Nous pensons implanter ce
prétraitement sur un module multi-FPGA en maintenant l’im-
plantation de l’auto-associateur sur une carte multi-DSP, ceci
constituant un ensemble de machine hétérogène.
Références
[1] H.Yoon, JH.Nang and S.R.Maeng, Parallel simulation
of multiyered neural networks on distributed-memory
multiprocessors, Microprocessing and microprogram-
ming, Vol.29, 1990.
[2] X.Jia and S.Nixon, Extending the feature vector for au-
tomatic face recognition, IEEE-Transactions on “Pat-
terns Analysis and Machine intelligence ”Vol.17, De-
cember 1995.
[3] D. Valentin and H. Abdi, Connectionist models of face
processing : a survey, Pattern Recognition, Vol.27,
1994.
[4] C.Lavarenne, O.Seghrouchini, Y.Sorel, M.Sorine, Syn-
Dex, un environnement de programmation pour appli-
cations de traitement du signal distribuées, 13ème Col-
loque GETSI, Juan les Pins, Septembre 1991.
[5] Sariffudin, Implantation sous forme de circuit spécia-
lisé d’un algorithme de détection de contours mulit-
échelles, Thèse soutenue à l’Université de Bourgogne,
Juillet 1995.
[6] F.Yang, M.Paindavoine and H.Abdi, Multiscale edges
detection by wavelet transform for model of face reco-
gnition


Parallélisation et implantation d'un algorithme de reconnaissance de mots chinois

Abstract

Similar works

Full text

Available Versions

I-Revues