Un outil de développement parallèle des réseaux de neurone

Colloque avec actes et comité de lecture. nationale.National audienceNotre recherche a pour but l'étude du parallélisme intrinsèque des réseaux de neurones à inspiration biologique, qui sont des modèles à calculs totalement distribués. Nos objectifs sont doubles. Tout d'abord, nous souhaitons pouvoir utiliser cette propriété dans l'étude et le développement de nouveaux modèles neuromimétiques. Ensuite nous voulons exploiter ce parallélisme neuronal pour implanter nos modèles sur machines parallèles MIMD à mémoire partagée. l'un des problèmes liés à l'utilisation des réseaux de neurones est en effet le fort coût de ceux-ci en temps de calcul, et ce essentiellement en phase d'apprentissage. Il est donc intéressant de pouvoir utiliser la puissance de calcul des machines parallèles modernes pour accélérer l'exécution de nos réseaux, pour les configurer comme pour les exécuter. l'utilisation de la machine parallèle peut aussi nous permettre de construire des réseaux plus complexes et de travailler sur de plus vastes bases de données

A library to implement neural networks on MIMD machines

Executing a sequential implementation of an Neural Network (NN) generally induces a high cost in terms of computation time, including a large part for the learning phase. This cost together with the weak computation performance of a computer with regard to a human brain [3] make it difficult to test some complex large connectionist models, like some inspired from biological reality or some with a high dimensional input space or a large number of units. Moreover, NNs present a large amount of natural parallelism. Unfortunately, NN parallelism is very di erent from modern and general purpose parallel computer parallelism. NNs have affine grain of parallelism and a natural message passing paradigm. On the opposite, modern parallel computers have a MIMD architecture. Some recent hardware development led to use shared memory as an efficient parallel programming way with high number of processors. The main goals of this project are to speed up NN executions..