Etude et validation de modèles neuronaux de mémoires corrélatives adressables par leur contenu

Abstract

RÉSUMÉ Depuis une vingtaine d'années, les systèmes à base de réseaux de neurones connaissent un regain de popularité. On les utilise notamment dans la plupart des systèmes de reconnaissance vocale et de reconnaissance de formes. En effet, les réseaux de neurones ont la faculté de retrouver rapidement les données qu’ils ont enregistrées. Cette propriété semble intéressante pour développer des « Content Addressable Memories » ou CAM à base de réseaux de neurones. Les CAM sont des mémoires particulières dans lesquelles la donnée détermine l'endroit où elle est stockée. Il existe sur le marché des CAM très performantes, mais elles sont également très dispendieuses en raison des méthodes d'implantation utilisées. Pour cette raison, les CAM sont utilisées seulement dans les systèmes où la vitesse de récupération des enregistrements est critique. Ainsi, la recherche effectuée a pour objectif d'étudier des modèles de CAM neuronales et d'évaluer qualitativement leur intérêt en terme de coûts et de performances. Toutefois, pour obtenir des CAM neuronales fiables, certaines caractéristiques des réseaux de neurones doivent être maîtrisées. En particulier, la capacité des réseaux de neurones à inférer une réponse en présence d'une entrée inconnue, si elle est avantageuse dans de nombreuses applications, est problématique pour le développement de CAM neuronales. En effet, cette propriété a pour conséquence une incapacité du réseau de neurones à différencier les informations connues des informations inconnues. Dans ce contexte, le développement d’une CAM neuronale nécessite une modification des modèles existants. La recherche consiste donc, dans un premier temps, à proposer et à valider des modèles de CAM neuronales. Pour valider un modèle, il faut vérifier que la CAM neuronale ne commette aucune erreur ni avec les vecteurs enregistrés (erreur de type I) ni avec les vecteurs non enregistrés (erreur de type II). Pour les modèles validés, on procède à une deuxième étape qui doit déterminer les ressources mémoires et le nombre d'opérations nécessaires. Cette deuxième étape permettra de donner une estimation qualitative du coût et des performances des CAM neuronales étudiées. Bien que plusieurs modèles de réseaux de neurones soient envisageables pour développer une CAM neuronale, la recherche se limitera à l'étude du modèle des « Correlation Matrix Memories » ou CMM qui est un modèle de mémoire distribuée à base de réseaux de neurones. On peut a priori utiliser les CMM soit comme une CAM neuronale à part entière, soit pour effectuer un prétraitement dans la CAM neuronale. Néanmoins, les simulations effectuées montrent que les CMM ne peuvent être utilisées seules pour effectuer un traitement sans erreur si l'orthogonalisation des vecteurs garantit l'absence d'erreurs de type I, elle ne peut assurer l'absence d'erreurs de type II. Toutefois, les CMM permettent un prétraitement efficace : avec des vecteurs de 128 bits, le prétraitement réduit de plus de 99% le nombre de tests à effectuer. De plus, compte tenu des propriétés des CMM, ce prétraitement doit être encore plus efficace avec des vecteurs d'entrée de plus grande taille. D'autre part, dans le modèle des CMM, il faut, idéalement, que les vecteurs d'entrées enregistrés soient orthogonaux si l'on veut pouvoir retrouver les informations enregistrées. Ainsi, deux approches sont étudiées : la première utilise une orthogonalisation classique des vecteurs d'entrées, la deuxième projette les vecteurs à enregistrer dans un espace de grande dimension en utilisant un processus partiellement aléatoire. On constate que les modèles utilisant une orthogonalisation exacte des vecteurs d'entrée sont très exigeants en ressources et présentent un intérêt limité en terme de coût et de performances. En revanche les modèles utilisant la projection des vecteurs d'entrée dans un espace de grande dimension sont peu exigeants en ressources mémoire et en ressources de calculs. Les données récupérées indiquent que, pour des entrées de 128 bits, les CAM neuronales peuvent présélectionner un vecteur parmi 112. Ce prétraitement nécessite seulement 69 bits de mémoire et 140 opérations logiques par vecteur enregistré. D'autre part, les CAM neuronales à base de CMM permettent de travailler avec des vecteurs d'entrée de très grande taille : cette caractéristique est particulièrement intéressante car le traitement des vecteurs de grande taille est très coûteux dans les CAM « traditionnelles Ainsi, comme les CAM neuronales peuvent traiter les vecteurs de grande taille efficacement, elles semblent particulièrement adaptées au filtrage de paquets TCP/IP dans les systèmes coupe-feu (Firewall). En effet, ces systèmes utilisent des règles d'au moins 128 bits de long. CONTENU Intérêt des content addressable memories -- Une mutation des besoins -- Possibilité de développer des CAM neuronales -- Les étapes de la recherche -- Intérêt de développer une CAM neuronale -- Réseaux de neurones fondamentaux utilisés -- Adaptation des modèles de CMM existants

    Similar works