OCReP: An Optimally Conditioned Regularization for Pseudoinversion Based Neural Training

In this paper we consider the training of single hidden layer neural networks by pseudoinversion, which, in spite of its popularity, is sometimes affected by numerical instability issues. Regularization is known to be effective in such cases, so that we introduce, in the framework of Tikhonov regularization, a matricial reformulation of the problem which allows us to use the condition number as a diagnostic tool for identification of instability. By imposing well-conditioning requirements on the relevant matrices, our theoretical analysis allows the identification of an optimal value for the regularization parameter from the standpoint of stability. We compare with the value derived by cross-validation for overfitting control and optimisation of the generalization performance. We test our method for both regression and classification tasks. The proposed method is quite effective in terms of predictivity, often with some improvement on performance with respect to the reference cases considered. This approach, due to analytical determination of the regularization parameter, dramatically reduces the computational load required by many other techniques.Comment: Published on Neural Network

Apprentissage profond pour l'aide à la détection d'anomalies dans l'industrie 4.0

L’industrie 4.0 (I4.0) correspond à une nouvelle façon de planifier, d’organiser, et d’optimiser les systèmes de production. Par conséquent, l’exploitation croissante de ces systèmes grâce à la présence de nombreux objets connectés, et la transformation digitale offrent de nouvelles opportunités pour rendre les usines intelligentes et faire du smart manufacturing. Cependant, ces technologies se heurtent à de nombre défis. Une façon de leurs d’appréhender consiste à automatiser les processus. Cela permet d’augmenter la disponibilité, la rentabilité, l’efficacité et de l’usine. Cette thèse porte donc sur l’automatisation de l’I4.0 via le développement des outils d’aide à la décision basés sur des modèles d’IA guidés par les données et par la physique. Au-delà des aspects théoriques, la contribution et l’originalité de notre étude consistent à implémenter des modèles hybrides, explicable et généralisables pour la Maintenance Prédictive (PdM). Pour ce motif, nous avons développé deux approches pour expliquer les modèles : En extrayant les connaissances locales et globales des processus d’apprentissage pour mettre en lumière les règles de prise de décision via la technique l’intelligence artificielle explicable (XAI) et en introduisant des connaissances ou des lois physiques pour informer ou guider le modèle. À cette fin, notre étude se concentrera sur trois principaux points : Premièrement, nous présenterons un état de l’art des techniques de détection d’anomalies et de PdM4.0. Nous exploiterons l’analyse bibliométrique pour extraire et analyser des informations pertinentes provenant de la base de données Web of Science. Ces analyses fournissent des lignes directrices utiles pouvant aider les chercheurs et les praticiens à comprendre les principaux défis et les questions scientifiques les plus pertinentes liées à l’IA et la PdM. Deuxièmement, nous avons développé deux Framework qui sont basés sur des réseaux de neurones profonds (DNN). Le premier est formé de deux modules à savoir un DNN et un Deep SHapley Additive exPlanations (DeepSHAP). Le module DNN est utilisé pour résoudre les tâches de classification multi-classes déséquilibrées des états du système hydraulique. Malgré leurs performances, certaines questions subsistent quant à la fiabilité et la transparence des DNNs en tant que modèle à "boîte noire". Pour répondre à cette question, nous avons développé un second module nommé DeepSHAP. Ce dernier montrant l’importance et la contribution de chaque variable dans la prise de décision de l’algorithme. En outre, elle favorise la compréhension du processus et guide les humains à mieux comprendre, interpréter et faire confiance aux modèles d’IA. Le deuxième Framework hybride est connu sous le nom de Physical-Informed Deep Neural Networks (PINN). Ce modèle est utilisé pour prédire les états du processus de soudage par friction malaxage. Le PINN consiste à introduire des connaissances explicites ou des contraintes physiques dans l’algorithme d’apprentissage. Cette contrainte fournit une meilleure connaissance et oblige le modèle à suivre la topologie du processus. Une fois formés, les PINNs peuvent remplacer les simulations numériques qui demandent beaucoup de temps de calcul. En résumé, ce travail ouvre des perspectives nouvelles et prometteuses domaine de l’explicabilité des modèles d’AI appliqués aux problématiques de PdM 4.0. En particulier, l’exploitation de ces Framework contribuent à une connaissance plus précise du système

Caractérisation et modélisation hydrodynamique des karsts par réseaux de neurones. Application à l'hydrosystème du Lez

Improving knowledge of karst hydrodynamics represents a global challenge for water resources because karst aquifers provide approximately 25% of the world population in fresh water. Nevertheless, complexity, anisotropy, heterogeneity, non-linearity and possible non-stationarity of these aquifers make them underexploited objects due to the difficulty to characterize their morphology and hydrodynamics. In this context, the systemic paradigm proposes others methods by studying these hydrosystems through input-output (rainfall-runoff) relations.The approach proposed in this thesis is to use information from field measurement and from systemic analyses to constrain neural network models. The goal is to make these models interpretable in terms of hydrodynamic processes by making model functioning to be similar to natural system in order to obtain a good representation and extract knowledge from model parameters.This work covers the association of information available on the hydrosystem with correlation and spectral analyses to develop a temporal multiresolution decomposition of variables and to constrain neural network models. A new method for variable selection, adapted to represent long term hydrodynamics of the system, has been proposed. These constrained models show very good results and allow, through their parameters, to study the temporal contribution of inputs variables to the output.Modeling nonlinear and non-stationary hydrosystems with neural network has been improved by a novel implementation of data assimilation. More precisely, when non-stationarity is attributed to the catchment, data assimilation is used to modify the model parameters. When the inputs are non-stationary, data assimilation can be used to modify the inputs.The modification of inputs opens considerable scope to: i) fill gaps or homogenizing time series, ii) estimate effective rainfall.Finally, these various analyses and modeling methods, mainly developed on the karst hydrosystem Lez, can improve the knowledge of the rainfall-runoff relationship at different time scales. These methodological tools thus offer perspectives of better management of the aquifer in terms of floods and resources. The advantage of these analyses and modeling tools is that they can be applicable to other systems.La connaissance du fonctionnement hydrodynamique des karsts représente un enjeu planétaire pour la ressource en eau car ils alimentent en eau potable près de 25% de la population mondiale. Néanmoins, la complexité, l’anisotropie, l’hétérogénéité, la non-linéarité et l’éventuelle non-stationnarité de ces aquifères en font des objets encore largement sous-exploités du fait de la difficulté de caractériser leur morphologie et leur fonctionnement hydrodynamique. Dans ce contexte, le paradigme systémique permet d’apporter de nouvelles méthodes en étudiant ces hydrosystèmes au travers de la relation entre leurs signaux d’entrée (pluie) et de sortie (débit).La démarche proposée dans cette thèse consiste à utiliser un maximum d’informations, issues du terrain et des analyses systémiques, pour contraindre les modèles par réseaux de neurones. L’objectif est de les rendre interprétables en termes de processus hydrodynamiques en rapprochant le fonctionnement du modèle à celui du système naturel afin d’obtenir une bonne représentation et d’extraire des connaissances à partir des paramètres du modèle.Ainsi ce travail porte sur l’association des informations disponibles sur l’hydrosystème avec les résultats des analyses corrélatoires et spectrales pour le développement d’une décomposition multirésolution temporelle ainsi que pour contraindre les modèles par réseaux de neurones. Une nouvelle méthode de sélection des variables, plus à même de représenter le fonctionnement hydrodynamique du système à long terme, a ainsi pu être proposée. Ces modèles contrains par l’information présentent de très bons résultats et offrent la possibilité, grâce à leurs paramètres, d’étudier la contribution temporelle des variables d’entrée à l’estimation de la sortie mesurée.La modélisation des hydrosystèmes non-linéaires et non-stationnaires par réseaux de neurones a été enrichie par une implémentation originale de l’assimilation de données qui conduit à l’amélioration des performances. En effet, selon que les non-stationnarités concernent le bassin ou les forçages, l’assimilation a pu être respectivement utilisée pour modifier les paramètres ou les variables d’entrée des modèles.La modification des variables d’entrées ouvre un champ d’application considérable puisque celle-ci peut être utilisée pour i) combler des lacunes ou encore homogénéiser des séries chronologiques, ii) estimer la pluie efficace.Finalement, ces différentes méthodes d’analyse et de modélisation, essentiellement développées sur l’hydrosystème karstique du Lez, permettent d’améliorer la connaissance de la relation pluie-débit à différentes échelles temporelles. Ces outils méthodologiques offrent donc la perspective d’une meilleure gestion de l’aquifère tant en termes de crues que de ressource. L’avantage de ces outils d’analyse et de modélisation est qu’ils peuvent être transposés à d’autres systèmes

Practical complexity control in multilayer perceptrons

International audienceModel selection, i.e. discovering the model which provides the best approximation to an input–output relationship is a key problem of supervised learning. For flexible or non-parametric models, this is often performed via the control of model complexity. This paper is aimed as an introduction to these methods in the context of neural networks; it illustrates and analyzes the effect and behaviour of simple and practical complexity control techniques using an artificial problem. The paper is focused on multilayer perceptrons, which are among the most popular non-linear regression and classification models. It first provides a brief review of model selection and complexity control techniques which have been proposed in the neural network community or adapted from statistics. Simple complexity control methods which have been found well suited for practical applications are then introduced and an experimental analysis which is aimed at illustrating why and how these methods do work is described. The dependency of overfitting on neural networks complexity is analysed, and within the perspective of the bias-variance trade-off, the error evolution and the effects of these techniques is characterized. Different tools for analyzing the effects of complexity control on the behaviour of multilayer perceptrons are then introduced in order to provide complementary insights on the observed behaviour