A Multimodal Feature Fusion-Based Deep Learning Method for Online Fault Diagnosis of Rotating Machinery

Rotating machinery usually suffers from a type of fault, where the fault feature extracted in the frequency domain is significant, while the fault feature extracted in the time domain is insignificant. For this type of fault, a deep learning-based fault diagnosis method developed in the frequency domain can reach high accuracy performance without real-time performance, whereas a deep learning-based fault diagnosis method developed in the time domain obtains real-time diagnosis with lower diagnosis accuracy. In this paper, a multimodal feature fusion-based deep learning method for accurate and real-time online diagnosis of rotating machinery is proposed. The proposed method can directly extract the potential frequency of abnormal features involved in the time domain data. Firstly, multimodal features corresponding to the original data, the slope data, and the curvature data are firstly extracted by three separate deep neural networks. Then, a multimodal feature fusion is developed to obtain a new fused feature that can characterize the potential frequency feature involved in the time domain data. Lastly, the fused new feature is used as the input of the Softmax classifier to achieve a real-time online diagnosis result from the frequency-type fault data. A simulation experiment and a case study of the bearing fault diagnosis confirm the high efficiency of the method proposed in this paper

A Multimodal Feature Fusion-Based Deep Learning Method for Online Fault Diagnosis of Rotating Machinery

Rotating machinery usually suffers from a type of fault, where the fault feature extracted in the frequency domain is significant, while the fault feature extracted in the time domain is insignificant. For this type of fault, a deep learning-based fault diagnosis method developed in the frequency domain can reach high accuracy performance without real-time performance, whereas a deep learning-based fault diagnosis method developed in the time domain obtains real-time diagnosis with lower diagnosis accuracy. In this paper, a multimodal feature fusion-based deep learning method for accurate and real-time online diagnosis of rotating machinery is proposed. The proposed method can directly extract the potential frequency of abnormal features involved in the time domain data. Firstly, multimodal features corresponding to the original data, the slope data, and the curvature data are firstly extracted by three separate deep neural networks. Then, a multimodal feature fusion is developed to obtain a new fused feature that can characterize the potential frequency feature involved in the time domain data. Lastly, the fused new feature is used as the input of the Softmax classifier to achieve a real-time online diagnosis result from the frequency-type fault data. A simulation experiment and a case study of the bearing fault diagnosis confirm the high efficiency of the method proposed in this paper

Apprentissage profond multimodal appliqué à l'usinage

Les techniques axées sur les données ont offert à la technologie de fabrication intelligente des opportunités sans précédent pour assurer la transition vers une productivité basée sur l'industrie 4.0. L'apprentissage automatique et l'apprentissage profond occupent une place cruciale dans le développement de systèmes intelligents pour l'analyse descriptive, diagnostique et prédictive des machines-outils et la surveillance d’état des systèmes de fabrication industrielle. De nombreuses techniques d'apprentissage profond ont été testées sur les problèmes de surveillance d’état des machines-outils, de la détection du broutement, du diagnostic de défauts, de la sélection optimale des paramètres de coupe, etc. Une étude bibliométrique est proposée pour à retracer les techniques de détection du broutement, depuis les méthodes de traitement du signal temps-fréquence, la décomposition jusqu'à la combinaison avec des modèles d'apprentissage automatique ou d'apprentissage profond. Une analyse cartographique a été réalisée afin d’identifier les limites de ces différentes techniques et de proposer des axes de recherche pour détecter le broutement dans les processus d'usinage. Les données ont été collectées à partir du web of science (WoS 2022) en exploitant des requêtes particulières sur la détection du broutement. La plupart des documents recueillis présentent la détection du broutement à l'aide de techniques de transformation ou de décomposition. Ce travail a permis de détecter les articles les plus significatifs, les auteurs les plus cités, la collaboration entre auteurs, les pays, continents et revues les plus productifs, le partenariat entre pays, les mots-clés des auteurs et les tendances de la recherche sur la détection du broutement. Cette thèse à pour objective de proposer dans un premier temps, une méthode de prédiction du choix des paramètres de coupe en exploitant l’apprentissage profond multimodal. L'apprentissage profond multimodal a été utilisé pour associer un choix de conditions de coupe (outil, vitesse de coupe, profondeur de coupe et vitesse d'avance par dents) avec un état de surface, en considérant la rugosité arithmétique moyenne (Ra) et une photo de la pièce. Nous avons construit un modèle de fusion multimodale tardive avec deux réseaux de neurones profonds, un réseau de neurones convolutif (CNN) pour traiter les données images et un réseau de neurones récurrent avec des couches de mémoire à long terme (LSTM) pour les données numériques. Cette méthode permet d’intégrer les informations provenant de deux modalités (fusion multimodale) afin à terme d'assurer la qualité de surface dans les processus d'usinage. Les difficultés rencontrées lors de l’élaboration de cette méthode nous ont orientés vers une approche unimodale pour détecter le broutement d’usinage. Par la suite nous présentons une approche basée sur des compétences mécaniques pour d’abord identifier les traitements optimaux des signaux puis l'apprentissage profond (apprentissage par transfert) pour détecter automatiquement le phénomène de broutement en usinage. Ce travail a mis l’accent sur l’utilisation de données collectées dans les conditions industrielles contrairement à la majorité des travaux basés sur les données qui utilisent les données laboratoire. Cette méthode arrive à avoir de bonnes performances malgré le fait qu’elle ne donne aucune indication au réseau de neurones sur l'amplitude du signal, la vitesse de rotation