Multi-Source Data Anomaly Detection Method and Application Research

Abstract

异常检测是从现有数据集中找到与预期模式不一致的对象或事件。作为数据挖掘的一个重要应用，异常检测旨在预判和检测生产系统中的异常事件，维护系统的正常运行。异常检测在工业自动化、金融欺诈、网络安全以及社会突发事件检测等领域有着广泛的应用。近年来，随着传感技术、数据预处理技术、物联网等技术的发展和应用，异常检测应用场景越来越多样化，如智能化工园区、智能家居系统、自动化生产线，收集到的数据种类越来越多、数据结构越来越复杂。现阶段应用系统的数据存在如下几个显著特点：数据维度高、系统状态不稳定、多数据源。基于上述数据特点，本文针对离散数据、时序数据、视频数据等多种常见数据类型，基于传统与深度学习结合的机器学习方法，对多源数据的异常检测及应用展开研究。本文的主要研究内容及成果包括以下几个方面：（1） 基于l_2,0范数约束的高维数据异常检测。本文采用基于稀疏重构的异常检测模型解决高维数据的异常检测问题。现有基于稀疏重构的异常检测模型，采用l_2,1范数约束实现字典选择、样本重构及异常检测。但是基于l_2,1范数约束的字典选择存在字典尺度控制难、字典内部信息易丢失的问题。针对上述问题，本文提出了基于l_2,0范数约束的高维数据异常检测模型。首先利用堆叠自动编码器（Stacked Autoencoder）对原始高维数据进行降维，再基于l_2,0范数约束进行字典选择及样本稀疏重构，最后将稀疏重构误差作为样本异常程度的评估指标。本文在大量真实数据及合成数据集上进行了对比实验，实验结果验证了基于l_2,0范数约束的字典选择模型可以准确控制字典尺度，且基于l_2,0范数约束的高维数据异常检测结果优于现有主流模型。（2）基于注意力机制引导的视频异常目标检测。如何根据工业场景的监控视频有效检测出异常目标是工业机器人系统的重要应用问题。工业机器人应用场景中，机器人工作空间固定，移动物体易与机器人发生碰撞，因此本文将该场景中的移动物体定义为异常目标。为防止机器人在运行状态下与移动目标发生碰撞，本章利用高质量的成像设备收集场景中的视频信息，并采用光流估计模型计算视频相邻帧中对应像素的相对位移，实现移动目标的实时检测。但是，大多数现有光流估计模型仅基于相邻帧的信息估计像素的相对位移，忽略了视频数据的时序性且不考虑像素的语义信息，导致光流估计结果中移动目标的上下文信息及目标整体性缺失。针对以上问题，本文提出了基于注意力机制引导的光流估计模型。该模型由前景目标估计子网络及光流估子网络构成。前景目标估计子网络估计移动目标的空间位置信息，并用前景目标估计结果强化光流估计子网络中异常目标的特征表达。实验结果表明，提出的基于注意力机制引导的光流估计模型可以用较小的模型获得准确的光流估计结果。基于上述模型，基于Kinect2.0采集的固定场景图像及深度信息，本文实现了固定场景中移动目标的实时三维点云重建。（3）基于随机置换的时序数据异常检测模型。现有工业时序数据异常检测为保证异常检测的快速性，多采用传统的异常检测方法对时序数据进行异常检测。在真实工业场景中，由于工业进程精准控制难，系统易发生状态随机切换。传统的异常检测方法在时序数据出现新的稳定状态时缺乏该状态的先验信息，易将该状态误识别为异常样本点。针对这一问题，本文提出了基于随机置换的时序数据异常检测方法。首先，将数据进行多次随机置换，降低数据的时序依赖。然后，在每一次随机置换的数据上采用滑窗处理计算测试样本的全局差异性。最终，将多次随机置换后获得的全局差异性的均值作为样本异常程度评价指标。本文提出的模型在真实工业时序数据及合成时序数据上进行了对比实验。实验结果验证了本文提出的基于随机置换的时序数据异常检测模型可以实现时序数据中异常样本的有效检测。（4）基于深度编码器的多源数据快速异常检测。随着数据预处理、物联网技术的发展及推广应用，同一系统可以用多传感器获得的大规模多源异构数据对同一系统进行描述。多源数据可以表示为多视图数据，其中单一视图用于表示一个数据源获得的信息。因为多源异构数据用于描述同一个系统，因此多视图数据存在潜在的一致性分布，同时不同视图数据也存在差异性分布表示不同数据源的差异。为了快速有效实现大规模多源异构数据的异常检测，本文提出了基于深度编码器的多源异构数据快速异常检测模型。本文将多视图数据映射到多模态共享空间，将多视图数据分解表示为多模态共享矩阵、多模态差异性矩阵以及单视图数据重构误差矩阵。其中多模态的差异性矩阵作为视图间的异常程度的评估指标，单视图数据重构误差作为单视图内数据异常程度的评估指标。提出的模型综合视图间及单视图的异常程度，实现异常数据的检测。本文提出的模型在常规多视图数据集、大规模多视图数据集上进行了对比实验。实验结果验证了提出的模型受数据规模、视图数目影响小，其异常检测结果优于现有多视图异常检测模型