基于深度学习的故障诊断方法综述

奥鹏网院作业

基于深度学习的故障诊断方法综述
文成林① 吕菲亚*②
①(杭州电子科技大学自动化学院 杭州 310018)
②(安阳师范学院软件学院 安阳 455000)
摘 要：海量高维度的过程测量信息给传统的故障诊断算法带来极大的计算复杂度和建模复杂度，且传统诊断算法存在难以利用高阶量进行在线估计的不足。鉴于深度学习技术强大的数据表示学习和分析能力，基于深度学习的故障诊断引起了工业界和学术界的广泛关注，并促使智能过程控制更加自动化和有效。该文从方法上将基于深度学习的故障诊断技术分为：基于栈式自编码的故障诊断方法、基于深度置信网络的故障诊断方法、基于卷积神经网络的故障诊断方法及基于循环神经网络的故障诊断方法4类，分别进行了回顾和总结，最后从数据预处理、深度网络设计和决策3个层面对这一领域进行展望，提出了“集成创新”、“数据+知识”和“多技术融合”等故障诊断思想，阐明基于深度学习技术进行复杂系统的故障诊断仍具有巨大潜力。
关键词：故障诊断；数据驱动；深度学习；高阶相关性
1 引言
随着信息技术和计算方法的快速发展，现代化大生产系统复杂性越来越高。控制系统的设备复杂化和规模大型化，使得运营调控过程极易发生故障，系统一旦发生故障，若不能及时发现并处理，将造成巨大的经济损失和人员伤亡，即使是微小故障也可能会被放大和传播，进而引发重大的安全事故，如2018年9月17日，德国勃兰登堡级护卫舰由于配电柜故障在波罗的海执行任务时发生火灾；2019年3月21日，江苏省盐城市一家化工企业的化学储罐发生爆炸，事故波及周边16家企业，造成大量人员伤亡等。
近年来，关于动态系统故障检测和异常诊断的基础共性技术研究已引起工业界和学术界的大量关注[1–4]。国家“十二五”科学和技术发展规划将重大工程健康状态的检测、监测以及诊断和处置列为重大科学问题[5]。如果能在工业过程运行的可控范围内及时发现故障，特别是尽早检测出早期、微小故障，进行故障辨识和溯源，将能通过系统补偿等控制手段进行调控，降低异常事件的发生，因而对复杂动态系统进行合理的故障检测与诊断是一个亟待解决的关键技术问题[6]。
关于故障1)本文所讨论的故障实时诊断与预测技术均假定故障可被感知并能被分离，可被感知是指故障在一定程度上影响系统的状态和输出，能被分离是指依据现有信息可以指示故障发生部位和发生机理。，最早的定义是指在一个过程中，观测变量或计算参数对可接受范围的偏离[7]。针对复杂的动态工业体系，现有的故障诊断方法包括解析方法、统计方法和智能方法[8–15]。然而，随着分布式控制系统的广泛应用，以及数据存储、传输和处理等技术的不断发展，面对生产过程和设备运行中的海量状态数据及监控变量，单纯依靠传统的机理分析方法2)机理分析方法指是通过对系统内部原因/机理的分析研究，从而找出其发展变化规律的一种科学研究方法，依赖于因果关系的提取与表征，适用于输入、输出及状态变量较少的系统[6]，包括分析方法和统计方法。已经无法充分提取数据中隐含的故障征兆、因果逻辑等关系；同时面对复杂系统的动态随机性、多源不确定性、高度耦合性以及强干扰等特点，不仅难以建立精确的数学模型，而且难以建立完善/完备的专家知识体系。
在大数据这一时代背景下，伴随而来的是极大的计算复杂度和建模复杂度，数据驱动的智能故障诊断方法更为适用，表现在其对海量、多源、高维数据进行统计分析和信息提取的直接性和有效性[6,12]。该技术以采集到的不同来源、不同类型的监测数据作为基底，利用各种数据挖掘技术获取其中隐含的有用信息，表征系统运行的正常模式以及故障模式，进而达到检测与诊断的目的，可分为信号获取、特征工程3)特征工程指的是把原始数据转变为模型的训练数据的过程，目的是获取更好的训练数据特征，包括特征构建、特征提取、特征选择3个部分。、故障分类3个模块[11]，框架如图1所示。
智能故障诊断方法的性能极大地依赖于所提取的特征质量，包括特征的实时变化、阶段性变化、趋势性变化及故障模式等，即数据的表示学习是智能故障诊断技术的核心。传统的特征表示学习方法存在以下问题[6,11,16,17]：
(1) 需要领域的先验信息、专业知识和深厚的数学基础才能设计出合适的特征提取方法；
(2) 提取的特征多是浅层特征，针对复杂分类问题其泛化能力受到一定制约；
(3) 受限于机械系统的物理特性，组件或故障条件变化均可能显著改变特征提取方法或其评估标准；
(4) 特征提取依赖于原有特征和评估标准，对于新特征的挖掘具有一定局限性。
近年来，受计算能力的增强、大数据的增加及有效算法的发展，深度学习(Deep Learning)技术结合类脑认知机制进行数据处理，打开了传统神经网络在实际应用中的瓶颈4)虽然神经网络可以以任意精度逼近非线性函数[18]，但是面对复杂工业过程的高维、非高斯分布、非线性、时变、多模态等特性，传统的神经网络方法多是从逼近论的角度拟合监测数据并进行特征提取，受限于网络结构训练算法和计算复杂度的影响，通常只是设置2到3个隐层，降低了逼近的精度。[4,18–23]。作为一种新的表示学习工具，深度学习已广泛应用于计算机视觉和自然语言处理领域并取得了巨大成功[24–27]。深度学习采用多隐层网络以逐层学习的方式从输入数据中提取信息，其深层架构允许它通过多级抽象来形成高层表示、属性或类别[19,28]，无监督“逐层贪婪学习”的思想为深度网络结构相关的优化难题带来了新的思路，同时也为基于神经网络的故障诊断技术研究带来了新的方向[12,17,29–32]。
神经网络由于其自学习和自适应的特性，在工业过程异常监控领域取得了较为广泛的研究与应用[33–35]。但是故障样本的完备性、典型性以及算法的收敛性、训练速度和诊断的实时性等制约着基于传统神经网络的故障诊断技术的发展，如何结合深度学习算法设计新的数据驱动的故障诊断方法已成为近年来过程控制领域的研究热点。基于深度学习的故障诊断研究主要分为3种思路[11]：
(1) 信号获取→特征工程→基于深度学习的诊断分类，如图2(a)所示。

图 1 数据驱动的故障诊断框架

图 2 基于深度学习的故障诊断研究思路汇总
采用传统的统计分析、信号分析等方法进行特征提取、选择或者融合，基于提取的特征结合深度学习技术进行故障检测与诊断，如文献[31,32,36]等。该类方法结合传统方法进行数据预处理和特征提取，有利于将专业知识和先验信息应用于整个算法设计中，再结合深度学习技术进行特征分类，有效降低模型复杂度并提高识别率。
(2) 信号获取→基于深度学习的特征工程→诊断分类，如图2(b)所示。
采用深度学习技术进行特征提取，基于提取的高阶特征结合传统的多元统计分析技术进行故障检测与诊断，如文献[37,38]等。该类方法采用多隐层网络进行高阶、抽象、细节化等特征的无监督提取，既不需要人工干涉又不依赖于先验知识，再结合多元统计分析技术有利于控制过程中对系统的可视化监控。
(3) 信号获取→基于深度学习的特征工程与诊断分类，如图2(c)所示。
采用深度学习技术直接对获取的信号进行封装式处理，以达到对故障辨识结果输出的目的，如文献[39–42]等。该类方法属于“端到端(End-to-End)”的模式，直接实现由输入到目标的输出，促使多隐层网络中特征提取和模式分类的参数可以协同优化，采用特征自学习的策略自动发现大型数据集中与目标关联的有效特征。
本文主要从方法论的角度探讨基于深度学习的故障诊断技术，结合深度学习技术的4种基本架构：栈式自编码网络、深度置信网络、卷积神经网络、循环神经网络将其分为基于栈式自编码网络的故障诊断方法、基于深度置信网络的故障诊断方法、基于卷积神经网络的故障诊断方法和基于循环神经网络的故障诊断方法，如图3所示。网络结构不仅决定着特征提取的完备性，而且关系着解决方法的复杂度[6]。本文将分别探究这4类方法的研究现状，并根据基于深度学习的故障诊断技术中的现存问题展望其发展方向。
2 基于深度学习的故障诊断技术研究现状
基于深度学习的故障诊断通过引入更强有力的数学工具解决现有问题[6]，深度网络的建立有助于数据中高阶、抽象信息的挖掘，当对数据中有效特征表示的较为完备时，无论是用于故障分类还是预测回归，都能得到更好结果。
2.1 基于SAE的故障诊断
栈式自编码(Stacked Auto Encoder, SAE)网络是由多个自编码网络堆叠而成的多隐层神经网络，以前一层自编码网络的输出作为后一层自编码网络的输入[43,44]，如图4 所示。

图 3 基于深度学习的故障诊断方法分类

图 4 栈式自编码网络的结构
每个子块—自编码网络，均包含编码和解码两步：编码层将网络输入映射为隐层表示，h=φ(w(1)x+b(1))；解码层将隐层表示还原为原始输入，z =φ(w(2)h+b(2))， x 为原始输入，w (1)为输入与隐层之间的权重，b (1)为 输入层的偏差，φ 为非线性激活函数， h为隐层输出，z 为网络输出，w(2)为 隐层与输出之间的权重，b (2)为隐层的偏差。当输入为N 个样本时，模型参数θ =[w(1),w(2),b(1),b(2)]通过最小化重建误差i ∈[1,N]进行优化。
对于一个网络结构为：输入单元数目 N、隐层数目l、隐层单元数目s =[s1,s2,···,sl]、权重矩阵W =[w(1),w(2),···,w(l+1)] 、 偏 差 矩 阵B =[b(1),b(2),···,b(l+1)]的SAE网络，其编码过程为

解码过程为

代价函数为

其中， λ是权重衰减参数，用于控制两项之间的相对重要性并防止过拟合。
一般情况，故障易发生于高频信息中，对应于随机过程的高阶矩。从泰勒展开的角度，函数在一个点邻域内的值可以用函数在该点的值及各阶导数值组成的无穷级数表示，虽然高阶项的系数偏小，却是区别于背景的细节化特征，正是传统方法难以表征出的抽象特征，对这些信息的表征直接影响着故障检测算法的性能，特别是对于较难检测的微小故障。作为一种多层次的网络结构模型，SAE网络通过多次非线性映射计算出更高阶的特征表示，以更紧凑的方式表达比浅层网络大得多的函数集合[19]。基于SAE网络的故障诊断具有以下的优势：
(1) 工业采集的数据多是1维信号，SAE网络结构简单，适用于工业过程中的信号处理；
(2) 实际应用中数据常具有无标签特性，SAE网络属于自学习机制，适用于无监督训练；
(3) 工业过程数据蕴含信息复杂，SAE网络逐层训练的方法有助于提取样本的高阶非线性特征，并避免了深度网络的误差弥散问题。
工业过程故障主要包括机械设备故障和状态故障。针对复杂感知信号和环境噪声下的机械设备故障，如旋转机械、齿轮箱、滚动轴承等故障，传统故障诊断方法以对采集到的振动信号进行时频域信号分析为主，文献[45]总结了传统的特征提取方法，并基于快速傅里叶变换后的频域特征和小波包特征训练去噪自编码网络，在实验中指出以频域特征作为低层输入获取的深度特征更适用于以支持向量机作为分类器的诊断系统。文献[46]指出栈式去噪自编码网络提取的特征是鲁棒的，并评估了输入的大小、结构的深度以及稀疏性、去噪等约束参数对诊断性能的影响。考虑到频谱反映了数据的频率分布，对旋转机械的健康状况更具辨别力，文献[29]将时间序列的频谱作为SAE网络的输入。针对工况切换和多故障情况下的故障检测，文献[32]采用信号分析技术构建混合特征池作为SAE网络的输入，获取更多的区分信息克服由多裂缝引起的非平稳性。由于自回归模型的参数对状态变化较为敏感，却对非平稳信号的适应性较差，文献[36]利用集成经验模式分解对获取的非平稳瞬态信号进行预处理，基于固有模式函数建立自回归模型，考虑到故障信息主要反映在高频模式中，以前4个模式提取的参数作为网络输入，在简化计算的情况下有效提高了诊断性能。鉴于传统自编码网络对原始输入信号局部特征和移变特征处理的不足，文献[47]提出了基于正则化稀疏自编码的局部连接网络。虽然SAE网络属于特征自学习，但现有方法无法同时结合L1和L2 正则化优点，文献[48]通过数据点的重复利用增加了输入的随机性，结合弹性网激励修改损失函数中的正则化项，使其可以更有效地处理高度相关的变量。当训练数据有限时，文献[49]在自编码网络的隐层上引入“丢弃”技术防止数据过拟合。文献[50]通过在潜空间上施加先验分布构建分类对抗自编码网络，再结合样本与预测类别分布之间的互信息进行无监督聚类，验证了提取特征在嘈杂环境的鲁棒性和跨模态负荷下的域自适应性。对于多模态感知信号，如振动信号和声信号，文献[51]通过耦合两个单模态自编码网络的隐层表示，提出了基于深度耦合自编码网络的故障诊断模型。
鉴于工业过程多模态运行下的状态故障，文献[52]通过引入最大平方差异估计两个分布之间的非参数距离，提出了基于稀疏自编码网络的迁移学习故障诊断框架，适用于测试数据分布不同于训练数据的情况。针对动态工业过程，文献[36,53]以时间序列作为网络输入提高对时间关联信息的利用；文献[53]从函数逼近论角度阐述了SAE网络的结构，并进一步探究了其在故障诊断上的可解释性。特别地，对于生产过程中的微小故障，文献[39]采用稀疏SAE网络限制隐层信息冗余，显著提高了对微小故障的检测性能。为了探究SAE网络对于微小故障的检测能力，文献[38]从多项式泰勒展开的角度解释了自编码网络对高阶相关性特征的表达能力，并结合动态估计方法解决了动态过程中样本的时间最近邻并不一定是其空间最近邻的问题。针对传统的多元统计分析技术难以利用高阶信息的不足，文献[37]对SAE网络提取的隐层特征进行统计分析，实现了基于高阶相关性的多级故障诊断，由于其在训练阶段只使用正常数据，有效避免了数据类别之间的不平衡问题。此外，文献[38]考虑动态过程中在线数据的重要性，提出基于SAE网络的阈值自适应多模态过程监控技术，在一个综合的SAE框架下对模态特征与故障细节进行表示学习，降低了多模态过程模型切换的代价和复杂度。
2.2 基于深度置信网络的故障诊断
受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)由可见层和隐层组成，基于能量函数描述变量之间的高阶相互作用，所谓受限是指二分图中的每条边必须连接1个可见单元和1个隐单元[54–56]。RBM假定在给定输入数据时，各隐单元的激活条件独立，反之，给定隐单元状态时，可见层单元的激活条件独立。当给定模型参数θ =[w,b]时，RBM 的能量函数可以写为

其中， wij 是可见单元v i 与隐单元h j之间的连接权重， I为可见单元总数， S为隐单元总数， b(1)和 b(2)分别表示可见单元和隐藏单元的偏置项。
以RBM作为子块，可构成深度置信网络(Deep Belief Network, DBN)和深度玻尔兹曼机(Deep Boltzmann Machine, DBM)，如图5所示。DBN是由多个RBM和1个输出层(通常为分类层)组合而成的多隐层概率生成模型，通过逐层训练建立观察数据和标签之间的联合分布[57,58]。不同于DBN中隐层的有向/单向连接，DBM是多隐层的玻尔兹曼网络，隐层既传递信息又可以自上而下的进行反馈调节[59,60]。

图 5 基于受限玻尔兹曼机的深度网络结构
Roux和Bengio从理论上证明，只要隐单元的数目足够多，RBM能够拟合任意离散分布[61]。基于DBN/DBM的故障诊断具有以下的优势：
(1) 工业过程具有随机不确定性，样本分布未必服从限制性假设，RBM采用生成学习的方式预测输入样本的概率分布，不需要进行限制性假设；
(2) RBM通过无监督学习将数据表示成概率模型，适用于工业过程小样本情况下的样本生成式扩充；
(3) 工业过程控制多是非结构化过程，DBN通过特征分组创建激活值集合序列，适用于模拟和控制多变量非线性系统。
对于工业过程中的设备故障，文献[31]结合小波包能量特征设计了基于DBN的滚动轴承分层诊断框架，第1层识别故障类型，第2层识别故障的严重性等级，多级诊断有利于克服由噪声或其它干扰引起的重叠问题。振动分析是齿轮箱故障诊断最常用的技术，文献[62]以时域特征作为DBN的输入，结合粒子群优化算法选取最优的网络结构参数获取更好的泛化能力。考虑到多模态同源特征的不同表征，文献[63]结合DBM分别对时间、频率和时频域特征进行表示学习，在决策层上进行融合诊断。对于多模态数据，文献[64]采用两个DBM分别对声信号、振动信号的小波包变换参数进行特征提取，再利用深度随机森林融合技术进行特征集成；文献[65]在DBN的输入层融合多个单传感器的特征；文献[42]采用双隐层稀疏自编码网络对多源信号中的时、频域特征进行融合，基于融合后提取的高阶特征训练DBN。为了改变梯度方向并防止过拟合，文献[66]将高斯随机单元添加到稀疏SAE网络的激活函数中，再结合1层反向传播网络构建DBN提取变压器数据的非线性特征。针对在线样本的重要性，文献[67]采用双树复小波包方法设计原始特征集，构造自适应DBN在提高网络收敛速度的同时提高故障识别的精度；文献[41]利用自编码网络学习低层特征避免了对信号的预处理，结合高斯可见单元设计卷积DBN，采用指数移动平均值改善模型的动态自适应性能。
考虑到过程变化中的状态故障，文献[68]采用Teager-Kaiser能量算子估计瞬时信号的包络等提取数据的统计特性，再结合Gaussian-Bernouli RBM构建DBN用于实值信号的故障分类。文献[69]提出了一种基于可扩展DBN的故障诊断模型，在采用互信息技术进行变量选择的基础上结合两个DBN子网络分别提取空间域和时域中的特征用于故障分类。此外，针对状态监测系统中的剩余使用寿命预测，文献[40]提出了一种增强RBM架构，通过在目标函数中引入正则化项模拟系统退化，并应用无监督自组织映射算法进行特征生成实现基于相似性的寿命预测。针对互相冲突目标函数下的剩余寿命预测，文献[70]通过进化多个DBN兼顾精度和多样性，提出了多目标进化优化分解算法，使用面向任务的目标函数的单目标差分演化算法优化集成模型的组合权重。文献[71]基于DBN从锂离子电池的容量降级中提取特征，并将提取的特征作为相关向量机的输入，集成实现对剩余寿命高精度和良好稳定性的预测。
2.3 基于卷积神经网络的故障诊断
卷积神经网络(Convolutional Neural Networks,CNN)由卷积层、池化层和全连接层3 类常见模块构筑，通常顺序为：输入—卷积层—池化层—卷积层—池化层—···—全连接层—输出，如图6所示。其中，空间卷积核参数共享和池化是CNN的核心[72,73]。卷积层结合多个卷积核对输入数据或上层特征进行特征提取，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量[73]，即

其中， w 为权重，b 为偏差，z t 和z t+1 表示第t +1层的卷积输入和输出，即特征图，z ij对应特征图的像素，为特征图z t+1的尺寸5)假设特征图长宽相同.,K为特征图的通道数，f , s 0 和p 分别对应卷积核大小、卷积步长和填充层数。池化层是对提取特征的选择和信息过滤，旨在根据预设定的池化函数对特定尺度的局部特征进行映射，产生1个约减特定尺寸的特征映射图，如L p池化

其中，p 是预指定参数。

图 6 卷积神经网络的结构
卷积层中卷积核的大小控制着对输入信息中局部空间关联性特征的提取，可在增强原始信号某些特征的同时降低噪声的影响；池化层以相邻区域的特征统计量替换单点值，在减少数据处理量的前提下又保留有效信息。基于CNN的故障诊断具有以下的优势：
(1) 工业过程数据具有多源异构性，CNN的输入可以是时间序列、频谱图、监测图像，适用于多源信息处理；
(2) 工业过程数据多具有强关联性，卷积计算局部连接的方式有利于局部关联信息的学习与表征；
(3) 复杂工业过程常伴随强磁、高温或大噪声的随机干扰，CNN提取的特征具有平移不变性，增加了诊断算法的鲁棒性，提升了泛化能力；
(4) 工业过程中能够表征系统故障的数据往往淹没在海量实时数据中，生成式对抗网络可根据对真实数据概率分布的学习进行样本生成，适用于小样本空间的生成式扩充。
针对工业过程中的振动信号，文献[74]以包含频域信号的均方根、时域信号的标准偏差、偏度、峰度等统计特征的矢量矩阵作为CNN的输入进行评估；文献[75]将傅里叶变换后的频谱图作为 CNN(只有卷积层和全连接层)的输入，利用卷积计算捕获频率分解的协方差进行特征模式的联合学习。不同于振动信号的矢量特性，文献[76]结合相空间重构技术建立频率子空间的小波包能量图，在重建节点局部关系的同时保持测量信号的能量波动，以此作为CNN的输入，联结最后一个卷积层与池化层的输出作为多尺度层的输入有利于保持全局及局部特征；文献[77]采用Morlet小波分解技术获取振动信号的小波尺度图，以此作为CNN的输入并指出ReLU激活函数和“丢弃”技术有助于增强模型的诊断性能。为了增强动态过程诊断模型的自适应能力，文献[78]引入自适应学习率构建由两个CNN组成的层次框架前一个用于学习原始振动数据的特征并识别故障模式，后一个用于评估每个故障模式的大小，自适应学习率调整不仅能够促使算法加速收敛而且可以防止梯度消失。此外，鉴于传统的线性模型无法捕获传感器数据与剩余有效寿命之间的复杂关系，文献[79]以多通道传感器数据的时间序列作为网络输入，结合平均池化实现对剩余有效寿命的有效估计；对工业光学检测中的视觉缺陷检测，文献[80]分析了CNN架构，探究了深度(增加转换层)和宽度方向(数量滤波器的增加)方向的模型配置对检测性能的影响。
当然，1维时间序列也可以直接作为CNN的输入，文献[81]采用1维的核滤波器对心电图信号进行卷积，提取高分辨率特征用于心电图分类和异常检测；文献[82]利用1维CNN进行基于振动的损伤检测和结构损伤定位；文献[83]采用1维CNN进行电机故障的检测，避免了对原始信号做任何形式的转换、特征提取和后处理；文献[84]对比了以原始数据、频谱和时频组合数据作为 CNN输入时的不同性能；文献[85]通过生成对抗网络模拟多个数据流之间的变量相关性，基于潜空间的重建测试样本进行异常检测。
针对小样本问题，文献[86]利用先验知识将正常数据转化为粗故障数据，结合改进的生成对抗网络将粗故障数据提炼为与真实故障更相似的数据；文献[87]利用生成对抗网络生成与原始信号具有相似分布的样本，结合栈式去噪自编码网络进行故障特征提取与样本真实性鉴别，指出算法在小样本情况下具有良好的抗噪能力。现有的研究工作大多假设训练数据和测试数据属于同一分布，文献[88]通过生成具有域自适应性的伪样本解决测试数据与训练数据之间的跨域问题；针对样本类别不均衡问题，文献[89]采用生成对抗网络对故障相关的次要数据进行过采样，在给定条件下实现对感应电机故障的高精度分类。对于故障交叠区域，为了修复中间概率值的“模糊”范围并增强推理的可信度，文献[90]使用组合的生成对抗网络 “锐化”地震图像：特征提取网络用于从不相关的高质量“供体”中提取局部和全局特征；重建网络在保留原数据时、频域信息的情况下构建采样率更密集的高感知度图像，预处理锐化促使预测的故障不再那么模糊、紧凑，更易于编码成离散化的特征程式。
2.4 基于循环神经网络的故障诊断
循环神经网络(Recurrent Neural Network,RNN)是一类以时间序列数据为输入，在序列的演进方向上递归且所有节点按链式连接的网络结构[91,92]。不同于多层感知器，RNN能够在定向循环中建立单元之间的连接，通过隐层上表示数据循环更新的链式法则实现对时间的记忆，实现原始数据整个历史序列到目标矢量的映射，如图7 所示。给定长度为 N的时间序列x =[x1,x2,···,xN], RNN在t时刻的系统状态h t为

其中， f 是非线性可微的转换函数，h t−1是上一个隐层的输出，即t −1时 刻的系统状态，θ =[w,b]是网络参数。随着时间序列的输入， hN便是获取的特征表示。

图 7 循环神经网络的结构
目前常用的RNN主要是长短期记忆网络(Long Short-Term Memory networks, LSTM)和门控循环单元网络(Gated Recurrent Unit networks,GRU)，通过引入门使每个循环单元能够自适应地捕获不同时间尺度的依赖性避免长期依赖性问题[93,94]。相对于RNN对系统状态建立的递归计算，LSTM的3个门控单元在网络内部状态建立了自循环：输入门决定当前时间的输入和前一时间的系统状态对内部状态的更新；遗忘门决定前一个时间内部状态对当前内部状态的更新；输出门决定内部状态对系统状态的更新。鉴于不同门控对学习能力的贡献不同，GRU通过去除贡献小的门控和其对应的权重实现对神经网络结构的简化和学习效率的提升，进化为更新门、复位门2个门控：复位门的功能与LSTM单元的输入门相近，更新门则同时实现遗忘门和输出门的功能。基于RNN的故障诊断具有以下的优势：
(1) RNN以时间序列为输入，且深度取决于输入序列的长度，适用于动态工业过程监控和预测；
(2) RNN具有记忆性且图灵完备，其链式连接的模式有利于工业过程动力非线性特征的提取与表示；
(3) 工业过程控制常具有可变长度和不规则的采样等情况，RNN在学习和测试序列长度不相同时有稳定的表现。
对于工业过程的时序信号，文献[95]集成相关性特征与时频特征形成原始特征集，利用单调性和相关性度量进行特征选择后作为RNN网络的输入，实验验证所提出的基于RNN的健康指标比基于自组织图的方法具有更好的诊断性能；文献[96]提出了一个基于LSTM的编码-解码结构，编码部分将输入序列转换为固定长度的矢量，解码部分使用该矢量产生目标序列，利用重建误差计算健康指数实现对剩余有效寿命的估计。在混合故障和强噪声的情况下，文献[97]探究了基于RNN的3种模型：vanilla RNN, LSTM和GRU在航空发动机故障诊断和剩余寿命预测中的性能，指出LSTM和GRU模型的性能要优于vanilla RNN，但这3种模型的集合并不能提高LSTM的性能。文献[98]借助于RNN中的门控递归单元设计去噪自编码网络，基于前一时段振动值对下一时段进行非线性预测，并根据重构误差进行异常检测，该算法对不同故障模式均具有强泛化能力。文献[99]提出了一种基于典型变量分析和长短期记忆的动态过程监测方法：对状态空间和剩余空间进行典型变量分析，基于异常变化进行故障根源变量辨识，利用LSTM根据故障早期的变化预测后期的演变，甚至进行多步预测。文献[100]将频谱序列作为深度RNN的输入进行鲁棒特征提取，并采用自适应学习率提高构建的深度模型的训练性能。
工业过程数据不仅存在时间关联性，而且在测量空间具有空间依赖性，文献[101]利用系统中多个传感器的可用测量信号的空间和时间依赖性，结合LSTM定量表征故障的演变趋势；文献[102]结合CNN和LSTM建立了卷积双向LSTM，利用CNN从原始数据中提取局部特征，再结合双向LSTM提取时间关联性，最后堆叠一个全连接层和线性回归层用于剩余寿命预测；文献[103]利用生成模型学习多轨道电路信号中的空间和时间依赖性，结合 t分布随机嵌入验证了LSTM对相关依赖性的有效提取。
3 现存问题及展望
随着信息技术和自动化技术的快速发展，对故障检测与诊断算法的需求和要求日益增高，数据驱动的过程控制方法也随之不断地涌现、发展和完善。得益于深度学习算法强大的表示学习能力，智能故障诊断在大数据背景下变得更加自动化和有效。但是，复杂工业过程工艺复杂，一般包括非线性、时间相关性、多模态、多时段、大规模、间歇等特性[104]，导致采集的数据常可能存在如下问题：(1)多传感器测量下样本的特征维数较高，且具有强关联性，如生产过程的数据关联、产品生命周期不同环节的数据之间的关联；(2)海量数据中有价值/有效信息有限，如故障有关的征兆/特征信息有限；(3)采样率不同或者数据随机丢失导致特定时间点上某些传感器的观测值缺失；(4)数据类别不均衡，如极端工况条件下的故障样本数目有限；(5)数据分布不均匀，如不同数据源的数据信息可能存在不一致等。这些问题造成了数据空间和诊断空间的不确定特性，严重限制了深度学习算法的表示学习能力。
面对智能制造过程的不确定性、脆弱性和开放性问题，为了提高系统的安全稳定运行，提升数据驱动下过程控制领域的发展，利用深度学习技术进行复杂系统的故障诊断仍具有巨大的潜力：(1)在复杂过程特性及数据特性的前提下, 提出相应的改进方法提高基于深度学习的故障诊断方法的适用性和准确性；(2)鉴于深度学习“端到端”的黑盒子结构，基于深度学习故障诊断的可视化有待进一步研究；(3)基于深度学习的故障诊断体系化研究尚不完备，包括对于故障诱因的辨识及对未来时刻故障的预测，特别是对于过程运行中尚未发生的故障的诊断。
针对以上实际应用需求，本节从数据预处理、深度网络设计和决策模块进行概括性展望：
(1) 数据获取与预处理端采用“集成创新”的思想；
(a) 大数据的存储与分析：以工业4.0为核心的智能制造，已经成为目前全球制造业发展的方向。伴随增强智能、云计算等技术的发展，如何有效地存储复杂系统的海量工业过程数据，发展和优化数据表示学习方法，成为工业过程控制领域的首要问题。大数据分析的核心是重点解决在有限时间内用现有方法所不能及时处理的问题，不同于一般的商业大数据，工业大数据更强调可见性及价值，即实时的分析处理和视觉化结果展示。智能制造的崛起掀起了对边缘运算架构的需求，可在数据预处理端对优先反馈部分进行分析，实现快速反应和数据量的有效缩减，并结合数据正则化、相对主元分析、Gap度量等技术在不同的层面上突出数据的局部优势。
(b) 小样本问题：在实际应用中，可能由于数据采集困难、样本标注代价高等问题，使得训练样本的规模不大，或者数据量大但有效信息不足，促使小样本问题成为机器学习领域中重要的研究方向之一。无论是零样本问题还是小样本问题，都可以从数据增强的角度，利用流信息、迁移学习、生成式对抗网络等方法解决小样本情况下基于深度网络的诊断框架的设计问题。
(c) 类别不均衡问题：在实际应用中，往往存在训练集与测试集分布不同的情况，甚至数据类别之间可能具有高度偏差，如何解决样本不均衡情况下的故障诊断是难以避免的一个问题。对此，可尝试在数据层面采用欠采样和过采样的方法、在模型层面采用代价敏感学习、不平衡学习等模型进行预处理，应用于现有的基于深度学习的故障诊断研究中。
(2) 深度网络设计端采用“数据+知识”的思想；
(a) 专业知识的应用：深度学习技术虽然极大地促进了故障诊断领域的发展，但专业知识的学习将有助于深度学习模型的设计和优化，如判别特征的表示学习有助于降低深度学习模型的结构大小，针对特定任务的数据正则化处理有利于提高故障检测的性能等。特别地，针对多模态切换的过程，过渡模态的变化规律不明确，模态跨度、过渡率大小等因素均会影响模型的建立，而合理专业知识及先验信息的应用有助于在降低过程监控模型复杂度的同时提升检测性能。
(b) 网络的在线学习：数据驱动的故障诊断目前主要是依赖于历史数据，虽然历史数据蕴含了复杂系统大量的运行机理和规律， 但工业过程是动态的生产过程，在线数据不仅反映了系统当前运行状态中的最新变化，而且包含了生产运行过程的累积关联性，如何快速、精准分析和有效约简在线数据，实现复杂动态系统模型的增量学习、参数的自适应更新是一个挑战性的难点。
(c) 基于多隐层网络的故障诊断可视化与可解释性：鉴于多隐层网络“端到端”的黑盒子结构，目前对深度学习技术的可解释性研究，无论是基于类脑研究的认知，还是基于物理学的启发，尚且没有统一的定论。特别对于深度学习技术在故障诊断中的应用，也仅仅是在验证层面上的分析，缺乏理论上的指导，如果能够可视化多隐层网络学习到的隐层特征，有利于调整潜在的表示缺陷，提升算法的诊断性能。
(3) 决策端采用“信息融合”的思想；
(a) 故障的分级诊断：基于故障的演变过程可分为显著性故障和微小故障，不同故障的模式特性不同，如果能够结合深度网络框架结构设计出多级的诊断框架，将有利于实现对显著故障的实时监测，并有效提升对隐蔽性和随机性较强的微小故障的识别率。此外，不同故障对系统性能造成的影响不同，微小故障也极有可能造成极大的偏离，有待进一步研究如何在决策端结合评估函数的融合、决策规则的融合等，降低误辨率，实现对多变量工业过程的实时、准确的应急调控。
(b) 多技术融合：大型复杂工业系统往往具有动态性、不确定性、脆弱性、开放性和多故障并发性等问题，若只采用单一的故障诊断技术， 就会存在精度低、泛化能力弱等问题， 难以取得满意的诊断效果，可以将多元统计分析、信号处理等技术与深度学习技术相结合进行之差异互补，研究多技术融合的故障诊断方法，有效地提高故障诊断系统的敏感性、鲁棒性和精确性，降低其不确定性，并在进行故障源定位的同时估计故障的严重程度，真正使理论研究与实际的工业工程化应用相结合。
4 结束语
数据驱动的故障诊断作为大数据背景下降低事故风险率行之有效的重要方法，本文对近年来基于深度学习的故障诊断技术进行总结和探讨，划分为：基于栈式自编码网络的故障诊断方法、基于深度置信网络的故障诊断方法、基于卷积神经网络的故障诊断方法以及基于循环神经网络的故障诊断方法，并指出了各类方法的优势。最后指出基于深度学习的故障诊断研究中的现存问题，并从数据预处理、深度网络设计和决策模块3个层面对这一领域进行展望，提出了“集成创新”、“数据+知识”和“信息融合”等故障诊断思想。
深度学习的特征学习优势恰好满足复杂系统故障诊断中对高阶、非线性、自适应特征提取的要求，得益于深度学习强大的特征表示学习能力，智能故障诊断变得更加自动化和有效。基于深度学习的故障诊断技术虽然极大促进了过程控制领域的发展，但为了进一步提高系统的安全稳定运行，提升数据驱动下过程控制领域的发展，仍需要更多更深入的研究。
参 考 文 献
[1]国务院. 国家中长期科学和技术发展规划纲要(2006–2020年)[R]. 北京: 国务院, 2006.China, Outline of the national medium and long term science and technology development program (2006–2020) [R], 2006.
[2]张颖伟, QIN S J. 复杂工业过程的故障诊断[M]. 沈阳: 东北大学出版社, 2007, 10–20.ZHANG Yingwei and QIN S J. Fault Diagnosis of Complex Industrial Processes [M]. Shenyang: Northeastern University Press, 2006, 10–20.
[3]周东华, 胡艳艳. 动态系统的故障诊断技术[J]. 自动化学报,2009, 35(6): 748–758.ZHOU Donghua and Hu Yanyan. Fault diagnosis techniques for dynamic systems[J]. Acta Automatica Sinica, 2009, 35(6): 748–758.
[4]吴斌, 于春梅, 李强. 过程工业故障诊断[M]. 北京: 科学出版社, 2012.WU Bin, YU Chunmei, and LI Qiang. Fault Diagnosis for Process Industry[M]. Beijing: Science Press, 2012.
[5]工业和信息化部. 高端装备制造业“十二五”发展规划[R].北京: 工业和信息化部, 2012.Ministry of Industry and Information Technology. Twelfth Five-year Development Plan of High-end Equipment Manufacturing Industry[R]. 2012.
[6]文成林, 吕菲亚, 包哲静, 等. 基于数据驱动的微小故障诊断方法综述[J]. 自动化学报, 2016, 42(9): 1285–1299. doi:10.16383/j.aas.2016.c160105.WEN Chenlin, LÜ Feiya, BAO Zhejing, et al. A review of data driven-based incipient fault diagnosis[J]. Acta Automatica Sinica, 2016, 42(9): 1285–1299. doi: 10.16383/j.aas.2016.c160105.
[7]HIMMELBLAU D M. Fault Detection and Diagnosis in Chemical and Petrochemical Processes[M]. New York:Elsevier Science Ltd, 1978: 45–70.
[8]GERTLER J. Fault Detection and Diagnosis[M]. London,England: Springer, 2015: 5–10.
[9]张杰, 阳宪惠. 多变量统计过程控制[M]. 北京: 化学工业出版社, 2000: 1–23.ZHANG Jie and YANG Xianhui. Multivariate Statistical Process Control[M]. Beijing: Chemical Industry Press,2000: 1–23.
[10]周东华, 刘洋, 何潇. 闭环系统故障诊断技术综述[J]. 自动化学报, 2013, 39(11): 1933–1943. doi: 10.3724/SP.J.1004.2013.01933.ZHOU Donghua, LIU Yang, and HE Xiao. Review on fault diagnosis techniques for closed-loop systems[J]. Acta Automatica Sinica, 2013, 39(11): 1933–1943. doi:10.3724/SP.J.1004.2013.01933.
[11]LEI Yaguo, JIA Feng, LIN Jing, et al. An intelligent fault diagnosis method using unsupervised feature learning towards mechanical big data[J]. IEEE Transactions on Industrial Electronics, 2016, 63(5): 3137–3147. doi:10.1109/TIE.2016.2519325.
[12]周东华, 李钢, 李元. 数据驱动的工业过程故障诊断技术——基于主元分析与偏最小二乘的方法[M]. 北京: 科学出版社,2011: 1–15.ZHOU Donghua, LI Gang, and LI Yuan. Data-driven Industrial Process Fault Diagnosis Technology [M].Beijing: Science Press, 2011: 1–15.
[13]王福利, 常玉清, 王姝, 等. 多模态复杂工业过程监测及故障诊断[M]. 北京: 科学出版社, 2016: 1–5.WANG Fuli, CHANG Yuqing, WANG Yi, et al.Monitoring and Fault Diagnosis of Multi-mode Complex Industrial Processes[M]. Beijing: Science Press, 2016: 1–5.
[14]YIN Shen, DING S X, XIE Xiaochen, et al. A review on basic data-driven approaches for industrial process monitoring[J]. IEEE Transactions on Industrial Electronics, 2014, 61(11): 6418–6428. doi: 10.1109/TIE.2014.2301773.
[15]YIN Shen, Li Xianwei, Gao Huijun, et al. Data-based techniques focused on modern industry: An overview[J].
IEEE Transactions on Industrial Electronics, 2015, 62(1):657–667. doi: 10.1109/TIE.2014.2308133.
[16]LIU Ruonan, YANG Boyuan, ZIO E, et al. Artificial intelligence for fault diagnosis of rotating machinery: A review[J]. Mechanical Systems and Signal Processing, 2018,108: 33–47. doi: 10.1016/j.ymssp.2018.02.016.
[17]ZHAO Rui, YAN Ruqiang, CHEN Zhenghua, et al. Deep learning and its applications to machine health monitoring[J]. Mechanical Systems and Signal Processing,2019, 115: 213–237. doi: 10.1016/j.ymssp.2018.05.050.
[18]HORNIK K, STINCHCOMBE M, and WHITE H.Multilayer feedforward networks are universal approximators[J]. Neural Networks, 1989, 2(5): 359–366.doi: 10.1016/0893-6080(89)90020-8.
[19]CHANG C H. Deep and shallow architecture of multilayer neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(10): 2477–2486.doi: 10.1109/TNNLS.2014.2387439.
[20]HINTON G E and SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J].Science, 2006, 313(5786): 504–507. doi: 10.1126/science.1127647.
[21]LECUN Y, BENGIO Y, and HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436–444. doi:10.1038/nature14539.
[22]GOODFELLOW I, BENGIO Y, and COURVILLE A.Deep Learning[M]. Cambridge, Massachusetts: MIT Press,2016: 1–50.
[23]SCHMIDHUBER J. Deep learning in neural networks: An overview[J]. Neural Networks, 2015, 61: 85–117. doi:10.1016/j.neunet.2014.09.003.
[24]LEVINE S, PASTOR P, KRIZHEVSKY A, et al. Learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection[J]. The International Journal of Robotics Research, 2018, 37(4/5):421–436. doi: 10.1177/0278364917710318.
[25]KERMANY D S, GOLDBAUM M, CAI Wenjia, et al.Identifying medical diagnoses and treatable diseases by image-based deep learning[J]. Cell, 2018, 172(5):1122–1131. doi: 10.1016/j.cell.2018.02.010.
[26]YOUNG T, HAZARIKA D, PORIA S, et al. Recent trends in deep learning based natural language processing[J].
IEEE Computational Intelligence Magazine, 2018, 13(3):55–75. doi: 10.1109/MCI.2018.2840738.
[27]DENG Li and LIU Yang. Deep Learning in Natural Language Processing[M]. Singapore: Springer, 2018: 1–120.
[28]BENGIO Y, COURVILLE A, and VINCENT P.Representation learning: A review and new perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798–1828. doi: 10.1109/TPAMI.2013.50.
[29]JIA Feng, LEI Yaguo, LIN Jing, et al. Deep neural networks: A promising tool for fault characteristic mining and intelligent diagnosis of rotating machinery with massive data[J]. Mechanical Systems and Signal Processing, 2016, 72/73: 303–315. doi: 10.1016/j.ymssp.2015.10.025.
[30]CHEN Zhiqiang, CHEN Xudong, LI Chuan, et al.Vibration-based gearbox fault diagnosis using deep neural networks[J]. Journal of Vibroengineering, 2017, 19(4):2475–2496. doi: 10.21595/jve.2016.17267.
[31]WANG J, MA Y, ZHANG L, et al. Deep learning for smart manufacturing: Methods and applications[J]. Journal of Manufacturing Systems, 2018, 48: 144–156. doi:10.1016/j.jmsy.2018.01.003.
[32]GAN Meng, WANG Cong, and ZHU Chang’an.Construction of hierarchical diagnosis network based on deep learning and its application in the fault pattern recognition of rolling element bearings[J]. Mechanical Systems and Signal Processing, 2016, 72/73: 92–104. doi:10.1016/j.ymssp.2015.11.014.
[33]SOHAIB M, KIM C H, and KIM J M. A hybrid feature model and deep-learning-based bearing fault diagnosis[J].Sensors, 2017, 17(12): 2876. doi: 10.3390/s17122876.
[34]MCCULLOCH W S and PITTS W. A logical calculus of the ideas immanent in nervous activity[J]. The Bulletin of Mathematical Biophysics, 1943, 5(4): 115–133. doi:10.1007/BF02478259.
[35]WATANABE K, MATSUURA I, ABE M, et al. Incipient fault diagnosis of chemical processes via artificial neural networks[J]. AICHE Journal, 1989, 35(11): 1803–1812. doi:10.1002/aic.690351106.
[36]CHOW M Y, MANGUM P, and THOMAS R J. Incipient fault detection in DC machines using a neural network[C].The 22nd Asilomar Conference on Signals, Systems and Computers, Pacific Grove, USA, 1988: 706–709. doi:10.1109/ACSSC.1988.754641.
[37]QI Yumei, SHEN Changqing, WANG Dong, et al. Stacked sparse autoencoder-based deep network for fault diagnosis of rotating machinery[J]. IEEE Access, 2017, 5:15066–15079. doi: 10.1109/ACCESS.2017.2728010.
[38]LÜ Feiya, WEN Chenglin, LIU Meiqin, et al. Higher-order correlation-based multivariate statistical process monitoring[J]. Journal of Chemometrics, 2018, 32(8):e3033. doi: 10.1002/cem.3033.
[39]LÜ Feiya, WEN Chenglin, and LIU Meiqin.Representation learning based adaptive multimode process monitoring[J]. Chemometrics and Intelligent Laboratory Systems, 2018, 181: 95–104. doi: 10.1016/j.chemolab.2018.07.011.
[40]LÜ Feiya, WEN Chenglin, BAO Zejing, et al. Fault diagnosis based on deep learning[C]. 2016 American Control Conference, Boston, USA 2016: 6851–6856. doi:10.1109/ACC.2016.7526751.
[41]LIAO Linxia, JIN Wenjing, and PAVEL R. Enhanced restricted Boltzmann machine with prognosability regularization for prognostics and health assessment[J].IEEE Transactions on Industrial Electronics, 2016, 63(11):7076–7083. doi: 10.1109/TIE.2016.2586442.
[42]SHAO Haidong, JIANG Hongkai, ZHANG Haizhou, et al.Electric locomotive bearing fault diagnosis using a novel convolutional deep belief network[J]. IEEE Transactions on Industrial Electronics, 2018, 65(3): 2727–2736. doi:10.1109/TIE.2017.2745473.
[43]CHEN Zhuyun and LI Weihua. Multisensor feature fusion for bearing fault diagnosis using sparse autoencoder and deep belief network[J]. IEEE Transactions on Instrumentation and Measurement, 2017, 66(7): 1693–1702.doi: 10.1109/TIM.2017.2669947.
[44]RAINA R, BATTLE A, LEE H, et al. Self-taught learning:Transfer learning from unlabeled data[C]. The 24th International Conference on Machine Learning, Corvalis,USA, 2007: 759–766. doi: 10.1145/1273496.1273592.
[45]VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research, 2010, 11:3371–3408.
[46]THIRUKOVALLURU R, DIXIT S, SEVAKULA R K, et al. Generating feature sets for fault diagnosis using denoising stacked auto-encoder[C]. 2016 IEEE International Conference on Prognostics and Health Management, Ottawa, Canada, 2016: 1–7. doi: 10.1109/ICPHM.2016.7542865.
[47]LU Chen, WANG Zhenya, QIN Weili, et al. Fault diagnosis of rotary machinery components using a stacked denoising autoencoder-based health state identification[J].Signal Processing, 2017, 130: 377–388. doi: 10.1016/j.sigpro.2016.07.028.
[48]JIA Feng, LEI Yaguo, GUO Liang, et al. A neural network constructed by deep learning technique and its application to intelligent fault diagnosis of machines[J].Neurocomputing, 2018, 272: 619–628. doi: 10.1016/j.neucom.2017.07.032.
[49]MENG Zong, ZHAN Xuyang, LI Jing, et al. An enhancement denoising autoencoder for rolling bearing fault diagnosis[J]. Measurement, 2018, 130: 448–454. doi:10.1016/j.measurement.2018.08.010.
[50]SUN Wenjun, SHAO Siyu, ZHAO Rui, et al. A sparse auto-encoder-based deep neural network approach for induction motor faults classification[J]. Measurement, 2016,89: 171–178. doi: 10.1016/j.measurement.2016.04.007.
[51]LIU Han, ZHOU Jianzhong, XU Yanhe, et al.Unsupervised fault diagnosis of rolling bearings using a deep neural network based on generative adversarial networks[J]. Neurocomputing, 2018, 315: 412–424. doi:10.1016/j.neucom.2018.07.034.
[52]MA Meng, SUN Chuang, and CHEN Xuefeng. Deep coupling autoencoder for fault diagnosis with multimodal sensory data[J]. IEEE Transactions on Industrial Informatics, 2018, 14(3): 1137–1145. doi: 10.1109/TII.2018.2793246.
[53]WEN Long, GAO Liang, and LI Xinyu. A new deep transfer learning based on sparse auto-encoder for fault diagnosis[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 49(1): 136–144. doi:10.1109/TSMC.2017.2754287.
[54]LÜ Feiya, WEN Chenglin, LIU Meiqin, et al. Weighted time series fault diagnosis based on a stacked sparse autoencoder[J]. Journal of Chemometrics, 2017, 31(9):e2912. doi: 10.1002/cem.2912.
[55]LÜ F, WEN C, and LIU M. Dynamic reconstruction based representation Learning for multivariable process monitoring[J]. Journal of Process Control, 2019, 81:112–115. doi: 10.1016/j.chemolab.2018.07.011.
[56]HINTON G E and SEJNOWSKI T J. Learning and relearning in Boltzmann machines[J]. Parallel Distributed Processing: Explorations in the Microstructure of Cognition, 1986, 1: 282–317.
[57]NAIR V and HINTON G E. Rectified linear units improve restricted Boltzmann machines[C]. The 27th International Conference on Machine Learning, Haifa, Israel, 2010:807–814.
[58]HINTON G. A Practical Guide to Training Restricted Boltzmann machines[M]. MONTAVON G, ORR G B, and MÜLLER K R. Neural Networks: Tricks of the Trade. 2nd ed. Berlin, Heidelberg: Springer, 2012: 599–619. doi:10.1007/978-3-642-35289-8_32.
[59]MOHAMED A R, DAHL G E, and HINTON G. Acoustic modeling using deep belief networks[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2012, 20(1):14–22. doi: 10.1109/tasl.2011.2109382.
[60]HUANG Wenhao, SONG Guojie, Hong Haikun, et al. Deep architecture for traffic flow prediction: Deep belief networks with multitask learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5): 2191–2201.doi: 10.1109/TITS.2014.2311123.
[61]SALAKHUTDINOV R and HINTON G. Deep Boltzmann machines[C]. The 12th International Conference on Artificial Intelligence and Statistics, Florida, USA, 2009:448–455.
[62]ZHANG Chunyang, CHEN C L P, GAN Min, et al.Predictive deep Boltzmann machine for multiperiod wind speed forecasting[J]. IEEE Transactions on Sustainable Energy, 2015, 6(4): 1416–1425. doi: 10.1109/TSTE.2015.2434387.
[63]LE ROUX N and BENGIO Y. Representational power of restricted Boltzmann machines and deep belief networks[J].Neural Computation, 2008, 20(6): 1631–1649. doi:10.1162/neco.2008.04-07-510.
[64]SHAO Haidong, JIANG Hongkai, ZHANG Xun, et al.Rolling bearing fault diagnosis using an optimization deep belief network[J]. Measurement Science and Technology,2015, 26(11): 115002. doi: 10.1088/0957-0233/26/11/115002.
[65]LI Chuan, SÁNCHEZ R V, ZURITA G, et al. Multimodal deep support vector classification with homologous features and its application to gearbox fault diagnosis[J].Neurocomputing, 2015, 168: 119–127. doi: 10.1016/j.neucom.2015.06.008.
[66]LI Chuan, SÁNCHEZ R V, ZURITA G, et al. Gearbox fault diagnosis based on deep random forest fusion of acoustic and vibratory signals[J]. Mechanical Systems and Signal Processing, 2016, 76–77: 283–293. doi: 10.1016/j.ymssp.2016.02.007.
[67]TAO Jie, LIU Yilun, and YANG Dalian. Bearing fault diagnosis based on deep belief network and multisensor information fusion[J]. Shock and Vibration, 2016, 201:9306205. doi: 10.1155/2016/9306205.
[68]WANG Lukun, ZHAO Xiaoying, PEI Jiangnan, et al.Transformer fault diagnosis using continuous sparse autoencoder[J]. SpringerPlus, 2016, 5: 448. doi:10.1186/s40064-016-2107-7.
[69]SHAO Haidong, JIANG Hongkai, WANG Fuan, et al.Rolling bearing fault diagnosis using adaptive deep belief network with dual-tree complex wavelet packet[J]. ISA Transactions, 2017, 69: 187–201. doi: 10.1016/j.isatra.2017.03.017.
[70]TRAN V T, ALTHOBIANI F, and BALL A. An approach to fault diagnosis of reciprocating compressor valves using Teager-Kaiser energy operator and deep belief networks[J].Expert Systems with Applications, 2014, 41(9): 4113–4122.doi: 10.1016/j.eswa.2013.12.026.
[71]ZHANG Zhanpeng and ZHAO Jinsong. A deep belief network based fault diagnosis model for complex chemical processes[J]. Computers & Chemical Engineering, 2017,107: 395–407. doi: 10.1016/j.compchemeng.2017.02.041.
[72]ZHANG Chong, LIM P, QIN A K, et al. Multiobjective deep belief networks ensemble for remaining useful life estimation in prognostics[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(10): 2306–2318.doi: 10.1109/TNNLS.2016.2582798.
[73]ZHAO Guangquan, ZHANG Guohui, LIU Yuefeng, et al.Lithium-ion battery remaining useful life prediction with deep belief network and relevance vector machine[C]. 2017 IEEE International Conference on Prognostics and Health Management, Dallas, USA, 2017: 7–13. doi: 10.1109/ICPHM.2017.7998298.
[74]RUSSAKOVSKY O, DENG Jia, SU Hao, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211–252. doi:10.1007/s11263-015-0816-y.
[75]GU Jiuxiang, WANG Zhenhua, KUEN J, et al. Recent advances in convolutional neural networks[J]. Pattern Recognition, 2018, 77: 354–377. doi: 10.1016/j.patcog.2017.10.013.
[76]CHEN Zhiqiang, Li Chuan, and SÁNCHEZ R V. Gearbox fault identification and classification with convolutional neural networks[J]. Shock and Vibration, 2015, 2015:390134. doi: 10.1155/2015/390134.
[77]JANSSENS O, SLAVKOVIKJ V, VERVISCH B, et al.Convolutional neural network based fault detection for rotating machinery[J]. Journal of Sound and Vibration,2016, 377: 331–345. doi: 10.1016/j.jsv.2016.05.027.
[78]DING Xiaoxi and HE Qingbo. Energy-fluctuated multiscale feature learning with deep ConvNet for intelligent spindle bearing fault diagnosis[J]. IEEE Transactions on Instrumentation and Measurement, 2017,66(8): 1926–1935. doi: 10.1109/TIM.2017.2674738.
[79]WANG Jinjiang, ZHUANG Junfei, DUAN Lixiang, et al.A multi-scale convolution neural network for featureless fault diagnosis[C]. 2016 International Symposium on Flexible Automation, Cleveland, USA, 2016: 65–70. doi:10.1109/ISFA.2016.7790137.
[80]GUO Xiaojie, CHEN Liang, and SHEN Changqing.Hierarchical adaptive deep convolution neural network and its application to bearing fault diagnosis[J]. Measurement,2016, 93: 490–502. doi: 10.1016/j.measurement.2016.07.054.
[81]BABU G S, ZHAO Peilin, and LI Xiaoli. Deep convolutional neural network based regression approach for estimation of remaining useful life[C]. The 21st International Conference on Database Systems for Advanced Applications, Dallas, USA, 2016: 214–228. doi:10.1007/978-3-319-32025-0_14.
[82]WEIMER D, SCHOLZ-REITER B, and SHPITALNI M.Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection[J].CIRP Annals, 2016, 65(1): 417–420. doi: 10.1016/j.cirp.2016.04.072.
[83]KIRANYAZ S, INCE T, and GABBOUJ M. Real-time patient-specific ECG classification by 1-D convolutional neural networks[J]. IEEE Transactions on Biomedical Engineering, 2016, 63(3): 664–675. doi: 10.1109/TBME.2015.2468589.
[84]ABDELJABER O, AVCI O, KIRANYAZ S, et al. Realtime vibration-based structural damage detection using one-dimensional convolutional neural networks[J]. Journal of Sound and Vibration, 2017, 388: 154–170. doi:10.1016/j.jsv.2016.10.043.
[85]INCE T, KIRANYAZ S, EREN L, et al. Real-time motor fault detection by 1-D convolutional neural networks[J].IEEE Transactions on Industrial Electronics, 2016, 63(11):7067–7075. doi: 10.1109/TIE.2016.2582729.
[86]JING Luyang, ZHAO Ming, LI Pin, et al. A convolutional neural network based feature learning and fault diagnosis method for the condition monitoring of gearbox[J].Measurement, 2017, 111: 1–10. doi: 10.1016/j.measurement.2017.07.017.
[87]LI Dan, CHEN Dacheng, SHI Lei, et al. MAD-GAN:Multivariate anomaly detection for time series data with generative adversarial networks[J]. arXiv preprint arXiv:1901.04997, 2019.
[88]LIU Jinhai, QU Fuming, HONG Xiaowei, et al. A smallsample wind Turbine fault detection method with synthetic fault data using generative adversarial nets[J].IEEE Transactions on Industrial Informatics, 2019, 15(7):3877–3888. doi: 10.1109/TII.2018.2885365.
[89]WANG Zirui, WANG Jun, and WANG Youren. An intelligent diagnosis scheme based on generative adversarial learning deep neural networks and its application to planetary gearbox fault pattern recognition[J]. Neurocomputing, 2018, 310: 213–222. doi:10.1016/j.neucom.2018.05.024.
[90]LI Xiang, ZHANG Wei, and DING Qian. Cross-domain fault diagnosis of rolling element bearings using deep generative neural networks[J]. IEEE Transactions on Industrial Electronics, 2019, 66(7): 5525–5534. doi:10.1109/TIE.2018.2868023.
[91]LEE Y O, JO J, and HWANG J. Application of deep neural network and generative adversarial network to industrial maintenance: A case study of induction motor fault detection[C]. 2017 IEEE International Conference on Big Data, Boston, USA, 2017: 3248–3253. doi: 10.1109/BigData.2017.8258307.
[92]LU Ping, MORRIS M, BRAZELL S, et al. Using generative adversarial networks to improve deep-learning fault interpretation networks[J]. The Leading Edge, 2018,37(8): 578–583. doi: 10.1190/tle37080578.1.
[93]GILES C L, MILLER C B, CHEN D, et al. Learning and extracting finite state automata with second-order recurrent neural Networks[J]. Neural Computation, 1992,4(3): 393–405. doi: 10.1162/neco.1992.4.3.393.
[94]FUNAHASHI K I and NAKAMURA Y. Approximation of dynamical systems by continuous time recurrent neural networks[J]. Neural Networks, 1993, 6(6): 801–806. doi:10.1016/S0893-6080(05)80125-X.
[95]SAK H, SENIOR A, and BEAUFAYS F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]. The 15th Annual Conference of the International Speech Communication Association,Singapore, 2014: 338–342.
[96]CHUNG J, GULCEHRE C, CHO K, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[J]. arXiv preprint arXiv:1412.3555, 2014.
[97]GUO Liang, LI Naipeng, JIA Feng, et al. A recurrent neural network based health indicator for remaining useful life prediction of bearings[J]. Neurocomputing, 2017, 240:98–109. doi: 10.1016/j.neucom.2017.02.045.
[98]MALHOTRA P, TV V, RAMAKRISHNAN A, et al.Multi-sensor prognostics using an unsupervised health index based on LSTM encoder-decoder[C]. The 1st ACM SIGKDD Workshop on Machine Learning for Prognostics and Health Management, San Francisco, USA, 2016.
[99]YUAN Mei, WU Yuting, and LIN Li. Fault diagnosis and remaining useful life estimation of aero engine using LSTM neural network[C]. 2016 IEEE International Conference on Aircraft Utility Systems, Beijing, China, 2016: 135–140.doi: 10.1109/AUS.2016.7748035.
[100]LIU Han, ZHOU Jianzhong, ZHENG Yang, et al. Fault diagnosis of rolling bearings with recurrent neural networkbased autoencoders[J]. ISA Transactions, 2018, 77:167–178. doi: 10.1016/j.isatra.2018.04.005.
[101]LI Xiaochuan, DUAN Fang, LOUKOPOULOS P, et al.Canonical variable analysis and long short-term memory for fault diagnosis and performance estimation of a centrifugal compressor[J]. Control Engineering Practice,2018, 72: 177–191. doi: 10.1016/j.conengprac.2017.12.006.
[102]JIANG Hongkai, LI Xingqiu, SHAO Haidong, et al.Intelligent fault diagnosis of rolling bearings using an improved deep recurrent neural network[J]. Measurement Science and Technology, 2018, 29(6): 065107. doi:10.1088/1361-6501/aab945.
[103]YANG Rui, HUANG Mengjie, LU Qidong, et al. Rotating machinery fault diagnosis using long-short-term memory recurrent neural network[J]. IFAC-PapersOnLine, 2018,51(24): 228–232. doi: 10.1016/j.ifacol.2018.09.582.
[104]ZHAO Rui, YAN Ruqiang, WANG Jinjiang, et al.Learning to monitor machine health with convolutional bidirectional LSTM networks[J]. Sensors, 2017, 17(2): 273.doi: 10.3390/s17020273.
Review on Deep Learning Based Fault Diagnosis
WEN Chenglin① LÜ Feiya②
①(Institute of Automation, School of Automation, Hangzhou Dianzi University, Hangzhou 310018, China)
②(School of Software Engineering, Anyang Normal University, Anyang 455000, China)
Abstract: The massive high-dimensional measurements accumulated by distributed control systems bring great computational and modeling complexity to the traditional fault diagnosis algorithms, which fail to take advantage of the higher-order information for online estimation. In view of its powerful ability of representation learning, deep learning based fault diagnosis is extensively studied, both in academia and in industry, making intelligent process control more automated and effective. In this paper, deep learning based fault diagnosis is reviewed and summarized as four parts, i.e., stacked auto-encoder based fault diagnosis, deep belief network based fault diagnosis, convolutional neural network based fault diagnosis, and recurrent neural network based fault diagnosis. Furthermore, some necessity and potential trends, "integrated innovation","data + knowledge" and "information fusion", are discussed from the view of data preprocessing, network design and decision.
Key words: Fault diagnosis; Data driven; Deep learning; Higher-order correlation
中图分类号：TP274
文献标识码：A
文章编号：1009-5896(2020)01-0234-15
DOI: 10.11999/JEIT190715
收稿日期：2019-09-17；改回日期：2019-12-02；网络出版：2019-12-10
*通信作者： 吕菲亚 lvfeiya0215@126.com
基金项目：国家自然科学基金(U1509203, 61751304, 61573137,61673160)，浙江省重点项目(LZ16F030002)
Foundation Items: The National Natural Science Foundation of China (U1509203, 61751304, 61573137, 61673160), Zhejiang Provincial Foundation (LZ16F030002)
文成林：男，1963年生，教授，主要研究方向为故障诊断，多目标跟踪，信息融合等.
吕菲亚：女，1991年生，博士，讲师，主要研究方向为故障诊断，机器学习，信息融合等.