本日学术分享为2020年中国科学院大学的科研人员合作发表于IEEE IEEE Transactions on Industrial Informatics的研究工作。

论文题目： A Deep Nonnegative Matrix Factorization Approach via Autoencoder for Nonlinear Fault Detection

论文作者：Zelin Ren, Wensheng Zhang, Zhizhong Zhang

论文来源：《IEEE Transactions on Industrial Informatics》，IF：12.3，中科院JCR分区1区TOP期刊，DOI：10.1109/TII.2019.2951011

这篇文章主要考虑了故障检测的潜在复杂性，提出了一种基于非负矩阵分解（NMF）的非线性方法。在自动编码器的推动下，本文首先利用输入数据来学习适当的非线性映射函数，将原始空间转换为高维特征空间。然后，根据NMF的分解规律，将学习到的特征空间划分为两个子空间，并在这些子空间中适当设计两个统计量进行非线性故障检测。所建立的方法，即深度非负矩阵分解（DNMF），由编码器模块、NMF模块和解码器模块三部分实现。与传统使用隐式和预定核的基于NMF的非线性方法不同，DNMF提供了一种新的非线性方案，通过深度自编码器框架应用于NMF，并自动实现输入数据的非线性映射。此外，DNMF突破了非负输入的限制，极大地扩展了NMF的应用范围。采用田纳西州伊士曼工艺作为工业基准，验证了所提方法的有效性。（ 对于自编码器或者非负矩阵分解的研究，此篇论文具有借鉴性，推荐有需要的同学进行精读学习 ）

02

文献背景

近年来，随着工业体系的快速发展，现代工业正朝着大规模、复杂的方向发展。为了确保安全可靠的运行，工业过程监控和故障检测是高度需要的，最近得到了广泛的研究。由于工业系统的复杂性，实现基于模型的方法很困难，甚至不可能。大数据时代，存储容量越来越大，算力不断提高。仅基于传感器测量数据的数据驱动方法已受到广泛关注。多变量统计过程监测（ MSPM ）作为一类数据驱动方法已被广泛研究并成功应用于实际工业系统的过程监测。 (Ding 对数据驱动的故障诊断方法进行了全面总结，并详细描述了几种经典的 MSPM 技术，如主成分分析（ PCA ）、偏最小二乘法和典型变量分析 ) 。上述方法属于线性方法 ; 一些非线性算法被提出并得到有效应用。

在众多数据驱动方法中，非负矩阵分解（NMF）是一种经典且实用的降维方法，最初由Paatero和Tapper开发。NMF旨在通过局部系统特征的非负组合来获得整体系统特性。最近，它受到了很多关注。它可以捕获数据的全局结构信息，比图像分类的局部信息更健壮。基于NMF的方法具有较强的特征提取能力，在MSPM框架下已成功应用于过程监控和故障检测。然而，传统的NMF方法存在一些局限性。作为线性的，它很难应用于实际的非线性情况。它允许基数据之间的高阶依赖关系。对于KNMF，其基矩阵是通过核函数映射输入数据获得的高维特征的线性组合。利用核函数开发非线性改进的NMF方法已成为非线性故障检测的趋势。但是，内核函数的形式需要预先确定，其参数很难选择。这些缺点给这些内核方法的应用带来了瓶颈。(为了解决这个问题，一些研究人员考虑通过使用神经网络方法代替核方法来实现线性方法的非线性变换，例如一类神经网络)NMF的另一个主要限制是它需要非负输入数据，而某些传感器测量数据可能无法满足此要求，例如温度，压力等。此外，提出了广义NMF来缓解原始数据的非负限制。然而，上述解决NMF非负输入的方法是线性的，可能不适用于复杂的非线性过程。即使非线性化，它们也需要采用核方法。因此，共同克服NMF的两大局限性在研究中是不够的，开发非负非线性NMF挑战性。

如今，深度自编码器（AE）作为一种流行的深度学习技术，被广泛应用于图像处理、自然语言处理和相关领域。由于深度AE精通非线性过程的特征提取和分类，因此已成功应用于故障检测领域。然而，这些方法中的大多数在两种情况下无法处理故障检测：1）当系统具有未知类型的故障时和/或2）当无法获得故障数据时。因此，采用MSPM框架，在故障检测中引入了改进的AEs方法和相应的设计统计量，如收缩AE、去噪AE和变分AE。这些方法具有良好的检测效果，但其目的不是改进基于多元统计分析的现有方法。

这篇文章的主要贡献总结如下1) 提出了一种数据驱动的非线性工业系统故障检测方法。提出的DNMF使用深度AE框架为NMF提供了新的解决方案。2) DNMF可以利用工业数据自动学习适当的非线性映射函数，这是通过可学习的网络结构实现的，这与内核功能隐含且需要预先确定参数的核方法不同。3) DNMF中提出的非线性框架具有很强的泛化性和很大的灵活性，可以推广到MSPM的其他线性方法。4) 尽管DNMF是一种基于NMF的方法，但它不需要输入数据来满足非负条件，从而大大扩展了应用范围。

03

研究方法

所提出的DNMF是一种利用DCAE实现的新型NMF非线性方法。图1显示了整个网络结构，大致由三个模块组成：编码器模块、NMF模块和解码器模块。编码器和解码器模块主要实现原始空间的非线性变换，而NMF模块则是实现网络中NMF的功能。

DNMF投影原始数据进入高维特征空间F获取向量通过使用非线性映射函数，得到

由CNN组成的编码器网络实现。在此CNN中，最后一个卷积层的输出特征图被展平为向量。由于NMF模块要 求输入为非负数，因此可以通过激活函数整流线性单元（ReLU）激活获得的矢量

ReLU可以保证特征的所有元素都是非负的。由此，得到的高维特征向量从输入数据投影是非负的，可以是 NMF 模块的输入。编码器网络结构后，可以从输入数据中自动学习映射函数。通过这种方式，编码器根据需要实现非线性操作。

两个矩阵W和H的NMF通过梯度下降法以交替迭代方式求解。在这里，神经网络还执行梯度下降法，通过反向传播收敛到局部优解。因此，构建神经网络来实现NMF算法是合适的。因此，该模块的输出是重建的值与的损失函数约束下损失1，定义为

通过这种方式，NMF 模块实现了NMF算法

解码器的目标是重新映射回到原始输入空间，其中输入数据x将在损失函数约束中重建损失2

解码器网络结构与编码器网络结构几乎对称，因此可以将其视为编码器的逆过程，有效地实现了无监督学习。通过上面对DNMF框架的分析，整个网络的损失函数可以表示为：

得益于DNMF精心设计的网络结构，非线性框架可以进一步转移到MSPM的其他线性方法中。更具体地说，首先将线性方法（例如，PCA和局部保持投影（LPP）转换为可训练模块，该模块基于其相应的优化问题。然后，将NMF模块替换为设计的模块，并将其与编码器和解码器模块组合在一起。最后，结合设计整个网络的损失函数损失1,损失2，以及与线性方法相关的损失。（这里仅仅介绍了主要的算法，有想做数据分析方向的可下载文章，详细学习其优化算法）

04

实验验证

TE工艺是美国田纳西州公司首先开发的工业过程的真实模拟基准。它已广泛应用于各种控制和过程监控方法的模拟和验证。TE工艺的结构流程图如图2所示。由于TE过程没有可用的数学模型，因此使用传感器测量的数据设计了故障检测方法。这个过程中的变量由两个变量块组成：一个是XMV块，包含11个操纵变量，另一个是XMEAS块，它包含41个测量变量，包括22个过程变量和19个分析变量。在此模拟中，选择22个过程变量[XMEAS（1-22）]和11个操纵变量[XMV（1-11）]作为输入数据变量，其中我们删除了分析变量。此外，基准测试的更多信息可以参考，MATLAB代码可以从在线下载。

通过对上述三个故障的详细分析，PNMF的性能甚至比其线性版本的NMF还要差，而另一种内核方法KNMF具有更好的检测能力。内核的选择似乎在性能中起着关键作用。DNMF作为一种新提出的故障检测算法，比线性方法和核方法具有更令人满意的故障检测能力，主要是因为它能够自动学习适当的非线性映射函数。

从另一个角度来看，故障检测任务可以看作是一个特殊的二元分类问题。从以上三个故障的图结果来看，我们的方法在正常数据和故障数据之间的分类裕度大于其他方法;这表明我们的方法比其他方法具有更高的分类精度。

总结

在本文中，在这篇文中，提出了一种新型的改进非线性NMF方法DNMF。首先采用深度神经网络自动查找当前输入系统数据的非线性映射函数。然后，将原始输入数据投影到非负高维特征空间中。NMF算法是由神经网络实现的。同时，将特征空间划分为FS和RS，并设计了两个监控统计量，H2和SPE。此外，还使用KDE方法来确定它们的阈值。最后，将所提方法用于TE过程中的故障检测，并验证了其有效性。（提出的方法主要是提出一个基于神经网络的非线性NMF框架。通过简单的修改，它可以进一步推广到MSPM的其他线性方法）