论文部分内容阅读
摘 要：针对噪声干扰下的Hammerstein非线性动态系统，提出一种基于神经网络的Hammerstein OE（Hammerstein Output Error）非线性系统参数估计方法。在该系统中，利用BP神经网络和自回归模型分别建立静态非线性模块和动态线性模块，并提出两阶段参数估计方法：第一阶段，利用辅助模型递推最小二乘方法估计动态线性模块的参数，解决了系统中间变量不可测问题;第二阶段，为了改善参数学习收敛率，利用含有动量项的随机梯度下降方法估计BP神经网络的权值。仿真结果表明，提出的方法能够有效估计Hammerstein OE非线性系统参数。
关键词：Hammerstein非线性系统;BP神经网络;辅助模型;参数估计
中图分类号：TP273 文献标识码：A 文章编号：2095-7394（2021）04-0025-07
在非线性系统辨识和自动控制领域，块结构模型是当前的研究热点。按串联模块的连接形式，块结构模型可分为：Hammerstein系统、Wiener系统、Hammerstein-Wiener系统和Wiener-Hammerstein系统。在这些系统中，Hammerstein非线性系统由静态非线性模块和动态线性模块串联而成，是一类典型的非线性系统。研究表明，该系统能够有效地描述大多数非线性特性，适合作为过程模型使用[1-9]，因此，得到了广泛认可和关注。近年来，国内外学者提出了多种Hammerstein非线性系统的辨识方法，主要包括：子空间方法[10-11] 、过参数化方法[12-13]、迭代方法[14-15]、盲辨识方法[16]以及多信号源方法[17-18]等。
在非线性系统的建模研究领域中，神经网络模型能够较好地反映对象的动态特性和复杂的非线性映射关系，具有较强的自学习能力和非线性处理能力;因此，近年来，神经网络模型已成功应用于Hammerstein非线性系统的建模和辨识研究中。但在实际工业生产过程中普遍存在噪声，噪声对系统的相关性能会造成影响;因此，研究噪声干扰下的Hammerstein非线性系统具有重要意义。JANCZAK [19]利用多层神经网络逼近Hammerstein模型的静态非线性，研究了白噪声干扰下Hammerstein模型神经网络辨识方法。WU[20]研究了有色噪声下Hammerstein非线性动态系统的神经网络辨识：首先，将Hammerstein模型的辨识问题转化为神经网络的训练问题;然后，采用误差反向传播算法求解。然而，上述参数估计方法虽然取得了较好的辨识结果，但在辨识的系统中包含了参数的乘积项，需要通过分解技术将各模块的未知参数分离出来，因而增加了辨识的复杂度。针对上述辨识方法中存在的问题，本文提出了一种基于神经网络的Hammerstein OE非线性系统参数估计方法，从而能够有效估计Hammerstein OE非线性系统的参数。
1 问题描述
考虑单输入单输出Hammerstein OE非线性系统，其结构如图1所示。
Hammerstein OE非线性系统的数学表达式为：
基于给定的阈值[ε]建立Hammerstein OE非线性系统，就是要求解满足如下条件的参数：
本文采用的BP神经网络拟合静态非线性模块，其结构如图1中的[N?]所示。BP神经网络的输出可以通过下式表示：
2 BP神经网络Hammerstein OE非线性系统参数估计
前期研究表明，如果系统的输入为二进制信号[uk]，则相应的中间变量[vk]为与[uk]同频率不同幅值的二进制信号[21]。在此基础上，本文利用二进制信号和随机信号的组合信号源，研究Hammerstein OE非线性系统的非线性模块和线性模块参数估计的分离。
2.1 动态线性模块的参数估计
根据上述分析，基于二进制信号的输入输出数据，利用辅助模型最小二乘方法估計动态线性模块的参数。由图1可以得到：
在式（5）中，由于信息向量[φk]中含有未知变量[xk]，因此，不能利用最小二乘方法求解参数。为解决这一问题，借助辅助模型辨识思想[22]，定义[φak]和[θak]分别是[k]时刻辅助模型的信息向量和参数向量。由此，定义下列辅助模型表达式：
2.2 静态非线性模块的参数估计
在本节中，利用随机信号的输入输出数据估计静态非线性模块的参数，也就是BP神经网络的权值[w1j]和[w2j]。为了改善参数学习收敛率，利用含有动量项的随机梯度下降方法调整各层之间的权值，即神经网络的输入层至隐含层权值以及隐含层至输出层权值。
根据式（1）和式（2），得到：
如图2所示为不同噪信比下线性模块的参数估计误差。
首先，根据二进制信号的输入输出数据，利用辅助模型递推最小二乘算法估计动态线性模块的未知参数。从图2可以看出，随着噪信比的增加，提出的方法能够有效估计线性模块参数，且取得较小的参数估计误差。
其次，利用随机梯度下降算法估计BP神经网络的权值，即神经网络的输入层至隐含层权值以及隐含层至输出层权值。文中设置隐含层神经元的数目为10，[δns=7.71%]，计算得到输入层至隐含层权值为[-2.082 8， -2.309 6， 1.056 1， -2.485 7，][0.791 5， 0.953 2， -1.383 4， -4.312 6， -1.846 7， ][-0.583 69]，隐含层至输出层权值为[ -0.283 8， ][-0.284 8， 0.860 7， -0.332 7， 0.852 9， 0.818 1，][-0.698 5，-0.271 1，-0.446 1，][0.665 0]。如图3所示为静态非线性模块的估计。从图3可以看出，针对噪声干扰提出的Hammerstein OE非线性系统，其随机梯度下降方法能够有效近似非线性模块。 最后，为了验证噪声干扰下Hammerstein非线性系统的预测性能，随机产生400组测试信号，并且在系统的输出加10%的高斯噪声，如图4所示为系统预测输出。从图4可以看出，针对噪声干扰下的Hammerstein非线性系统，所提出的参数估计方法具有较强的预测性能。
4 结语
本文针对单输入单输出噪声干扰下的Hammerstein非线性动态系统，提出了一种基于神经网络的Hammerstein OE非线性系统参数估计方法。在研究中，利用多信号源实现噪声干扰下Hammerstein非线性系统静态非线性模块参数和动态线性模块参数的分离估计，文中的多信号源包括二进制信号和随机信号。首先，基于二进制信号的输入输出数据，利用辅助模型递推最小二乘方法估计动态线性模块的参数;其次，利用随机梯度下降算法，估计静态非线性模块中神经网络的输入层至隐含层权值以及隐含层至输出层权值。仿真结果表明，本文提出的参数估计方法能够有效估计神经网络Hammerstein OE非线性系统。
参考文献：
[1] RAMESH K，HISYAM A，AZIZ N，et al. Nonlinear model predictive control of a distillation column using wavenet based Hammerstein model [J]. Engineering Letters，2012，20（4）：330-335.
[2] BHANDARI B N，ROLLINS D. Continuous-time Hammerstein nonlinear modeling applied to distillation [J]. AICHE Journal，2004，50（2）：530-533.
[3] PRSIT D，NEDIT N，FILIPOVIT V，et al. Multilinear model of heat exchanger with Hammerstein structure [J]. Journal of Control Science and Engineering，2016（1）：1-7.
[4] ZHANG H T，LI H X，CHEN G. Dual-mode predictive control algorithm for constrained Hammerstein systems [J]. International Journal of Control，2008，81（10）：1609-1625.
[5] LI F，JIA L，PENG D，et al. Neuro-fuzzy based identification method for Hammerstein output error model with colored noise [J]. Neurocomputing，2017（244）：90-101.
[6] LI F，CHEN L，WO S，et al. Modeling and parameter learning for the Hammerstein-Wiener model with disturbance [J]. Measurement and Control， 2020，53（5/6）：971-982.
[7] LI F，YAO K，LI B，et al. A novel learning algorithm of the neuro-fuzzy based Hammerstein-Wiener model corrupted by process noise[J]. Journal of the Franklin Institute，2021，358（3）：2115-2137.
[8] CHEN H T，HWANG S H，CHANG C T. Iterative identification of continuous-time Hammerstein and Wiener systems using a two-stage estimation algorithm [J]. Industrial and Engineering Chemistry Research， 2009，48（3）：1495-1510.
[9] LI D，JIA Y，LI Q，et al. Identification and nonlinear model predictive control of MIMO Hammerstein system with constraints [J]. Journal of Central South University，2017，24（2）：448-458.
[10] GOMEZ J C，BAEYENS E. Subspace-based identification algorithms for Hammerstein and Wiener models [J]. European Journal of Control，2005，11（2）：127-136.
[11] WANG J S，CHEN Y P. A Hammerstein recurrent neurofuzzy network with an online minimal realization learning algorithm [J]. IEEE Transactions on Fuzzy Systems，2008，16（6）：1597-1612.
[12] 王峰，邢科義，徐小平. 辨识Hammerstein模型方法研究[J]. 系统仿真学报，2011，23（6）：1090-1092. [13] FILIPOVIC V Z. Consistency of the robust recursive Hammerstein model identification algorithm [J]. Journal of the Franklin Institute，2015，352（5）：1932-1945.
[14] BAI E W，LI D. Convergence of the iterative Hammerstein system identification algorithm [J]. IEEE Transactions on Automatic Control，2004，49（11）：1929-1940.
[15] LIU Y，BAI E W. Iterative identification of Hammerstein systems [J]. Automatica，2007，43（2）：346-354.
[16] BAI E W，FU M. A blind approach to Hammerstein model identification [J]. IEEE Transactions on Signal Processing，2002，50（7）：1610-1619.
[17] LI F，JIA L，PENG D. Identification method of neuro-fuzzy-based Hammerstein model with coloured noise [J]. IET Control Theory and Applications，2017，11（17）：3026-3037.
[18] LI F，JIA L. Correlation analysis-based error compensation recursive least-square identification method for the Hammerstein model [J]. Journal of Statistical Computation and Simulation，2018，88（1）：56-74.
[19] JANCZAK A. Neural network approach for identification of Hammerstein system [J]. International Journal of Control，2004，76（17）：1749-1766.
[20] WU D H. Neural network identification of Hammerstein nonlinear dynamic systems [C]// Proceedings of the 29th Chinese Control Conference，2010.
[21] 李峰，謝良旭，李博，等. 基于组合式信号的Hammerstein OE模型辨识[J]. 江苏理工学院学报，2019，25（6）：66-72.
[22] 贾立，杨爱华，邱铭森. 基于辅助模型递推最小二乘法的Hammerstein 模型多信号源辨识[J]. 南京理工大学学报，2014，38（1）：34-39.
责任编辑 盛 艳
关键词：Hammerstein非线性系统;BP神经网络;辅助模型;参数估计
中图分类号：TP273 文献标识码：A 文章编号：2095-7394（2021）04-0025-07
在非线性系统辨识和自动控制领域，块结构模型是当前的研究热点。按串联模块的连接形式，块结构模型可分为：Hammerstein系统、Wiener系统、Hammerstein-Wiener系统和Wiener-Hammerstein系统。在这些系统中，Hammerstein非线性系统由静态非线性模块和动态线性模块串联而成，是一类典型的非线性系统。研究表明，该系统能够有效地描述大多数非线性特性，适合作为过程模型使用[1-9]，因此，得到了广泛认可和关注。近年来，国内外学者提出了多种Hammerstein非线性系统的辨识方法，主要包括：子空间方法[10-11] 、过参数化方法[12-13]、迭代方法[14-15]、盲辨识方法[16]以及多信号源方法[17-18]等。
在非线性系统的建模研究领域中，神经网络模型能够较好地反映对象的动态特性和复杂的非线性映射关系，具有较强的自学习能力和非线性处理能力;因此，近年来，神经网络模型已成功应用于Hammerstein非线性系统的建模和辨识研究中。但在实际工业生产过程中普遍存在噪声，噪声对系统的相关性能会造成影响;因此，研究噪声干扰下的Hammerstein非线性系统具有重要意义。JANCZAK [19]利用多层神经网络逼近Hammerstein模型的静态非线性，研究了白噪声干扰下Hammerstein模型神经网络辨识方法。WU[20]研究了有色噪声下Hammerstein非线性动态系统的神经网络辨识：首先，将Hammerstein模型的辨识问题转化为神经网络的训练问题;然后，采用误差反向传播算法求解。然而，上述参数估计方法虽然取得了较好的辨识结果，但在辨识的系统中包含了参数的乘积项，需要通过分解技术将各模块的未知参数分离出来，因而增加了辨识的复杂度。针对上述辨识方法中存在的问题，本文提出了一种基于神经网络的Hammerstein OE非线性系统参数估计方法，从而能够有效估计Hammerstein OE非线性系统的参数。
1 问题描述
考虑单输入单输出Hammerstein OE非线性系统，其结构如图1所示。
Hammerstein OE非线性系统的数学表达式为：
基于给定的阈值[ε]建立Hammerstein OE非线性系统，就是要求解满足如下条件的参数：
本文采用的BP神经网络拟合静态非线性模块，其结构如图1中的[N?]所示。BP神经网络的输出可以通过下式表示：
2 BP神经网络Hammerstein OE非线性系统参数估计
前期研究表明，如果系统的输入为二进制信号[uk]，则相应的中间变量[vk]为与[uk]同频率不同幅值的二进制信号[21]。在此基础上，本文利用二进制信号和随机信号的组合信号源，研究Hammerstein OE非线性系统的非线性模块和线性模块参数估计的分离。
2.1 动态线性模块的参数估计
根据上述分析，基于二进制信号的输入输出数据，利用辅助模型最小二乘方法估計动态线性模块的参数。由图1可以得到：
在式（5）中，由于信息向量[φk]中含有未知变量[xk]，因此，不能利用最小二乘方法求解参数。为解决这一问题，借助辅助模型辨识思想[22]，定义[φak]和[θak]分别是[k]时刻辅助模型的信息向量和参数向量。由此，定义下列辅助模型表达式：
2.2 静态非线性模块的参数估计
在本节中，利用随机信号的输入输出数据估计静态非线性模块的参数，也就是BP神经网络的权值[w1j]和[w2j]。为了改善参数学习收敛率，利用含有动量项的随机梯度下降方法调整各层之间的权值，即神经网络的输入层至隐含层权值以及隐含层至输出层权值。
根据式（1）和式（2），得到：
如图2所示为不同噪信比下线性模块的参数估计误差。
首先，根据二进制信号的输入输出数据，利用辅助模型递推最小二乘算法估计动态线性模块的未知参数。从图2可以看出，随着噪信比的增加，提出的方法能够有效估计线性模块参数，且取得较小的参数估计误差。
其次，利用随机梯度下降算法估计BP神经网络的权值，即神经网络的输入层至隐含层权值以及隐含层至输出层权值。文中设置隐含层神经元的数目为10，[δns=7.71%]，计算得到输入层至隐含层权值为[-2.082 8， -2.309 6， 1.056 1， -2.485 7，][0.791 5， 0.953 2， -1.383 4， -4.312 6， -1.846 7， ][-0.583 69]，隐含层至输出层权值为[ -0.283 8， ][-0.284 8， 0.860 7， -0.332 7， 0.852 9， 0.818 1，][-0.698 5，-0.271 1，-0.446 1，][0.665 0]。如图3所示为静态非线性模块的估计。从图3可以看出，针对噪声干扰提出的Hammerstein OE非线性系统，其随机梯度下降方法能够有效近似非线性模块。 最后，为了验证噪声干扰下Hammerstein非线性系统的预测性能，随机产生400组测试信号，并且在系统的输出加10%的高斯噪声，如图4所示为系统预测输出。从图4可以看出，针对噪声干扰下的Hammerstein非线性系统，所提出的参数估计方法具有较强的预测性能。
4 结语
本文针对单输入单输出噪声干扰下的Hammerstein非线性动态系统，提出了一种基于神经网络的Hammerstein OE非线性系统参数估计方法。在研究中，利用多信号源实现噪声干扰下Hammerstein非线性系统静态非线性模块参数和动态线性模块参数的分离估计，文中的多信号源包括二进制信号和随机信号。首先，基于二进制信号的输入输出数据，利用辅助模型递推最小二乘方法估计动态线性模块的参数;其次，利用随机梯度下降算法，估计静态非线性模块中神经网络的输入层至隐含层权值以及隐含层至输出层权值。仿真结果表明，本文提出的参数估计方法能够有效估计神经网络Hammerstein OE非线性系统。
参考文献：
[1] RAMESH K，HISYAM A，AZIZ N，et al. Nonlinear model predictive control of a distillation column using wavenet based Hammerstein model [J]. Engineering Letters，2012，20（4）：330-335.
[2] BHANDARI B N，ROLLINS D. Continuous-time Hammerstein nonlinear modeling applied to distillation [J]. AICHE Journal，2004，50（2）：530-533.
[3] PRSIT D，NEDIT N，FILIPOVIT V，et al. Multilinear model of heat exchanger with Hammerstein structure [J]. Journal of Control Science and Engineering，2016（1）：1-7.
[4] ZHANG H T，LI H X，CHEN G. Dual-mode predictive control algorithm for constrained Hammerstein systems [J]. International Journal of Control，2008，81（10）：1609-1625.
[5] LI F，JIA L，PENG D，et al. Neuro-fuzzy based identification method for Hammerstein output error model with colored noise [J]. Neurocomputing，2017（244）：90-101.
[6] LI F，CHEN L，WO S，et al. Modeling and parameter learning for the Hammerstein-Wiener model with disturbance [J]. Measurement and Control， 2020，53（5/6）：971-982.
[7] LI F，YAO K，LI B，et al. A novel learning algorithm of the neuro-fuzzy based Hammerstein-Wiener model corrupted by process noise[J]. Journal of the Franklin Institute，2021，358（3）：2115-2137.
[8] CHEN H T，HWANG S H，CHANG C T. Iterative identification of continuous-time Hammerstein and Wiener systems using a two-stage estimation algorithm [J]. Industrial and Engineering Chemistry Research， 2009，48（3）：1495-1510.
[9] LI D，JIA Y，LI Q，et al. Identification and nonlinear model predictive control of MIMO Hammerstein system with constraints [J]. Journal of Central South University，2017，24（2）：448-458.
[10] GOMEZ J C，BAEYENS E. Subspace-based identification algorithms for Hammerstein and Wiener models [J]. European Journal of Control，2005，11（2）：127-136.
[11] WANG J S，CHEN Y P. A Hammerstein recurrent neurofuzzy network with an online minimal realization learning algorithm [J]. IEEE Transactions on Fuzzy Systems，2008，16（6）：1597-1612.
[12] 王峰，邢科義，徐小平. 辨识Hammerstein模型方法研究[J]. 系统仿真学报，2011，23（6）：1090-1092. [13] FILIPOVIC V Z. Consistency of the robust recursive Hammerstein model identification algorithm [J]. Journal of the Franklin Institute，2015，352（5）：1932-1945.
[14] BAI E W，LI D. Convergence of the iterative Hammerstein system identification algorithm [J]. IEEE Transactions on Automatic Control，2004，49（11）：1929-1940.
[15] LIU Y，BAI E W. Iterative identification of Hammerstein systems [J]. Automatica，2007，43（2）：346-354.
[16] BAI E W，FU M. A blind approach to Hammerstein model identification [J]. IEEE Transactions on Signal Processing，2002，50（7）：1610-1619.
[17] LI F，JIA L，PENG D. Identification method of neuro-fuzzy-based Hammerstein model with coloured noise [J]. IET Control Theory and Applications，2017，11（17）：3026-3037.
[18] LI F，JIA L. Correlation analysis-based error compensation recursive least-square identification method for the Hammerstein model [J]. Journal of Statistical Computation and Simulation，2018，88（1）：56-74.
[19] JANCZAK A. Neural network approach for identification of Hammerstein system [J]. International Journal of Control，2004，76（17）：1749-1766.
[20] WU D H. Neural network identification of Hammerstein nonlinear dynamic systems [C]// Proceedings of the 29th Chinese Control Conference，2010.
[21] 李峰，謝良旭，李博，等. 基于组合式信号的Hammerstein OE模型辨识[J]. 江苏理工学院学报，2019，25（6）：66-72.
[22] 贾立，杨爱华，邱铭森. 基于辅助模型递推最小二乘法的Hammerstein 模型多信号源辨识[J]. 南京理工大学学报，2014，38（1）：34-39.
责任编辑 盛 艳