论文部分内容阅读
近年来，动态或者非平稳环境机器学习问题成为当前人工智能热点前沿热点。这里的“动态”主要指其环境随时间的动态变化，如工程、生物、医学、经济、天文等领域所涉物理过程天然构成的开放动态环境。然而在开放动态环境中，因传统机器学习的封闭静态假设不再满足，动态学习对当前人工智能发展提出了更大的挑战和更广阔的应用前景。当前动态环境机器学习的一个主要方向是研究对在工程、医学等动态过程中采样获得的时间序列的建模、识别、分类等问题。本文将从系统与控制角度开展动态环境机器学习的研究。
本论文工作包括以下四个方面：
1)针对非线性动力学系统产生的、具有周期或回归性质的时间序列数据，我们提出一种基于确定学习的时间序列建模与回归新方法。从系统与控制角度，该问题属于非线性系统辨识难题。确定学习方法通过解决持续激励(PE)条件的满足及预先验证，实现了对沿着周期或回归轨迹(连续信号)的非线性系统动态的局部准确神经网络辩识。本文将把该问题扩展到基于时间序列(采样数据)的确定学习。通过Lyapunov设计的权值更新律，产生的学习误差系统形成了具有与连续确定学习对应的离散线性时变(LTV)形式的识别误差系统。然而，上述连续LTV系统在持续激励条件满足时指数稳定的性质由Anderson、Narendra等给出证明，现有文献中并没有针对这类离散线性时变系统的指数稳定性证明结果。针对这一控制理论中的关键科学问题，本文采用离散输入状态稳定小增益理论(discrete ISS-small gain theorem)给出了具体的证明过程。首先，在持续激励条件下采用逆Lyapunov理论构造每一子系统的Lyapunov函数。其次，证明了每个子系统的Lyapunov函数均满足ISS-Lyapunov的性质，即这两个子系统满足输入状态稳定(ISS)。最后，根据上述两个互连的离散子系统的ISS性质，采用离散ISS下的小增益理论证明了整个离散LTV系统满足全局一致渐近稳定性，这对于线性系统即为指数稳定性。上述离散LTV系统的指数稳定性证明，保证了沿时间序列轨迹神经网络权值的指数收敛到真值或最优值，进而实现对时间序列(采样)数据内在非线性动态的局部准确辨识。该方法的提出有效解决了采样数据这类时间序列的回归和建模问题。特别地，这种局部准确的动力学建模结果对后续的基于时间序列的识别、分类等应用研究具有重要的意义。
2)针对由非线性动力学系统产生的、具有周期或回归性质的时间序列，研究其识别与分类的问题(上述具有周期或回归性质的时间序列亦可称为动态模式，因而这也是动态模式识别问题)。由于这类时间序列数据表达的动态模式在实际动态过程中广泛存在，而且相比于传统静态模式有本质上的不同，该问题的研究充满挑战且有着广阔的应用前景。本文在基于确定学习的快速动态模式识别的基础上，研究对连续系统采样得到的时间序列数据的快速识别问题。在采样数据框架下，分别提出了对应的时间序列动态模式相似性定义，以及时间序列数据快速识别方法。上述快速识别机制是通过利用动态识别系统误差间接反映动态模式之间的内在动力学的差异程度。为保证准确识别，非相似模式的动力学差异需要满足一个假设条件(沿着轨迹的动力学差异在一定连续的时间区间内超过一定的幅值大小且符号不能改变)。然而，在基于连续信号的动态模式识别中，因无法利用过去的信息计算动态模式之间的动力学差异，难以在实际工程中验证这些条件。也就是说，如果发生了误识别，由于识别条件无法验证，进而难以分析发生误识别的原因。与之相比，在采样数据框架下，可以基于历史采样数据充分对比其动力学差异，验证动态模式识别结果的准确性。因此，这种基于动力学差异的动态模式识别具有良好的可解释性，在工程实际中将发挥重要作用。
3)结构稳定性是一个非线性动力学系统领域的重要概念，它提供了对动力学系统及其受扰系统的一种自然动态的分类关系。其原理在于，如果一个结构稳定的系统与其受扰系统具有相似的拓扑结构，则两系统可以看成是同一类的系统。本文基于结构稳定性概念，探索动态模式识别新方法。然而，这个概念在实际中难以应用的原因之一是难以获取动力学的偏导信息。针对这一难题，我们基于确定学习的知识再利用机制近似表达沿着轨迹方向的动力学偏导信息。从而提出了基于结构稳定性的相似性定义，对模式间进行更细化的相似性描述。基于这种新的相似性定义，进一步给出了对应的动态模式识别的实现方法。通过与基于动力学差异的动态模式识别方法进行仿真对比，结果表明在更细化的识别场景下，基于结构稳定性的方法能得到更好的结果。
4)最终，针对心肌缺血/心肌梗塞早期检测等重大临床需求问题，开展基于动态环境机器学习的应用研究。本课题组基于由确定学习形成的心电动力学图(CDG)在心肌缺血检测方向上已开展多年研究。心电动力学图是对心电图(ECG)ST-T段的局部准确动力学建模结果的三维可视化展示。它与心脏复极过程的离散度相关，相比传统心电图诊断具有更高的敏感性。本文创新性地提出了心电动力学图的时空离散度量化指标：一方面根据心电信号的物理时频特性提出心电动力学图的时间离散度指标，另一方面从非线性系统的混沌性分析角度提出心电动力学图的空间离散度指标。通过在北京阜外医院、新疆石河子市人民医院开展的心电动力学图检测心肌缺血的临床试验，结果表明该指标能够在心电图大致正常时对心肌缺血患者进行较为准确的检测。
本论文工作包括以下四个方面：
1)针对非线性动力学系统产生的、具有周期或回归性质的时间序列数据，我们提出一种基于确定学习的时间序列建模与回归新方法。从系统与控制角度，该问题属于非线性系统辨识难题。确定学习方法通过解决持续激励(PE)条件的满足及预先验证，实现了对沿着周期或回归轨迹(连续信号)的非线性系统动态的局部准确神经网络辩识。本文将把该问题扩展到基于时间序列(采样数据)的确定学习。通过Lyapunov设计的权值更新律，产生的学习误差系统形成了具有与连续确定学习对应的离散线性时变(LTV)形式的识别误差系统。然而，上述连续LTV系统在持续激励条件满足时指数稳定的性质由Anderson、Narendra等给出证明，现有文献中并没有针对这类离散线性时变系统的指数稳定性证明结果。针对这一控制理论中的关键科学问题，本文采用离散输入状态稳定小增益理论(discrete ISS-small gain theorem)给出了具体的证明过程。首先，在持续激励条件下采用逆Lyapunov理论构造每一子系统的Lyapunov函数。其次，证明了每个子系统的Lyapunov函数均满足ISS-Lyapunov的性质，即这两个子系统满足输入状态稳定(ISS)。最后，根据上述两个互连的离散子系统的ISS性质，采用离散ISS下的小增益理论证明了整个离散LTV系统满足全局一致渐近稳定性，这对于线性系统即为指数稳定性。上述离散LTV系统的指数稳定性证明，保证了沿时间序列轨迹神经网络权值的指数收敛到真值或最优值，进而实现对时间序列(采样)数据内在非线性动态的局部准确辨识。该方法的提出有效解决了采样数据这类时间序列的回归和建模问题。特别地，这种局部准确的动力学建模结果对后续的基于时间序列的识别、分类等应用研究具有重要的意义。
2)针对由非线性动力学系统产生的、具有周期或回归性质的时间序列，研究其识别与分类的问题(上述具有周期或回归性质的时间序列亦可称为动态模式，因而这也是动态模式识别问题)。由于这类时间序列数据表达的动态模式在实际动态过程中广泛存在，而且相比于传统静态模式有本质上的不同，该问题的研究充满挑战且有着广阔的应用前景。本文在基于确定学习的快速动态模式识别的基础上，研究对连续系统采样得到的时间序列数据的快速识别问题。在采样数据框架下，分别提出了对应的时间序列动态模式相似性定义，以及时间序列数据快速识别方法。上述快速识别机制是通过利用动态识别系统误差间接反映动态模式之间的内在动力学的差异程度。为保证准确识别，非相似模式的动力学差异需要满足一个假设条件(沿着轨迹的动力学差异在一定连续的时间区间内超过一定的幅值大小且符号不能改变)。然而，在基于连续信号的动态模式识别中，因无法利用过去的信息计算动态模式之间的动力学差异，难以在实际工程中验证这些条件。也就是说，如果发生了误识别，由于识别条件无法验证，进而难以分析发生误识别的原因。与之相比，在采样数据框架下，可以基于历史采样数据充分对比其动力学差异，验证动态模式识别结果的准确性。因此，这种基于动力学差异的动态模式识别具有良好的可解释性，在工程实际中将发挥重要作用。
3)结构稳定性是一个非线性动力学系统领域的重要概念，它提供了对动力学系统及其受扰系统的一种自然动态的分类关系。其原理在于，如果一个结构稳定的系统与其受扰系统具有相似的拓扑结构，则两系统可以看成是同一类的系统。本文基于结构稳定性概念，探索动态模式识别新方法。然而，这个概念在实际中难以应用的原因之一是难以获取动力学的偏导信息。针对这一难题，我们基于确定学习的知识再利用机制近似表达沿着轨迹方向的动力学偏导信息。从而提出了基于结构稳定性的相似性定义，对模式间进行更细化的相似性描述。基于这种新的相似性定义，进一步给出了对应的动态模式识别的实现方法。通过与基于动力学差异的动态模式识别方法进行仿真对比，结果表明在更细化的识别场景下，基于结构稳定性的方法能得到更好的结果。
4)最终，针对心肌缺血/心肌梗塞早期检测等重大临床需求问题，开展基于动态环境机器学习的应用研究。本课题组基于由确定学习形成的心电动力学图(CDG)在心肌缺血检测方向上已开展多年研究。心电动力学图是对心电图(ECG)ST-T段的局部准确动力学建模结果的三维可视化展示。它与心脏复极过程的离散度相关，相比传统心电图诊断具有更高的敏感性。本文创新性地提出了心电动力学图的时空离散度量化指标：一方面根据心电信号的物理时频特性提出心电动力学图的时间离散度指标，另一方面从非线性系统的混沌性分析角度提出心电动力学图的空间离散度指标。通过在北京阜外医院、新疆石河子市人民医院开展的心电动力学图检测心肌缺血的临床试验，结果表明该指标能够在心电图大致正常时对心肌缺血患者进行较为准确的检测。