知识与数据驱动机器学习模型的参数可辨识性理论研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:chen009123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
参数可辨识性研究是增加模型透明度和可理解性的重要手段,也是进行参数估计的必要前提。当模型参数具有明确物理意义时,参数可辨识更是系统建模的本质要求。参数可辨识性对统计学习理论、模型结构学习、模型选择、参数估计、学习算法、学习过程动态分析等诸方面有着重要的作用和意义。  本文以机器学习,系统辨识和神经计算为应用背景,系统地研究了参数模型的可辨识性问题。根据建模的特性,本文将参数模型分为两个框架:(1)非时变框架。在此框架下,本文推导了多输入多输出非线性变换和参数统计模型的可辨识性定理。(2)时变框架。在此框架下,本文推导了动态模型和随机过程模型的可辨识性定理。  本文的主要贡献总结如下:  (a)对非时变框架下的非线性变换模型,我们将模型看作从输入空间到输出空间的静态的,无噪声的确定性映射,推导了多输入多输出情况下的参数可辨识性定理。此定理将以前单输入单输出和多输入单输出模型的可辨识性结果作为其特例,从而理论上推广了单输入单输出和多输入单输出模型的可辨识性准则。而且,本文对此结果给出了一个代数上合理和几何上直观的对偶解释。相比较以前的方法,本文的方法不仅可以判断模型参数是否可辨识,还可以明确得出观测等价的参数向量。  (b)对非时变框架下的参数统计模型,我们将参数化的统计分布族看作具有几何结构的统计流形,利用信息论中的Kullback-Leibler散度,将无约束参数模型和参数受限模型的可辨识性问题分别转化为一个无约束优化和约束优化问题,第一次从最优化理论的角度系统地研究了可辨识性问题,并得到了相应的可辨识性准则。这些结果为研究参数可辨识性问题提供了一个新颖的视角,并建立了可辨识性理论、信息论和最优化理论之间的联系,因此具有比较深刻的理论意义。相比较以前的解方程组方法,本文方法的主要优点是:只需要计算一个数值矩阵的秩就可以判断模型参数是否可辨识,而不需要求解非线性方程组的根,从而将计算复杂度从NP完全降低到参数维数的三次方。  (c)对时变框架下的参数模型,本文采用辨识函数的方法,基于黎曼几何中的秩定理,对包括动态常微分方程模型和随机过程模型在内的一大类时变模型提供了统一的处理方式。辨识函数方法的应用范围相当广泛,不仅可以用来处理时变模型,还可以用来处理非时变模型,从而理论上揭示了各种参数模型可辨识性问题的共性。此方法的优点在于:一方面,我们可以通过计算辨识函数导矩阵的符号秩来判断模型是否参数冗余,从而求得模型的内在参数维数;另一方面,基于此导矩阵,我们得到了求解可辨识的独立参数函数的方法。进而,我们得到了不可辨识,参数冗余和参数相关三者之间的关系。  在本文的理论分析方面,我们用了文献中大量例子来解释相关定义和定理的具体含义。在实际应用方面,我们用了大量真实模型(比如广义约束神经网络、参数学习机、动态微分方程、HIV模型、生物动力学模型、滑动平均模型、部分线性支持向量机模型等)来研究其参数可辨识性,由此阐释本文方法的正确性和实用性。
其他文献
随着工业开始朝着大规模、复杂化的方向发展,针对工业生产的过程监控和故障检测成为了工业系统中备受关注的问题之一。如何从大量数据中挖掘出隐藏的有用信息,使其能够服务于
视觉是人类认识和理解世界的首要途径。长久以来,人们都希望能够在人工系统上复刻人类的视觉能力。其中,视觉分类是最受关注,最为核心,也是实现起来最具挑战性的视觉功能之一。同
红外视频深度估计是机器学习、计算机视觉等领域中的热点研究问题之一。近些年来基于几何光学方法、传统机器学习方法和深度学习方法的深度估计研究取得了很大的进步。然而,现
大数据时代,数据的采集方式更为多样化,数据的表征形态更为多元化,因而观察对象往往可以被不同的特征表征,学术界称之为多视角数据。例如,在图像处理问题中,图像可以用反映图像整体
本论文主要研究了自主驾驶安全性,首先通过分析国内外无人车辆自主驾驶发展面临的挑战,提出自主驾驶测评理论和方法对无人驾驶车辆开展测评。其次,结合测评结论有针对性地自主驾
学位
随着数字图像与视频采集设备(例如:数码照相机、数码摄像机、智能手机和平板电脑等)的普及,网络(例如:微博、微信和购物网站等)与人们生活之间关系日益密切,互联网上增图像和视频的
本文研究具有随机时延和随机丢包的网络控制系统的稳定性。从底层协议角度出发,分析了以太网下随机时延的特性,研究不同网络负载下时延的统计特性及分布,给出长时延产生概率与网
支持向量机能很好地解决小样本、高维度、非线性等问题,被广泛应用于工业过程建模。对于基于数据驱动的建模方法,样本数据的信息挖掘是建模过程中比较重要的一环,而概率信息能很
场景的深度信息在计算机视觉领域有着十分重要的作用,近些年来,随着消费级Kinect摄像机的普及,深度图像的获取变得非常方便。Kinect摄像机被广泛应用到三维重建、机器人导航、目