模型选择的曲率方法研究

被引量 : 1次 | 上传用户:wuxirl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习是人工智能的重要研究领域,模型选择是机器学习的重要研究内容。机器学习的许多实际问题中,需要从给定的有限观测数据推测产生这些数据的真实模型,而可能的模型往往有多个,从众多可能的模型中选择与未知的真实模型最匹配的模型就是模型选择。机器学习中的两大核心问题泛化和表示都与模型选择密切相关,因此模型选择是解决机器学习核心问题的关键。各种学习理论从不同角度研究模型选择问题,如经典的统计理论通过偏差-方差折中实现模型选择;解决逆问题的正则化方法使用正则化项惩罚复杂的模型;而统计机器学习理论通过对给定数据逼近的精度和逼近模型的复杂性之间进行折中来选择泛化性能较好的模型;随着微分几何在统计机器学习领域的发展应用,研究者使用几何方法研究统计模型的机器学习问题。这一理论把统计模型看成嵌入在所有可能分布构成的空间中的子流形,通过研究此子流形在空间的位置和形状信息对模型的拟合度和复杂度作出评估。这些理论和方法的共同之处是都体现了奥卡姆剃刀原则——“如无必要,勿增实体”,即泛化能力和模型在训练集的拟合度以及模型的复杂度相关。不同理论和方法的区别主要在于对复杂度的量化方法不同。本文通过曲率方法研究统计模型的几何性质,对模型选择中的几个关键问题包括泛化能力和参数不变性的复杂度度量、统计模型的整体性质及模型选择的统一框架进行研究。首先分析论证在模型流形空间中模型局部曲率的参数不变性和几何直观性,提出基于Gauss-Kronecker曲率的衡量模型局部性质的模型选择准则GKCIC;然后利用曲率的进一步运算得到模型流形的拓扑信息和整体几何信息,提出用Euler-Poincare拓扑信息衡量统计模型的全局性质的方法EPTIC;在此基础上提出基于曲率方法的模型选择统一框架,并结合知觉学习的特点,构建更加系统有效的层次化“记忆-预测”知觉学习模型。本文以微分几何为数学基础,用曲率的方法对模型选择及其在知觉学习中的应用进行了深入的研究,取得了一定的研究成果,并经过实验验证,为进一步的研究和应用奠定了基础。本文创造性的研究成果主要有:1.提出一种基于曲率的模型选择准则GKCIC(Gauss-Kronecker Curvature Information Criterion)。分析模型的泛化能力和其固有复杂度及其在训练集上的拟合度之间的关系;提出度量学习机器复杂度的Gauss-Kroneker内蕴曲率方法;给出基于参数估计量邻域附近的解轨迹方法的曲率计算方法,并分析正则化条件;证明用于衡量模型泛化能力的未来残差可以用曲率来表示;给出基于曲率的模型选择准则。该方法具有坚实的理论基础、内蕴几何性质和参数表示不变性,揭示了模型选择的内在本质,能直观清晰地理解模型选择的几何意义;实验表明,其效果明显优于参数相关的方法。2.提出一种基于拓扑信息衡量模型流形整体性质的方法EPTIC (Euler-Poincare Topology Information Criterion)。根据曲率和度量的互生关系,以曲率作为局部信息的基本几何构成元;通过对曲率的积分,得到统计流形的拓扑不变量Euler-Poincare示性数,作为统计流形的整体拓扑不变量;通过Gauss-Bonnet定理和Minkowski积分公式,得到体积等反映流形整体性质的拓扑和几何量;给出使用流形整体性质的模型选择方法,使模型具有全局的泛化能力;分析模型流形的拓扑性质和全局几何性质的重要意义,给出从局部性质得到整体性质的计算方法,实验表明其性能优于同类算法。3.提出基于几何曲率方法的模型选择统一框架。综合考虑统计模型的局部性质和整体性质,在前两章工作的基础上提出基于几何曲率方法的模型选择统一框架;讨论基于曲率的方法与统计学习理论之间的关系;在此统一框架下,结合知觉学习和认知心理学的研究成果,构建一种基于曲率和拓扑信息的层次化知觉学习计算模型。该模型通过自底向上的过程对局部信息进行抽象,得到全局拓扑和几何性质,作为整体先验知识;通过自顶向下的过程对输入信息进行预测、分析、比较,修正先验知识,指导下一次的预测;结合自底向上和自顶向下过程,使模型具有局部的特定性和全局的泛化能力。该框架综合考虑模型的局部和全局的泛化能力实现层次化抽象预测机制,体现知觉学习特定性和整体性的特点。
其他文献
第一部分:上调Periostin基因对GC细胞增殖的影响目的:细胞增殖是肿瘤发生发展的一个基本生物学过程。本部分拟研究Periostin表达增强对GC(胃癌SGC-7901细胞)细胞增殖的影响。方法
随着各国电磁兼容规范的强制执行,对电磁干扰进行准确的建模与预测已经成为一个热点研究课题。本文针对隔离型功率变流器共模传导电磁干扰建模与预测中的若干关键问题展开了
齐家北注入水水质界限及防治措施岩心驱替实验研究齐家北油田共有注水井125口,开井68口,关井57口,其中不吸水关井53口,注水不能满足配注需求问题突出。为解决齐家北油田注水困难
<正> 教学目的: 1.使学生了解“祝福”和祥林嫂悲剧的内在联系,从而更深刻地理解课文主题。 2.使学生了解课文倒叙安排的特点及作用。 3.进行课文内容扩散性联想训练,进行两
本文旨在研究和比较不同硒源及水平对爱拔益加(AA)肉鸡生长性能、组织硒含量和抗氧化功能的影响,并探讨在生产中应用较低水平(0.20 mg/kg)有机硒替代较高水平(0.30 mg/kg)无
为提高肾嗜酸细胞腺瘤的诊断治疗水平,减少不必要的根治性肾切除术。本研究回顾分析2005年3月至2010年11月在中南大学湘雅二医院诊治的6例肾嗜酸细胞腺瘤的症状,实验室检查、
二战后,日本的国民经济高速发展,集团意识作为日本的精神动力、民族精神发挥着极其重要的作用,日本的集团意识对于日本社会来说,是一把双刃剑。一方面,它为日本的经济发展,尤
在现代大学理工科专业教学中,大学物理实验是增强学生动手能力,提高学生自主创新能力的最主要课程之一,如何使学校的物理实验教学满足现代社会的要求,培养出逻辑思维能力和动手能
当前校本课程教学中存在许多问题,诸如师资不足、课程内容枯燥乏味、素材资源短缺、学生参与程度低等等,诸多问题导致了校本课程教学质量得不到提高。项目学习教学法以学生为
词汇教学法是外语教学提倡以应用为目的的背景下发展起来的新的语言教学理论。其最重要的理论原则在于:“语言是由语法化的词汇组成的,而不是有词汇化语法组成的。”简而言之,