论文部分内容阅读
机器学习是人工智能的重要研究领域,模型选择是机器学习的重要研究内容。机器学习的许多实际问题中,需要从给定的有限观测数据推测产生这些数据的真实模型,而可能的模型往往有多个,从众多可能的模型中选择与未知的真实模型最匹配的模型就是模型选择。机器学习中的两大核心问题泛化和表示都与模型选择密切相关,因此模型选择是解决机器学习核心问题的关键。各种学习理论从不同角度研究模型选择问题,如经典的统计理论通过偏差-方差折中实现模型选择;解决逆问题的正则化方法使用正则化项惩罚复杂的模型;而统计机器学习理论通过对给定数据逼近的精度和逼近模型的复杂性之间进行折中来选择泛化性能较好的模型;随着微分几何在统计机器学习领域的发展应用,研究者使用几何方法研究统计模型的机器学习问题。这一理论把统计模型看成嵌入在所有可能分布构成的空间中的子流形,通过研究此子流形在空间的位置和形状信息对模型的拟合度和复杂度作出评估。这些理论和方法的共同之处是都体现了奥卡姆剃刀原则——“如无必要,勿增实体”,即泛化能力和模型在训练集的拟合度以及模型的复杂度相关。不同理论和方法的区别主要在于对复杂度的量化方法不同。本文通过曲率方法研究统计模型的几何性质,对模型选择中的几个关键问题包括泛化能力和参数不变性的复杂度度量、统计模型的整体性质及模型选择的统一框架进行研究。首先分析论证在模型流形空间中模型局部曲率的参数不变性和几何直观性,提出基于Gauss-Kronecker曲率的衡量模型局部性质的模型选择准则GKCIC;然后利用曲率的进一步运算得到模型流形的拓扑信息和整体几何信息,提出用Euler-Poincare拓扑信息衡量统计模型的全局性质的方法EPTIC;在此基础上提出基于曲率方法的模型选择统一框架,并结合知觉学习的特点,构建更加系统有效的层次化“记忆-预测”知觉学习模型。本文以微分几何为数学基础,用曲率的方法对模型选择及其在知觉学习中的应用进行了深入的研究,取得了一定的研究成果,并经过实验验证,为进一步的研究和应用奠定了基础。本文创造性的研究成果主要有:1.提出一种基于曲率的模型选择准则GKCIC(Gauss-Kronecker Curvature Information Criterion)。分析模型的泛化能力和其固有复杂度及其在训练集上的拟合度之间的关系;提出度量学习机器复杂度的Gauss-Kroneker内蕴曲率方法;给出基于参数估计量邻域附近的解轨迹方法的曲率计算方法,并分析正则化条件;证明用于衡量模型泛化能力的未来残差可以用曲率来表示;给出基于曲率的模型选择准则。该方法具有坚实的理论基础、内蕴几何性质和参数表示不变性,揭示了模型选择的内在本质,能直观清晰地理解模型选择的几何意义;实验表明,其效果明显优于参数相关的方法。2.提出一种基于拓扑信息衡量模型流形整体性质的方法EPTIC (Euler-Poincare Topology Information Criterion)。根据曲率和度量的互生关系,以曲率作为局部信息的基本几何构成元;通过对曲率的积分,得到统计流形的拓扑不变量Euler-Poincare示性数,作为统计流形的整体拓扑不变量;通过Gauss-Bonnet定理和Minkowski积分公式,得到体积等反映流形整体性质的拓扑和几何量;给出使用流形整体性质的模型选择方法,使模型具有全局的泛化能力;分析模型流形的拓扑性质和全局几何性质的重要意义,给出从局部性质得到整体性质的计算方法,实验表明其性能优于同类算法。3.提出基于几何曲率方法的模型选择统一框架。综合考虑统计模型的局部性质和整体性质,在前两章工作的基础上提出基于几何曲率方法的模型选择统一框架;讨论基于曲率的方法与统计学习理论之间的关系;在此统一框架下,结合知觉学习和认知心理学的研究成果,构建一种基于曲率和拓扑信息的层次化知觉学习计算模型。该模型通过自底向上的过程对局部信息进行抽象,得到全局拓扑和几何性质,作为整体先验知识;通过自顶向下的过程对输入信息进行预测、分析、比较,修正先验知识,指导下一次的预测;结合自底向上和自顶向下过程,使模型具有局部的特定性和全局的泛化能力。该框架综合考虑模型的局部和全局的泛化能力实现层次化抽象预测机制,体现知觉学习特定性和整体性的特点。