论文部分内容阅读
全局的学习算法是对所有的训练样本构造一个模型来预测任何一个未知点的标记,而局部学习算法旨在某个给定点的邻域中构造算法,不同的测试点可能构造不同的算法模型。在某些情况下,基于函数集给定的结构,利用给定数目的观测不可能较好地逼近待求函数。在这种情况下,局部风险最小化的方法有它的优势,这就是,它可能得到对待求函数在任意所关心的点上一个较好的局部逼近。因为局部学习算法对某些特定的问题可能会优于全局学习算法,因此它在理论上和实践上引起了极大的兴趣。
本文介绍了局部学习问题的相关背景知识;讨论了局部风险最小化算法及其意义,并给出了局部学习问题的一些具体方法;将正则化算法的思想应用到局部学习问题中,提出了局部正则化算法的学习框架;着重讨论了局部风险正则化算法的推广性能,把用积分算子理论分析全局正则化算法的推广性的一套理论平行地推广到局部学习问题中来;并通过实验证明了局部正则化算法对某些特定的问题要优于全局正则化算法。主要研究内容包括:第1章介绍局部学习问题的背景、意义和主要研究方法;第2章给出了全局正则化算法的一些理论结果。最初的关于正则化算法的误差估计得到的都是与容量有关的界,由VC维、覆盖数、Rademacher复杂度来界定。对容量的分析通常能得到很好的收敛速率,容量却经常是很难确定的。因此,S.Smale和D.Zhou提出了用积分算子理论分析推广误差的框架,建立了一种与容量无关的界,对推广误差的分析有重要的指导意义。本章按照Smale和Zhou建立的框架,用积分算子取代VC维、覆盖数对推广误差进行分析,在正则化框架下考虑损失为最小平方损失的情形;第3章主要讨论所提出的局部正则化算法的推广能力。将正则化算法与局部风险最小化算法结合,提出一种局部正则化算法,并将全局概念中的积分算子理论平行地推广到这类局部方法中,利用局部积分算子的估计,研究局部正则化算法的推广误差;第4章的主要目的是说明局部风险正则化算法对分类问题的有效性,并通过实验说明所提出的局部正则化算法在某些情况下是优于全局正则化算法的;第5章是对本文工作的总结和展望。