大规模数据集的SVC迭代训练算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:swordhero
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Vapnik统计学习理论着重研究小样本的统计规律及-9习方法,它能避免传统的统计模式识别方法只有在样本数趋于无穷大时性能才有理论保证的缺点。支撑向量机(SVM)是在统计学习理论的基础上发展起来的一种新型的机器学习方法,在解决小样本、非线性及高维模式识别问题中表现出特有的优势,是当前机器学习领域的新热点。 从本质上讲,以统计学习理论作为理论基础的支撑向量机学习方法主要以小样本问题作为研究对象。但随着研究的深入与应用的推广,SVM在解决大规模样本问题上的缺陷日益凸显。为了能让SVM得到更广泛的应用,人们开始努力研究各种方法去突破SVM在大规模问题上的瓶颈,分解训练算法就是其中一个主要的研究方向。分解训练算法的确能够加快SVM训练速度,但我们认为当样本规模很大时,其训练速度仍然是不够的。 本文的研究紧紧抓住大规模样本问题中“训练样本数巨大”这一难点,试图在训练开始之前就大大减少参与训练的样本数目,使得能够应用一般的分解算法进行学习,速度大大提高,同时通过采取迭代调整策略来保证学习机的分类性能。 本文从样本抽取、迭代训练两个方面着手,对大规模样本模式识别问题的有效训练算法进行了探计,提出了一种基于样本选择策略的SVC迭代训练算法。该算法在有限资源下能够快速地构造性能优越的分类器,是目前SVM研究领域中较少涉及的一个方向。算法的主要思想是:首先分别对两类样本进行随机分组,并在每个分组中运用基于FCM聚类的样本选择策略从原训练集中选取部分有代表性的样本组成工作集,然后利用该小规模工作集进行标准SVM训练;为了保证学习机的性能,通过迭代训练对所得到的粗糙的分类器进行调整,主要策略是根据样本与当前最优超平面的距离,从原训练集中重新选择一部分有利于改进目标函数值的样本作为新工作集,重新执行SVM训练。交错进行样本抽取以及SVM训练两个过程,可以不断改进所得到的学习机,直到满足迭代终止条件为止。我们依次分析了算法的样本选择策略、迭代思想以及收敛条件,给出了算法的具体流程,并在十个大规模UCI标准测试集上进行了实验,结果表明我们提出的迭代训练算法收敛快,在保证学习精度的同时使训练速度加倍、支撑向量减少一半。
其他文献
假设F是一个数域,E是一个定义在F上的椭圆曲线。Beilinson-Bloch 猜测把椭圆曲线E的高阶K-群与数域F及椭圆曲线E的代数、解析不变量联系起来。特别地,当是F是有理数载域Q时,Beil
进入21世纪以来,我国企业国际化步伐明显加快,运营过程所依托的全球供应链网络逐步形成,面临的经营环境日趋复杂,经营风险明显加大,在这种新形势下,针对确定性环境提出的采购管理优化理论与方法已难以适应当今越来越不稳定的企业经营环境.近年来,越来越多的学者开始致力于不确定环境下供应链的研究,同时也产生了很多有代表性的学术成果.本文在已有方法的基础上,对按订单制造环境中具有风险的供应商选择问题进行了研究.
本文将讨论一类流体方程 d/dtui--(a)jΓij(Du)+u·▽ui+(a)iP=fi,(i=1,2,...,n);divu=0,(x,t)∈DT=Ω×[0,T];(E)Γij(Du)=(μ0+μ1(|Du|p-2)Diju,其中Ω(∪)Rn,u=(u1,u2,...,un):DT→Rn,f
高斯图模型(GaussianGraphicalModels)理论是描述观测变量间相互关系的重要方法。在生物信息等领域,高昂的实验成本导致观测样本量远小于变量数目,使得传统方法不可行。本文利
自主学习是学习者能够独立地确定自己的学习目的、内容和方法,并确定自己的评估体系的学习方式.自主学习的实质可以从特征、构成因素及其作用方面反映.基础教育新课程改革倡
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
近年来,矩阵反问题的研究取得了许多进展,而一些特殊矩阵在工程上各个方面应用广泛,如反中心对称矩阵在信息论,线性系统理论,线性估计系统理论等领域中有实际应用,Hamilton与
本文研究了国有饭店人力资源管理状况与企业危机的关系,分析了导致危机发生的相关因子,提出并完善了相关模型。研究结果显示:原始模型基本包含与人力资源危机相关的各个维度,
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
本文从bent函数的基本性质出发,介绍了完美非线性函数提出的背景和具体定义,指出了其与bent函数的紧密联系。考察了相对差集的性质,揭示了分裂型半正则相对差集与完美非线性函数