大规模SVM训练算法的研究

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:yeyeye5122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于高维数据,通过核方法将输入样本映射到更高维的空间通常不会明显改善决策函数的分类精度,而线性支持向量机(SVM)能够提供很好的泛化能力。使用线性核时权向量的每一维可以根据系数以及训练样本直接计算。当构成权向量的支持向量较多时这可以显著减少权向量和训练样本点积的计算代价。本文基于最小闭包球的算法求解SVM的一种变形问题。提出的方法保存权向量及其每个分量公共因子,并且每次迭代只更新其中很少的部分,算法的复杂度为Ο( md), d为输入样本的平均非零属性数目,m是核集大小。实验表明此方法在一些数据集上的训练速率高于当前流行的线性SVM求解器,比如对偶坐标下降法(DCD)以及基于割平面的SVMperf。对大规模非线性SVM优化问题提出了一个有效的并行训练算法。提出的算法把原问题分解成多个子问题在各个节点单独求解。每个节点在训练局部支持向量机时不需相互通信。合并过程采用简单的迭代过程处理各个子问题的解。在合并过程中需要计算来自不同节点的权向量(不能直接算出每一维)的点积,这需要很高的计算代价,因此每个节点在训练结束后使用替换策略对权向量进行归约。这使高效地训练大规模支持向量机成为可能。
其他文献
图是计算机科学中的重要数据结构。随着信息技术地不断发展,出现了越来越多的以图作为逻辑表达的数据,例如化学分子结构式,生物网络,社会网络以及图像中的实体关系等等。另一方面
随着数据库和网络技术的广泛应用和不断发展,保证网络上数据信息的一致性以及数据信息在远程节点的备份成为目前应用的迫切需要。网络的复杂性以及数据库产品的异构性等因素
随着资源的爆炸式增长,分布式协作对P2P下载、Grid计算、互联网搜索、云计算等实际应用的意义越来越重要。复杂网络学科的兴起为研究P2P网络、Grid、Internet等分布式协作环境
学位
应急通信系统是指应付地震、火灾、台风、洪水和大范围传染性疾病等紧急情况时所使用的通信系统,它的主要功能是实现紧急情况下的信息获取、处理、决策和应对管理等。应急通
组播是一种不断发展的、高效的、面向群组应用的网络通信机制,它提供了一种一到多和多到多的通信传输方式。随着不断丰富的组播服务的出现,如移动TV服务,视频点播,交互式群组
近几年,IEEE 802.11无线局域网得到迅速的发展,并已经被广泛的应用于人们的工作和生活中。同有线网络相比,无线局域网的性能还是有很多不足,这除了其物理传输介质的固有特点之外,M
模糊神经网络是人工智能的热门研究课题,已在聚类、识别等方面取得了大量成功的应用。本文的主要研究工作包括以下两个方面:(1)从理论上分析了模糊系统中多种模糊算子,对各种
随着Internet的发展,Web已经成为一个庞大而复杂的知识库,研究如何从Web中抽取信息变得越来越重要。Web中有一类重要的页面是数据导向型页面,这种页面动态生成、便于更新,研
随着计算机网络技术的发展及网络的普及应用,计算机网络已在人们的工作生活中占有非常重要的位置,但伴随而来的病毒泛滥、垃圾邮件传播、恶意代码和黑客攻击等威胁使得整个网络
高效的图像/视频压缩编码是以数字化存储和传输为核心的多媒体应用中亟待解决的基础科学问题之一。图像/视频压缩方法大体上可分为目前广泛采用的基于信号编码方法和基于视觉
学位