基于特征边界点的优化几何集成线性分类器

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:rosy888888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在机器学习的研究中,间隔最大化是构造最佳分类超平面的有效策略,也是支持向量机的训练目标。在数据集线性可分的情况下,间隔可被定义为距离分类超平面最近的样本点到分类超平面的距离。但是当数据集线性不可分时,支持向量机的间隔就必须通过核函数定义,几何意义不够直观。  为了在线性不可分的数据集原始空间内直观地定义最大分类间隔,Oriol Pujol和David Masip于2009年提出了一种基于特征边界点构造的分片线性分类器--优化几何集成模型。特征边界点是指在对噪声点有鲁棒性的同时位于最佳非线性分类线上,由满足一定条件的样本点对构造的点。优化几何集成模型先计算特征边界点的集合,然后在其基础上构造了一系列的相关基础线性分类器,最后利用Tikhonov正则化过程确定所有基础线性分类器的权重,并构造优化几何集成模型。它不仅具有易于实现的优点,也有几何的直观性。即使在数据集线性不可分的情况下,也不需要映射到高维特征空间。本文进一步研究了优化几何集成模型。主要的研究工作包括以下几方面:  1)针对优化几何集成模型在计算特征边界点集合的过程中包含大量冗余运算且计算效率较低的缺陷,分别利用Gabriel近邻规则及其启发式搜索法加速特征边界点的选取过程,提出了两种改进的几何集成方法--Gabriel几何集成模型和启发式几何集成模型,并与优化几何集成模型进行了比较实验。实验结果表明,Gabriel几何集成模型和启发式几何集成模型在保证分类准确率的情况下有效地提高了特征边界点集合的计算速度,大幅度减少了时间消耗。  2)通过将优化几何集成模型中的特征边界点看作神经网络中的隐藏层节点,证明优化几何集成模型在本质上可以看作成单隐藏层前馈神经网络。利用神经网络的学习能力和隐藏层节点的关系说明优化几何集成模型利用整个特征边界点集合构造分类模型的冗余性,并根据随机函数链接网络的实现原理提出了随机优化几何集成模型,即通过从特征边界点集合中随机挑选部分特征边界点构造最终的分类模型。对比实验证明随机优化几何集成模型在消耗较少的训练时间和空间的情况下获得了和优化几何集成模型相近的分类准确率。  3)为了将优化几何集成模型和随机优化几何集成模型推广到多分类中,本论文将支持向量机的四种多分类方法--一类对多类模式,一对一投票模式,树形模式以及有向非循环图法应用到多分类几何集成模型中,并且根据它们在UCI数据集上进行的实验来比较四种方法的效率和准确率。
其他文献
随着信息技术和计算机网络的飞速发展,现实世界越来越依赖于计算机系统。防止病毒对计算机系统的破坏、黑客对机密信息的窃取,加强计算机系统的安全性,更好的保护计算机内部的数
随着多媒体技术的快速发展,视频运动对象分割技术的应用越来越广泛。它在MPEG-4基于内容的视频编码、视频临控、场景分析、对象跟踪、基于内容的检索以及交互式操作等领域中都
随着Web2.0的发展及个人电子设备的普及,网络上的信息量非常的巨大,并且时时刻刻都在以惊人的速度增加着。互联网的每个用户是信息的消费者的同时也有可能成为信息的产生者。无
随着半导体工艺的迅速发展,晶体管的数量及处理器芯片的制程工艺不断提高,使处理器的集成度越来越高。然而,片上集成元件数量的增加使得处理器芯片的功耗密度急剧增长。目前,多核
视觉注意机制使人类能够高效的处理外界环境信息,进行目标检测。计算机视觉系统也面临同样的问题:如何实时有效的处理大量的视觉数据,如何智能化的根据场景的需求来有效的处理其
支持向量机(Support Vector Machine,SVM)是一种建立在结构风险最小化原理基础之上的机器学习算法,能够很好的解决小样本、非线性、高维数和局部极小点等实际问题。支持向量机
随着互联网技术的飞速发展,网络技术日益广泛的应用于商业、金融、国防等各个领域,并影响着人们生活和工作的方方面面。但是网络固有的互联性和开放性导致其安全问题成为未来网
时序协作逻辑(Temporal Cooperation Logic)是软件模型检测领域的博弈逻辑分支上的重要成果。它扩展了交互时间逻辑(Alternating-time Temporal Logic)[1],完善了基本策略交互
云计算是一种新的网络化IT服务模式,它的目标是像供水、供电一样,组织大规模的计算和存储资源向用户提供便捷、经济、全面的服务。也正是云计算的这些优点才吸引了越来越多的企
随着多核系统片上集成的CPU核数的增多,系统对Cache的访存需求也急剧增加,因此,片上Cache的容量也势必会增大,从而其消耗的能量也越来越多。能量的巨额消耗,会引起系统温度的上升,