基于Universum的矩阵型分类器设计研究

来源 :华东理工大学 | 被引量 : 0次 | 上传用户:highlove
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
模式识别是指对表征事物或现象信息进行处理、分析,以及对事物或者现象进行描述、辨认和分类的过程。分类器设计是模式识别分类方法的核心内容,涉及到统计学、非线性代数以及计算机科学等学科知识。在引入先验信息的条件下,规范化学习已经被证明在提高模式分类方面有着非常重要的作用。而矩阵型学习作为规范化学习的一种,在处理矩阵型数据的时候,不但能够提高分类性能,同时还可以降低计算复杂度,这就有效地解决了向量型分类器在处理矩阵型数据时存在的不足。矩阵型学习的成功之处就在于其结合了矩阵型数据本身中隐含的数据样本结构信息。相比于传统的向量型分类器算法,如今现有的矩阵分类器算法虽然更适合处理矩阵型数据如图像数据等,但是其更偏重于矩阵型数据样本本身的结构信息,对于样本的分布域信息并没有关注,因此在提高分类性能方面还有着改进的空间。Universum学习方法在关注样本分布的先验域信息方面有更好的效果,其利用不属于参加分类的任何一类的无关样例数据(Universum Samples)来辅助形成分类决策面,能够有效提高分类器的分类性能。但如今Universum学习多用于向量型的分类器设计中,且在对于Universum样本的选取过程中仍然存在着一些缺陷,例如计算时间过大以及生成样本效果不良等问题。本文针对上述两个问题展开研究。首先,我们通过引入Universum数据的优点,来进一步推广和改进矩阵型学习。这样的做法不仅可以引入矩阵型数据样本的个体结构信息,同时还利用了全体数据分布的先验域信息。在实际操作上,我们将之前的面向矩阵模式的Ho-Kashyap算法(matrix-pattern-oriented modification of Ho-Kashyap algorithm, MatMHKS)与可用的Universum正则化项结合起来,得到了新的基于Universum的面向矩阵模式的分类器(matrix-pattern-oriented classification machine with Universum),简称为UMatMHKS。此分类器的主要优势在于:1)引入了Universum学习的思想,充分考虑到全体样本分布之间的关系,有效利用了全体数据分布的先验域信息。2)首次将Universum学习引入到矩阵型学习的基础上,在考虑数据分布先验域信息的同时,继承了矩阵型学习关注样本个体结构信息的优点。此外我们还利用Rademacher复杂度的形式,通过理论分析和实验论证的方法论证了本算法具有更紧的泛化风险边界。实验结果证明我们所提出的UMatMHKS可以有效提高分类精确度,能够超过之前的MatMHKS以及一些其他的先进规则化分类器算法。其次,我们研究和探讨了现有Universum样本的的选取方式存在的优缺点,结合已有的Universum样本选取和生成算法的优势,提出了一种新的生成有效Universum样本(Creating In-Between Universum, CIBU)的算法。此算法的优势在于:1)借鉴处于中间的Universum样本(In-Between Universum, IBU)的近邻矩阵思想,有效界定边界样本。2)引入中值Universum生成算法思想生成有效的Universum样本,有效控制计算时间。我们通过实验证明,CIBU算法在提高分类精确度的同时,在有计算时间复杂度的控制上也有良好的表现。
其他文献
学位
学位
互联网的高度发达使得文本的数量呈现爆炸式的增长,这些文本包括新闻、微博、科技文献等等。如何让人们从海量的文本数据中快速获取重要和关键的信息,是一个需要解决的问题,该问
近些年,互联网的发展十分迅速,网络流量呈指数增长,这给位于互联网最核心部分的骨干网带来了巨大的压力,骨干网的网络规模随着流量的快速增长而急剧扩大,这使得骨干网的网络能耗大
学位
学位
学位
学位
学位
学位