基于决策树的单调分类算法研究

来源 :山西大学 | 被引量 : 4次 | 上传用户:crystalymd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
决策树算法是应用最广泛的归纳学习算法之一,是一种逼近离散值目标函数的方法,它自顶向下运用递归方式,构造一棵揭示数据内部关系的树,进而得出决策规则。单调分类是一种重要的分类任务,在这种任务中需要考虑条件属性和决策之间的单调性约束:当一个对象的所有条件属性上的取值都不比另一个对象差时,它的决策也不会比另一个对象的决策差。Hu等人提出基于有序信息熵的决策树算法REMT,该算法用于单调分类问题,只要训练数据是单调的,就能生成单调一致的决策树,即使数据中包含噪声,也能够获得较好的结果。为了得到精度和分类效率更高的分类器,本文在REMT算法的基础上,研究了基于决策树的单调分类算法,主要工作如下:(1)在决策树算法中引入了前向有序互信息和后向有序互信息,讨论了它们在不同噪声等级下的变化情况,提出用前向和后向有序互信息分别构造前向和后向有序决策树的决策树生成算法,并利用规则精度将两者集结构造了分类器。在人造数据集和真实数据集中分别进行了实验,实验证明该算法不但保证了单调分类问题上决策规则的单调一致性,还提高了分类器的分类精度,并通过适当放宽决策树的终止条件,减少了决策树的深度以及分类规则的长度,避免了决策树的过度拟合。(2)借鉴决策森林的思想,提出了基于决策森林的单调分类算法,算法中引入了重采样技术,对训练集进行重采样获得多个训练子集,从不同的角度构造决策森林中的每棵决策树,得到了既有一定的相似性,又能较大程度的覆盖原始训练集中数据对象的多棵决策树。在人造数据集和真实数据集中分别进行了实验,实验证明由于决策森林减小了训练子集的规模,因而缩短了分类器的分类规则,避免了过度拟合,也可以用于数据集稍大的情况。本文中构造多个有序决策树再集结的算法都能够在单调的训练样本上得到单调一致的决策树,相对于单棵有序决策树,本文算法不仅提高了分类精度,降低了平均绝对误差,还缩短了分类规则的长度,提高了分类效率,避免了过度拟合。
其他文献
利益是决策的核心。市场体制的变革带来社会利益格局的重新调整,公共决策不仅成为一个多元利益主体参与的过程,更是一个差别化利益需求变和博弈的过程。这种利益格局的调整在
语言多属性决策是决策理论和现代决策科学的一个重要组成部分。它的理论和方法在工程设计、经济、管理和军事等诸多领域有着广泛的应用前景。由于决策问题自身的模糊性和不确
不确定信息的多属性决策方法作为现代决策理论科学的一个重要分支,在经典的多属性决策理论基础上进行拓展和延伸,并展开更系统更深入的研究,与此同时,结合决策过程中的不确定
随着多个视频播放终端在社会主流人群的普及,“主流媒体的非主流化传播”成为当下传统电视媒体不得不面对的问题。在社会化媒体广泛渗透、多屏传播渐成共识的媒介环境下,要真
目的通过研究枢椎的相关解剖学标记,建立枢椎"椎弓根"螺钉新的进钉参考标记及进钉技术。方法取40套成人枢椎干骨标本,测量枢椎下关节突、枢椎横突孔内缘与枢椎"椎弓根"的位置关系
图示为一种制造简便、使用灵活的可调量规,可用来检验多种窄槽内径,如档板槽的内径。该量规采用两块L型不锈钢金属板,其厚度应根据槽的宽度而定,然后用螺钉、螺母以及垫圈将
期刊
一、条条大路通罗马罗马是意大利首都,世界著名的历史文化名城,古罗马帝国的发祥地,因建城历史悠久而被昵称为“永恒之城”。罗马是世界天主教会的中心,有700多座教堂与修道
在复杂群决策中,达成共识不仅需要决策个体充分沟通和交流,还需引入协调者,因为协调者可以通过各种有效措施,例如提供经济补偿来说服决策个体不断修正决策意见从而达成最终共
论文引言(亦称前言)是论文的开场白,要求开门见山,简明扼要,介绍论文的写作目的、范围和相关领域研究概况,说明目前研究的热点及存在的问题,引出本文主题给读者以引导。可简述本研究
现代管理的核心问题就是决策,而在现实的决策问题中,多准则决策问题占有相当大的比重。粗集理论的一些重要特性使它能够适用于解决多准则分级决策问题。对于输入信息,也就是在分