基于公理模糊集的模糊决策树算法研究

来源 :大连理工大学 | 被引量 : 17次 | 上传用户:yingzi9252
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分类问题是机器学习和数据挖掘等领域的研究热点。决策树(Decision Tree)是最重要的分类算法之一,其优点在于分类精度高且具有可解释性。决策树在商业决策、医疗诊断分析等方面有着广泛的应用。公理模糊集(Axiomatic Fuzzy Sets, AFS)理论是一种处理模糊信息的新语义方法,其本质是研究如何把蕴含在训练数据或数据库中的内在规律或模式转化到模糊集及其逻辑运算中。AFS理论已经应用到知识表示、聚类分析、模糊分类等方面。本文结合AFS理论提出了几种基于决策树的模糊分类算法,另外还对分类问题中涉及的数据预处理及分类器评价问题进行了研究。本文主要研究工作包括:1.在AFS理论框架下,提出了一种模糊决策树分类器,称为AFS决策树。AFS决策树在阈值δ使用最大模糊信息增益选择节点的分裂属性,因此树结构受到阈值δ的影响。应用遗传算法优化参数δ,即优化AFS决策树的结构,使其在保证准确率的基础上尽可能的选择较小规模的决策树。另外给出了确定叶子节点类标签的新方法,将叶子节点所“覆盖”训练样本的主要类别作为其类标签。最后提出了一个置信度函数对分类结果进行分析,给出分类结果的可信程度。AFS理论的引入,使得该分类器可以应用到离散、连续、布尔、序关系等形式的数据上,且模糊集的隶属函数由AFS理论依据数据自动给出。在28个UCI数据集上和SVM、KNN、C4.5、FDTs、FS-DT、FARC及FURIA分类算法进行了实验比较。实验结果的统计分析显示,该算法能够获得最高的分类准确率,且显著地好于KNN、C4.5、FDTs和FS-DT算法。2.决策树分类算法的关键技术是如何选择节点的分裂属性。利用模糊集合的模糊度,提出了基于闵可夫斯基模糊度的模糊决策树分类方法。将决策树的节点视作各类样本分布频率的模糊集合,利用闵可夫斯基模糊度来监测节点分裂前后模糊度的变化,选择能使闵可夫斯基模糊度下降最多的属性作为该节点的分裂属性。另外,从理论上证明了阈值δ与树结构之间的关系:如果δ1>δ2,那么δ1对应的决策树可由δ2对应的决策树通过恰当地删减子树得到。这为通过剪枝优化树结构,寻找较小的决策树提供了理论基础。通过在16个UCI数据集上和基于GINI index和Min-Ambiguity分裂属性选择标准的模糊决策树的比较发现,与上述两种模糊决策树相比,基于闵可夫斯基模糊度的决策树在取得较高的分类准确率的同时也能得到较小的决策树。3.在模型树分类算法和AFS理论基础上,提出了AFS based Pattern Tree Rules (AFSPTR)分类算法。该算法通过模糊概念的聚合产生模糊分类规则,聚合前用AFS隶属函数依数据对特征空间进行模糊划分,然后利用新的聚合目标函数对模糊概念进行聚合。聚合目标函数由模糊相似度和模糊熵度量两部分组成,一方面刻画了聚合结果与目标类别之间的相似性,另一方面描述了在聚合结果下目标类别与其他类别之间的相异性,这实质上是AFSPTR在准确性和简单性之间的一种平衡。在8个UCI数据集上和C4.5、Decision Table、JRip、NNge、OneR、PART及Ridor七种基于分类规则的分类器进行了准确率、规则集复杂度的比较。统计结果表明,AFSPTR算法在8个数据集上得到了最小的分类规则集,且其分类准确率显著地好于Decision Table和OneR方法.4.首先提出了一种基于仿射传播聚类的样本选择方法(APIS).APIS将训练数据聚为若干类别,将所有的类代表样本作为新训练样本训练分类器。其次提出了一种基于特征空间划分相似度的分类规则集一致性评价方法。先用分类规则将特征空间进行划分,然后找出每条分类规则的核空间,最后通过不同规则集的核空间的相似度来确定两个规则集的一致性。这种一致性不仅可以用来评价两个规则集的分类知识是否一致、判断已有的规则知识库是否需要更新,而且还可以作为选择分类器的依据。实验部分在17个数据集上比较了5种决策树算法之间的相似性,验证了C4.5算法在不同数据集上的一致性。
其他文献
在全球化背景下,人员跨国流动增加,安全局势更为复杂,各国都面临着领事保护任务加重的局面。本文以日本外交蓝皮书中的相关内容为基础总结分析了日本领事保护机制发展的背景
铁型覆砂铸造工艺是近几年迅速发展起来的一种获得优质铸件的新方法,曾被国家和机械部列为八.五重点推广项目。这种铸造方法兼具金属型和砂型铸造的优点:铸件尺寸精度高,飞边
1979年9月在《十月》(第3期)上刊登了白桦的电影文学剧本《苦恋》,该剧本讲述了一个知识分子爱国的故事,一年后,彭浩导演据此拍摄的电影《太阳和人》在文坛甚至政界引起强烈
学校办公室管理应从明确的角色定位入手,根据学校实际情况制定具体的管理目标和实施方案,逐步建立适应时代的管理模式。
高校是人才资源开发和科学技术发展的重要阵地,关系到国家和民族的长远发展,关系到国民素质的养成,因此,高校的发展受到世界各国的普遍重视。但是教育经费紧张与教育经费需求
金丰投资、绿地集团均为上海市国有资产监督管理委员控股的房产企业,在十八届三中全会的要求下,上海国资积极发展混合所有制经济,试图以绿地集团借壳金丰投资,探索国有资本与
<正>吞咽功能障碍是指食物从被认知开始,经口腔、咽部、食管到达胃的全部过程中所发生的障碍,是脑卒中的常见并发症之一,不但影响生活质量,而且还常导致脱水、营养不良与肺炎
目的:探讨目标教学法在护生临床实习带教的应用效果。方法:对照组采用传统的教学方法;实验组采用目标教学法,实习结束进行理论及操作考试,同时采用检测及问卷调查法对教学效
采用碱溶酸沉法提取玉米胚芽分离蛋白,利用氨基酸分析和电泳分析胚芽蛋白的氨基酸组成和有效亚基组成。凝胶层析分离玉米胚芽蛋白组分,并对各组分进行热变性温度及圆二色谱分
本文以商业银行个人理财产品消费者的知情权为研究对象,首先从商业银行个人理财产品消费者知情权的相关概念入手,通过对商业银行个人理财产品知情权现状的分析,结合理论与实践,以