基于“特征重要因子”的特征选择策略及其应用研究

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:liuyunvc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展、数据采集和存储技术的进步,人们获得数据的能力急剧提高,并且已经拥有的大量数据还在不断以指数级的速度增长。然而,这也给如何有效地利用数据带来了严峻的挑战。现实世界的数据集中常常含有与数据挖掘任务无关且多余的特征;此外,“维度效应”的存在也使得数据挖掘问题不得不将注意力集中在目标数据集的部分子集上。因此,对于一个高维度的数据集,如果不事先设法去掉多余的特征,模型的效果就会受到很大的影响;降低多余的、不相关特征的个数可以减少模型的训练时间,产生一个更加简洁和易于理解的模型。 近十年来,特征选择研究引起了学界的广泛兴趣,各种新思想和新方法层出不穷,并呈现出多样化和综合性的趋势。各种新搜索算法和评估标准都应用到特征选择研究中去。如粗糙集算法、神经网络剪枝法、支持向量机的评估标准、特征集的模糊熵评价、马尔可夫算法等。并且除有指导学习的特征选择研究外,也开展了关于无指导学习的特征选择研究。另外还出现了关于特征选择算法融合性的研究,如关于Filter方法和Wrapper方法结合的研究,特征选择和样本选择的组合研究,结合特征选择算法和聚类、分类、关联分析的研究等等。 各种新方法新理论的存在,一方面说明了特征选择研究的重要意义,另一方面也为如何准确理解和把握特征选择问题造成了困难。本论文在研究了大量流行的和领先的特征选择方法后,提出了基于“特征重要因子”的特征选择策略,该策略旨在建立一种一致的、普遍适用的、能够从方法论的宏观角度出发的策略。该策略将特征选择问题转化为一个两阶段的问题,即首先通过“特征重要因子”度量特征的重要程度,再利用“特征重要因子”确定重要的特征。针对分类问题,提出并比较了基于决策树的特征重要因子确定方法,通过在UCI数据集的实验研究,证实了基于“特征重要因子”的特征选择策略的可行性和有效性,并给出了实用的特征选择建议方案。在电信和医疗的真实数据集的应用分析和比较,则证明了此种策略的通用性和实用价值。在基于“特征重要因子”的特征选择策略中,“特征重要因子”的确定具有重要的意义,是此策略的核心。特征重要因子值的大小也反映了特征的重要程度,即特征重要因子的值越大,该特征越重要。若按特征重要因子进行降序排序,则排序的结果就是特征重要程度的排序结果。通过对特征重要因子进行规范化处理,使得特征重要因子的取值在0~1之间,其中1对应的特征为强重要特征,接近于0的为弱重要特征。针对分类问题,本论文分别采用基于信息增益、信息增益比的特征重要因子确定方法和基于决策树结构的特征重要因子确定方法确定特征的重要程度,并加以比较,给出相应的重要特征选择建议。 本论文的研究是一个开始,由于数据挖掘研究与应用领域的广泛性,如何针对不同问题确定“特征重要因子”,并给出基于“特征重要因子”的特征选择方法和建议,是我们以后需要研究的重点之一。此外,今后的特征选择研究,除通常意义的0~1特征选择(Crisp Feature Selection)外,更多关注的是基于“特征重要因子”度量的模糊特征选择(Fuzzy Feature Selection)。最后,本文给出的实用解决方案仅适用于分类问题,将本文的方案应用于其它问题的特征选择是我们将要进行的另一项工作。
其他文献
不觉中从事这份被艳羡为阳光下的工作已十余年,我从一个初出茅庐的只会拿画笔的丫头也茁壮成了一名久经风雨的解惑立德之人,回首中感慨良多,经过不断的学习、成长我对所从事的这份职业也爱得更加深沉。我的学生,一个个年轻的生命鲜活亮丽,犹如初夏的繁花,总是用他们的纯真涤荡着我的职业灵魂,敦促我不断更新教学理念。  1、平等教学。我们说尊重学生,往往是一句口号,“师道尊严”使我们保持着老师的神威,让学生望而却步
本平台以协作制造资源共享的方式作为突破点,可以在互联网共享经济下,借得“东风”.拟整合重齿供应链产业集群平台、电子商务平台原有功能,新增制造资源共享平台功能,实现重
当今世界,高技术产业已成为许多国家的先导产业和战略产业,知识产权已成为许多国家提升创新能力和国际竞争力的有力武器。我国不但面临着人口、资源和环境的诸多问题,而且也面临
贷款利率的形成机制和定价水平对于信贷资金运用和资源配置的效率有着极其重要的意义。随着我国利率市场化改革的不断深入,特别是央行放开贷款利率上限和巴塞尔新资本协议逐步
学位
“一个企业的单笔销售金额越大,每个销售人员越重要,营销就越不重要;反之,企业的单笔销售金额越小,每个销售人员的销售额占整体销售额的比例越小,营销就越重要。这就是营销中的‘销
有研究成果表明,交往活动对幼儿的学习能力、适应新环境的能力以及对成年后社会适应能力等方面都有着突出的影响。幼儿园作为孩子们生活和成长的重要场所,不仅应为幼儿积极创设交往的空间,还应努力为他们营造主动交往的氛围。  记得女儿刚读幼儿园中班时,有一天她拿着我给她新买的万花筒,十分好奇,玩耍一阵之后,便想要弄明白万花筒的转动头里的奥秘,东掰西拧也没能把转动头弄开,便叫我帮助,我费了好大的劲,也没有解决问
物联网的应用风起云涌,在各个行业里都有很强的发展势头,可是,物联网要发挥作用,必须摆脱单点应用的格局,靠什么来做这个粘合剂呢?人大代表李朋德建言:    两会期间,全国人大代表、国家测绘局卫星测绘应用中心主任李朋德提交了《关于统筹物联网和智慧中国建设的建议》,指出物联网是智慧地球、智慧城市的物理基础,而发展物联网需重视空间基础:  世界发达国家都在考虑占领科技制高点,尤其为了应对全球金融危机,发展
叮铃铃、叮铃铃……预备铃响起了,其他班级的同学有的打水,有的洒水,有的扫地,有的拖地……忙个不停。而我们班的教室门,却因为班长忘带钥匙还紧锁着。眼看就要上课了,该怎么办呢?  同学们你看看我、我看看你,又看看紧锁的教室门,急得像热锅上的蚂蚁一般,却又不知所措。突然,一位同学开心地喊道,老师,我有办法了!我转过身向声音的来源望去,竟然是班里调皮捣蛋、爱爬高爬低、老师多次劝告都不接受教诲的周某某同学。
课题研究论证报告  1、课题提出的背景与所要解决的主要问题  (1)课题提出的背景:由于各种原因,学校生源参差不齐,有本规划区的(包括留守儿童)、乡下来城就读者和外来人员,学生素质差异大,课堂教学组织难、教学效果不显著。在教学上,优等生“吃不饱”,后进生“吃不下”,中等生难以提高的情况越来越多。随着年段提高,学生厌学现象越来越多,一上课“头脑”就发热,自暴自弃,伴随如此“后进生”队伍也越来越庞大。
一、教材依据  普通高中课程标准实验教科书 化学1(必修)山东科学技术出版社2007年7月第3版  第3章 自然界中的元素 第3节 硫的转化;  第2课时 实验室里研究不同价态硫元素间的转化  二、设计思路  指导思想:从自然走进化学,探究学习,合作学习。  设计理念:转化观在不同价态硫元素的相互转化中的体现。  教材分析:本节课是在学习自然界中不同价态硫元素间的转化和认识硫单质之后,进一步运用分