一种改进的MapReduce互信息文本特征选择机制

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:weiyuhang99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类是数据挖掘的重要环节,而特征选择又是文本分类的核心步骤,互信息方法是常用的特征选择评价函数,但该方法过于简单,分类精度相对较低.基于此,本文提出一种基于MapReduce的互信息文本特征选择机制,一方面对传统的互信息计算公式进行改进,并且引入熵的思想对公式计算加以修正,使特征词选择更加得当,从而提高后期分类精度;另一方面引入MapReduce技术,利用其处理大规模数据的优势,缩短文本训练和分类的过程.实验表明基于MapReduce的互信息文本特征选择机制可以显著提高文本分类的精度,而且明显提升执行效率.
其他文献
目的通过对老年男性不同部位肌肉力量,身体成分、骨密度(BMD)的同步实验,探讨它们之间的确切关联,旨在为老年男性骨质疏松(OP)预防干预提供参考。方法60~79岁男性志愿受试者66名,进行
巨细胞病毒(CMV)是导致人类先天性畸形的主要传染病,但人们对它的认识却相对不足。血清学检测CMV特异性的IgM、IgG、IgG亲和力可以在很大程度上帮助区分原发性感染和继发性感
扬琴自四百年前由丝绸之路传入中国后,便扎根于这方土壤,吸取养料、茁壮成长。其发展过程中,在保留了自己作为西洋乐器的本质特性外,还吸收了中国民族乐器的部分特点,塑造了
针对华北油田典型稠油油藏开发难度大,原油物性差的特点,构建了对该区块原油具有良好乳化降解效果的复配菌群,并对各复配菌群的驱油效果进行了评价研究。结果表明,构建的红球
你眼中的中国元素是什么?一般来说,大家对于中国元素的基本理解就是能代表中国传统文化标志及象征的图案等。我觉得中国元素除了具备以上的这些特点外,最吸引人的地方就是它的
期刊
学术论文的关键词是为了文献标引工作而从报告、论文中选取出来用以来表示全文主题内容信息款目的单词和术语.1篇论文所列关键词之间应有一定逻辑组合关系,通过这种逻辑组合,提
基于城市外围居民出行的交通特点以及公交车运行成本与乘客等待时间之间的矛盾,提出了基于互联网技术和网约车思想的公交柔性调度系统,阐述了柔性公交调度系统的运行方式,设
人巨细胞病毒(cytomegalovirus,CMV)是普遍存在的β-人疱疹病毒,也称为人疱疹病毒5型,CMV诱导的肝损伤的临床表现在患者之间有很大的差异,除了能导致一些轻微症状,例如轻度肝
伴随信息技术与教育教学领域的融合日益密切,数字化、网络化、虚拟化的教学平台的高效便捷已然惠及人人。一个开放、共享、交互、协作的智慧教育环境已成为时代发展所需。本
目的探讨目标导向液体治疗(GDFT)对老年食管癌根治术患者围手术期血流动力学、血乳酸及细胞免疫功能的影响。方法选取拟行食管癌根治术治疗的98例老年食管癌患者作为研究对象,