大数据下基于MapReduce的Dirichlet朴素贝叶斯文本分类算法

来源 :科技通报 | 被引量 : 0次 | 上传用户:zhelehang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对当前大数据环境下朴素贝叶斯文本分类算法在处理文本分类时存在的数据稀疏、分类不准及效率低的问题,本文提出了一种基于MapReduce的Dirichlet朴素贝叶斯文本分类算法。算法首先根据体征词语义因素以及类内分布情况对权重进行加权调整,以此对的计算公式进行修正;引入了统计语言建模技术中的Dirichlet数据平滑方法来降低数据稀疏对分类性能的影响,并在Hadoop云计算平台采用MapReduce编程模型实现本文算法的并行化。通过测试实验对比分析可知,本文算法显著提高了传统朴素贝叶斯文本分类算法的准确率
其他文献
目的:探讨同型半胱氨酸、C反应蛋白与血脂相关指标对冠心病诊断的比较。方法选择兰州市中医医院收治的314例冠心病患者,标记为观察组,另外选择到该院体检的健康人群220例,标记为
以γ-丁内酯(GBL)、甲胺为原料制备N-甲基吡咯烷酮(NMP),考察了影响反应的工艺条件,实践表明.n(CH3NH3):n(GBL)为1.6~1.8,n(H20):n(GBL)为3.6~4.0,反应温度为275~285℃,反应时间为为2.0h.反应压力为6.0MPa,GB
1育成鸡的生长发育特点蛋雏7周龄到产蛋前(一般为7-18周龄)的鸡称为育成鸡。育成前期是骨骼、肌肉、内脏生长的关键时期,随着采食量的不断增加,鸡体本身对钙质沉淀、积累能力有所
"民亦劳止,汽可小康。"般实富足的小康生活是中华民族的千年愿景,是亿万人民的共同期盼。从小康到总体小康再到全面小康,改革开放以来,中国共产党人扭住这个奋斗目标,一届接
期刊
科学技术水平的快速提升促进了我国城市的现代化发展,很多城市内部的基础建设在不断完善,提高了人们对住宅环境与舒适度的要求。所以,应在房屋建筑工程的建设过程中,不断对房
在磁带录音技术中,噪声是一项重要的特性,噪声电平的高低,直接影响声音质量及其效果。本文详细地介绍了噪声的分类及噪声产生的原因。
1991年世界PVC生产能力约为2000万t,预计1988~1995年生产能力年均增长率为4%,1995~2000年为1.1%,增长减慢;1987~1990年世界PVC硬制品和软制品需求年均增长率分别为4.9%和2.3%,预计1993~1996年将分别增至6.0%和3%;1991年世界PVC贸易量为185万t,1992年为1993万t。
本文立足于小学语文教学实践,从“创造性”“系统性”“深刻性”三个方面入手,对小学语文教学中发展学生思维能力这一教学主题进行了初步分析与探讨。
随着智能变电站、数字化变电站的快速发展,对变电站检修人员提出了更新、更高的要求,特别是如何快速、准确的完成变电站缺陷判断和处理,是变电站检修人员急待提高的技能。利用抓