基于云计算Hadoop平台的文本挖掘预处理方法

来源 :上海工程技术大学学报 | 被引量 : 0次 | 上传用户:goodgay3_2004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息社会的快速发展,网络数据正在指数级地增长,其中大部分都是文本数据.如何在有限的时间内完成大规模的文本数据挖掘分析,已成为当前的热点研究问题.文本预处理是整个挖掘过程中最耗时的环节,分布式并行处理可以缩短该过程的挖掘时间.设计分析了基于云计算Hadoop平台的文本预处理MapReduce并行化过程,并对预处理的Map函数和Reduce函数进行了详细介绍.通过实验证明,和单节点运行相比,改进后的并行化方法具有更好的性能.
其他文献
健康是人一生中最大的财富,失去了健康也等于失去了一切。如果你不想与健康为敌,与疾病为友,除了借助优质的营养保健食品来补充,调节人体必需的营养物质,别无他途。
在以竞争秩序论为核心的弗菜堡学派理论的指导下,联邦德国建立了社会市场经济体制,迅速恢复和发展了德国经济。弗莱堡学派的核心思想是建立完全竞争的市场经济与简单集中的领
首诺公司宣布推出Saflex在线玻璃配置软件,让玻璃建筑师、工程师确定最佳的玻璃配置方案。这个软件是由首诺和玻璃行业的专家共同开发的,以欧洲的方法论(EN)和国际玻璃特点与设计
位于重庆市万盛经济开发区工业园区内的万盛浮法玻璃有限公司优质浮法玻璃项目第二条生产线18日点火投产,这意味着全市玻璃原片供应紧张局面将得到有效缓解,特别是汽车产业发展
目的:评价螺旋CT结合Dentascan软件和定位模板在种植牙术前颌骨评估中的应用价值。方法:将用压模机制作的透明树脂定位模板戴入植牙患者口内,以0.5mm层厚螺旋CT扫描颌骨。扫描的
2005年12月17日,重庆永川市胜利路街道办事处永钢村公路旁,音乐环绕,场面十分热闹,两百多名亲朋好友欢聚一堂,共同朝贺老寿星蒋清德老人106岁生日。
日前对全美建筑师进行的一项调查显示,未来建筑一体化清洁能源的应用有望增加。调查还表明,由美国建筑师事务所承担的海外建筑工程数量保持稳定,其中在中国、加拿大和中东地区的
近期,欧盟委员会商议欧盟2020年产业政策上增加玻璃的投入,Glass for Europe很好地抓住了此次政策机会。此次商议的目的是为了2010年设立的2020年欧盟产业政策的期中检查做准备
为贯彻落实温家宝总理在2012年全国金融工作会议上有关“稳妥推出原油等大宗商品期货品种和相关金融衍生产品”的讲话精神,近日中国证监会批准郑州商品交易所(以下简称郑商所)开