基于Hadoop MapReduce的大规模数据索引构建与集群性能分析

来源 :桂林电子科技大学学报 | 被引量 : 0次 | 上传用户:Augustin413
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了满足搜索引擎构建索引的时空开销需求,构建高效的分布式索引,利用Hadoop搭建分布式集群环境,基于MapReduce编程实现大数据倒排索引。采用不同的网络带宽、数据量和集群节点数来评估Hadoop集群的性能。实验结果表明:网络带宽越大,集群处理效率越高;集群节点数越多,处理大数据的能力越强。可见,网络通信带宽对Hadoop集群性能有一定影响,高速集群链路有利于发挥集群的性能。
其他文献
在高水平的武术比赛中,为了获得比赛最佳成绩,运动员必须根据实际情况制定战术计划,通过自我调节达到最佳比赛心理状态,并体现在比赛的整个过程中。
为了将现有红外遥控家电与智能家居系统无缝结合,设计提出了一种基于Zig Bee网络智能家居万能红外遥控系统。设计的万能红外遥控节点,通过自适应方式学习、存储和重构多种红
手机银行在农村地区的发展对于提升金融服务在农村地区的质量是非常重要的,金融机构可以提高金融服务在农村地区力度不足的现状,在目前的情况下,缓解信息不对称存在农村金融
蓝牙是近年来出现的一种新型的短距离无线通信技术 ,旨在摈弃有线连接 ,通过无线链路就能将移动设备 (手机、手提电脑等 )与固定设备 (如打印机、计算机、幻灯机等 )连接起来
本文探索在医院信息条件下,如何应用现代信息技术实现临床研究方法的转变,最终实现利用临床实际条件的数据直接生成格式化病例报告表的数据。病例报告表(Case Report Form,CR
目的:观察品管圈活动是否能降低植入永久性心脏起搏器术后电极脱位的发生率。方法:对植入永久性心脏起搏器的65例患者进行质量控制,通过建立品管圈活动小组,调查护理人员对植
包装创意设计这一现代设计方法的研究与应用发展 ,随着时代的进步及人们审美观念的提高而逐步形成 ,优秀的创意对企业品牌或整个产品推广有着决定性的作用。因此 ,在包装设计
现对幼儿分享教育的新视角进行了探析,由此提出:幼儿的分享教育应当摒弃传统的强制式的教育方式,尊重幼儿的意愿;更加注重通过移情训练引导幼儿学会自愿与他人分享;应当调动
为确定驻涡燃烧室中心驻体最佳宽度,在四种来流条件下,对当量宽度为0.3~0.8范围,间隔为0.05当量宽度的中心驻体驻涡燃烧室三维黏性流场进行了冷态数值模拟.计算结果表明,当量
近年来,我国水利水电工程大量兴起,并为我国的经济建设作出了巨大的贡献,但是水利水电工程在我国由于发展快,起步晚,在水利水电工程验收工作中仍然表现出一些问题,本文将对这