异构 Hadoop 集群下的比例数据分配策略

来源 :计算机应用与软件 | 被引量 : 10次 | 上传用户:huolong820
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对异构Hadoop环境下仍采用均等的数据分配方法将严重降低MapReduce的性能,提出比例数据分配策略。通过计算异构集群中各节点的计算比率,将已经分割好的数据块重新进行组合,形成数个按比例划分的数据块。每个节点根据自身性能来选择所分配和存储的数据块,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间数据的移动量。实验验证了提出的比例数据分配方法可以有效地提高MapReduce的性能,并使数据负载均衡。
其他文献
摘 要:小学语文的教学艺术在于对学生的熏陶,对学生的正确引导。尤其是新课的导入,是新课教学过程中至关重要的环节。新课导入是一门艺术,它应该集知识性、趣味性、艺术性于一体,这样的导入可以有效吸引学生的注意,激发他们的求知,活跃语文课堂的氛围。  关键词:小学语文;导入设计;方法  百年大计,教育为本。而小学语文教育又是基础教育的重点。所以,在素质教育不断发展的今天,语文在小学教育中具有举足轻重的作用
摘 要:微博作为重要的网络舆论载体,在现代社会生活中起着举足轻重的作用,微博舆论已成为社会舆论的重要组成部分,但由于微博舆论具有其独特性、微博传播环境的复杂性增大了舆论管理的难度。这种情况下,借力经典理论对微博舆论特征的分析,准确把握其特性将有利于我们对微博舆论的管理和引导。  关键词:微博舆论;特征;理论  在当前时代发展的大形势下,各种网络新技术不断更新换代。美国媒介理论家保罗·莱文森将互联网
摘 要:唐卡具有鲜明的民族特色、浓郁的宗教色彩和独特的艺术风格,历来被藏族人民视为珍宝,根据文献资料记载,早在唐朝,祖国藏区就有了关于唐卡艺术创作的记录。在青海甘肃旅游看到了第一幅唐卡开始,就被这种带有异域色彩风情的中国画作深深吸引,于是我们去了当地的几个博物馆,去了吾屯的唐卡手艺人家,在那里我们看到了更多的唐卡,也对它有了更深入的了解。  关键词:唐卡;散点透视;佛教密教五色;工笔重彩  201
摘 要:教育是什么?借用叶圣陶先生的一句话,那就是要培养学生良好的习惯。数学学习亦是如此,学生养成良好的学习习惯不仅有助于提高“教”的效率,也有助于“学”的效率,对于促进学生思维发展,提高数学综合素养都极具价值和意义。基于此,本文从四个方面着重论述了在数学教学中如何培养小学生良好的学习习惯。  关键词:小学生;数学;学习习惯  一、良好的倾听习惯的培养对策  听是人们最基本的语言活动,因此说培养小
随着教育改革的不断深化,美育对培养全面发展人才的作用越发重要。它具有开发智力,陶冶情操、培养美感和愉悦身心的作用。它可以教育学生树立审美观念,培养学生审美能力,提高学生发现美、欣赏美、创造美能力,美育的基本特征是具有示之以形的形象性、动之以情的情感性和寓教于乐的愉悦性,它的这一特性是其他教育所不能取代的。  一、设计生动优美的画面,启发学生发现美  “生活中缺少的不是美,缺少的是发现。”但是小学生
前向安全数字签名主要是针对密钥泄露的问题,即使当前密钥泄露,也能够保证先前签名消息的不可伪造性。利用Chebyshev公钥算法,提出一种基于身份的前向安全数字签名算法,它不仅可以利用签名者身份信息作为公钥对签名进行验证,而且能够确保签名的前向安全性。该方案基于大整数因式分解和Cheyshev离散对数难题,具有很高的安全性,分析表明该方案可以达到良好的性能。
摘 要:随着部编版语文教材的到来,我们已经感受到教育改革出现两大趋势:一是教育的价值取向从单纯的传递教科书上所呈现的现有知识向促进人的主动健康发展转变;二是教学的组织形式从批量生产式的大班教学向适应个性充分发展的小班化或个别化教学转化。同时,教育资源的充裕和家长对子女接受优质教育期望的提高,让我校开设的“精品小班”成为全区教育改革的探索热点。  关键词:语文课堂教学;探索热点;感悟  作为一名语文
摘 要:随着“十三五”规划的不断实施,高中地理核心素养评价指标体系构建,一跃成为了教学活动的重要组成部分。评价指标类型是多元化的,不仅可以促进高中学生的全面发展,还可以实现形成性评价机制,确立“立德树人”的根本任务。其中,地理核心素养是高中地理教育的重要目标,高中核心素养的构建,不仅可以为终身发展展现重要意义,还可以在实践的基础上做到因材施教、差异化构建。最终,秉承科学发展观,适应社会主义现代的发
随着无线技术的普及和发展,无线网络的安全问题愈加严重,尤其是当无线终端本身可以自由接入并随机移动时,许多安全事件如移动用户身份窃取、攻击入侵、木马等很容易发生。目前开发的系统主要针对的是计费问题及对服务器的攻击,而对整个网络的管理,实现用户的行为监控,以及当网络中发生安全事件时,如何追溯事件的源头以进行有针对的处理等方面所做的工作较少。系统通过PORTAL+RADIUS认证对无线网络用户进行身份认
发展我国职业教育意义深远——对高等教育大众化和教育公平起积极的促进作用,对我国经济高质量发展起有力的支撑作用,对国家社会稳定治理起较大的推动作用,对高职教育机制体