数据本地性相关论文
近年来,随着人类社会积累的数据量不断增加,传统数据处理方法逐渐表现出一些瓶颈和限制。自从Map Reduce论文奠定了大数据处理的思......
随着互联网的发展和层出不穷的各种应用,互联网产生着大量的数据,如何有效存储和处理这些大规模数据成为了一个亟待解决的问题。为......
自2006年被首次提出以来，云计算已经成为IT行业中的持续性热点，它具有很高的商业价值。由谷歌提出的MapReduce云计算编程模型针对大......
人类从当前“以设备为中心”的时代,已经进入了“以服务为中心的时代”。现在,“云”正成为IT业界关注的焦点。Hadoop是Apache开源......
并行计算机现在开始采用由传统DDR和新型高带宽存储器(HBM)组成的带宽非对称的存储器架构,即一种混合存储器(HM)架构,以获得更高的......
借助于虚拟化的计算能力,存储资源以及现代Web技术,云计算能够为用户提供可扩展的、以网络为中心的、抽象的IT基础设施,平台以及各......
调度问题作为影响Hadoop集群性能的关键因素而成为研究的热点.延迟调度是常用的提高数据本地性和Hadoop集群性能的方法,但现有的延......
为了提高Hadoop作业的Reduce任务的数据本地性，深入分析了Reduce任务的数据本地性问题，并提出了一种延迟调度算法DSORT（Delay Schedul......
针对已有的延迟调度算法存在的两个问题,即建立在节点会很快空闲的理论假设下有一定限制,当节点不会很快空闲时算法性能严重下降和......
在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都......
Hadoop异构集群由于不同slave节点的硬件配置不同（例如CPU、内存、磁盘等），每个节点的Map任务和Reduce任务的slot也不同。文章通过研......
针对现有异构任务调度算法存在负载不均衡、数据本地性问题,提出基于树结构的负载树任务调度算法。该算法通过量化节点计算能力构......
云计算所提供的服务面向庞大的用户群,随着节点规模的扩大、任务执行时间的增长,云计算的故障率越来越高。为此,提出基于任务备份......
MapReduce已经成为主流的海量数据处理模式，任务调度作为其关键环节已受到业界广泛关注。针对已有的延迟调度算法存在的问题，即建立......
该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺......
目前大数据处理过程较少关注任务所处理数据间的依赖关系,在任务执行过程中可能产生大量数据迁移,影响数据处理效率.为减少数据迁......
Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性,减少数据传输时间,减少集群的网络I/O,提高资......
异构环境下的Hadoop平台对reduce任务的调度存在随机性,在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能......
在Hadoop系统中,大规模数据分析应用程序的数据本地性是影响其性能的关键因素.传统的Hadoop系统是部署在物理机中的,目前针对传统H......
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们......
针对云计算环境中大规模数据集的处理,MapReduce集群已成为一个强大的处理平台。文中提出了一种基于虚拟化平台动态资源重配置的资......
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们......
最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任......
分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性。为了提高读写效率,现有系统在将任务分发给不同节点时......
作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性......
由于已有的延迟调度算法基于静态的等待时间阈值,因此不能适应云计算数据中心动态的负载变化。针对该问题,提出了等待时间阈值自适......
资源调度是云计算的关键问题之一,它的调度策略与算法直接影响到云系统的性能及成本。首先,根据现有云计算资源调度中的各种策略和......
随着互联网技术的迅猛发展,IT产业已经逐渐趋于消费化、社会化,日益累积的大数据已经开辟了一个崭新的计算时代,而云计算为这个时......
随着信息技术的发展,互联网作为一种服务越来越深远地影响人类的生活。在信息爆炸的背景下,海量信息处理成为计算机科学的新挑战。......
