论文部分内容阅读
高性能计算机的发展促使了高效能程序设计环境的产生与发展,尤其是并行编程模式的发展。一方面,由于并行机体系结构的多样性给并行程序的开发带来了很多困难,因此怎样简化并行编程提高开发效率成为了一个关键问题。另一方面,面向云环境,如何提高并行计算的能力以实现在海量数据中获取有价值的信息也成为了互联网中极需解决的问题。针对上述两个问题,Google公司研发了一种新的并行编程模型MapReduce,它在高抽象层次上以易使用和易理解的方式来简单高效地解决并行计算问题。论文在研究并行编程模型及其具体的并行程序开发模式的基础上,紧紧围绕云计算及其关键技术MapReduce并行编程模式展开研究,通过对MapReduce的实现框架、执行过程及其实现平台进行分析与应用,取得了以下研究成果:1、针对MapReduce缺乏一个快速高效的标准或规则来调整和优化其作业执行性能的问题,本文提出了提高MapReduce性能的几种技巧,先描述问题出现的状况,再提出具体的解决方法,最后在集群上进行测试实验,且给出了使用技巧前后的对比性测试数据,可给MapReduce作业的开发者提供帮助。2、通过对MapReduce模型执行过程的分析,针对单源最短路径算法难以随着云计算的产生和发展而得以广泛应用,其搜索效率也难以提高的问题,本文设计和实现了一种基于MapReduce框架的单源最短路径算法的并行方法,并基于Hadoop平台集群环境进行了研究与实验,且分别对该问题的并行加速比、效率及可扩放性进行了详细地测试,结果表明,文中算法可以有效地找出整个图结构中的单源最短路径,且验证了算法性能的优越性。