随着大数据时代的来临,各类并行计算框架应运而生。这其中,基于MapReduce架构的Hadoop和Spark等由于具备高容错性、高扩展性和高可靠性等优点,越来越受到人们的关注。随后,研究人员在MRv2中将资源管理和处理组件分开,形成通用的资源处理框架—-YARN,进一步提升了系统的可伸缩性、效率和灵活性。YARN平台非常适合面向互联网的大规模数据处理,但当其应用到高性能计算中时,在资源调度、Shuffle算法等方面,仍然存在可提升性能的地方。本文针对上述问题,进行了深入的研究,取得的主要成果如下：(1)提出并实现了一种基于人工鱼群的YARN平台资源调度器算法,提高了系统的资源利用率。该算法从提高内存利用率和减少job运行时间两个方面进行了改进,使其更加适应高性能计算的需求,并将其抽象为MKP多背包问题,最后应用人工鱼群算法获得最优解。实验证明本文可以有效地提高系统的运行效率和资源利用率。(2)提出并实现了一种面向RDMA的YARN平台Shuffle算法,提高了YARN系统的处理效率。该算法充分利用新一代网络互联设备RDMA的高带宽,将Shuffle操作从Reduce端分裂出来,做成后台进程,同时改进了读写策略,降低了磁盘随机读写的负载,减少了Shuffle过程的时间。实验证明改进的Shuffle算法可以有效地提升系统的处理效率。(3)针对地质高性能计算应用系统—-Kirchhoff叠前时间偏移(PKTM)算法进行了研究,在本文改进的YARN平台上,分别提出和实现了基于Hadoop平台和Spark平台的PKTM系统,并对其性能进行了分析,验证了本文改进算法的有效性,也为地质成像算法在MapReduce架构上的并行化提供了借鉴。