基于“天河”高速互连网络的MPI聚合通信优化

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:feiliuliu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代MPI并行应用中,聚合通信操作被广泛使用。聚合通信操作不仅在科学计算上占据大部分时间消耗(有时可高达70%),同时也为程序员提供更便捷编程接口。然而软件实现的聚合通信操作是基于点对点操作实现的,当系统增大时,由于通信步骤、计算数据量和通信距离都增加了,聚合通信的耗时增加的很快,因此其可扩展性很差。但应用程序却随着系统的增大对于可扩展性有了越来越高的要求,因此,对聚合通信进行优化变得也更加重要了。加速聚合通信操作的一个有效的方法是在网卡端使用卸载模式(offload),即在网卡端加入一些特殊部件来辅助处理机进行聚合通信的数据移动或者数据计算,也称为软硬件结合的聚合通信操作。“天河”高速互连网络使用在网卡端加入的触发逻辑来卸载处理机端的数据移动任务,本文即以“天河”高速互连网络为基础,研究MPI聚合通信优化方法,主要取得了如下成果:1)对α-β模型进行扩展,通过扩展的模型计算出基于点对点的聚合通信操作时延,与基于offload实现的聚合通信进行对比。经典的α-β模型只能适合聚合通信操作的定性分析,而不能进行定量的分析,扩展后的α-β模型能够对聚合通信操作进行定量分析,为后面与offload模式的聚合通信操作进行对比;2)提出基于offload实现的聚合通信评价模型,通过测试,能较好的预测实测数据,并为后面同步和广播操作的算法设计提供理论分析。基于offload实现的聚合通信操作评价模型的提出为之后我们在“天河”高速互连网络上进行聚合通信优化提供了理论依据,不仅如此,也指导我们后面的聚合通信操作的优化;3)对基于offload实现的栅栏同步和广播操作进行算法优化和测试分析并且对基于offload实现的收集操作进行算法设计。栅栏同步操作和广播操作为最常用的聚合通信操作,也可以应用于许多聚合通信,我们实现了k-ary树和k-nomial树两种算法的栅栏同步操作和广播操作,同时从理论和实际测试给出两种操作在性能取得最优值时的k值,根据理论模型,基于触发的聚合通信操作拥有良好的可扩展性;本文对扩展的α-β模型和基于offload实现的聚合通信操作评价模型进行了实验验证,实验结果表明两种模型均能较好的定量分析软件和基于offload方式实现的聚合通信操作,并且模型也为后面进行聚合通信操作优化提供理论依据。同时在64个节点规模时,基于offload的栅栏同步操作比基于点对点的栅栏同步操作性能提高了2.17倍,对offload实现的栅栏同步和广播操作进行优化,优化后的栅栏同步操作性能进一步提高1.1倍,广播操在性能提高1.46倍。
其他文献
随着Internet的普及与发展,网络已成为一个巨大的信息源。大量的数字信息在带给人们丰富便利的信息资源的同时,也给有效信息的快速获取带来了困难。自动文摘技术是自然语言处
本文对我国大批量定制生产技术体系结构展开研究,并着重研究了异构协同设计技术。研究内容如下。 (1)为了支持从集成化设计到客户化定制,从敏捷化配套生产到个性化售后服务
近年来,无人机技术广泛的应用于军事和科研领域,网络化的无人机应用对广域侦察、跨障碍监控等任务有较好的适应性。执行任务时,在无人机反馈的各类信息中,视频流在实时性和直
本文主要研究基于小波变换的图像逆半调方法。因为小波具有多分辨率分析的特性,能够区分图像的高频与低频部分,所以适用于逆半调处理。小波变换通过去除高频半调噪声,同时最大程
自动并行化技术的研究是随着并行计算机的出现而开始的,如何用好并行处理系统以解决大规模科学计算问题是当前计算机科学面临的一个重要课题,开发高效的并行软件是解决问题的
跨越语言障碍,实现人们不同语言之间的自由交流,是人类自古以来的一个梦想。早在50年代和60年代机器翻译就吸引了相当可观的资金,尤其是军备竞赛在1957年苏联第一颗人造地球卫星
现如今,以CPU+GPU为主的异构模式被广泛的使用,06年CUDA编程架构的推出大大提高了GPU的可编程性,各领域内使用CUDA进行加速的应用程序大量出现。CUDA的架构中引入了STMD的概
无线自组网中各个节点可以任意的移动,导致节点间传输路径的频繁中断,大量的重路由操作消耗了有限的网络资源,降低了路由协议的性能。如何在这样的网络中选择一条稳定的路径,最大
近几年来,云计算技术得到飞速发展,互联网在线业务的用户也不断增多,导致大型企业的数据中心内部流量大幅增长、网络带宽资源竞争激烈。数据中心现有的转发机制是通过静态哈
随着全球信息化进程的不断深入,研究和实现基于网络的电子商务己成为目前学术界和商业界的热点问题之一。其中,安全问题日益成为电子商务发展道路上的一大障碍,为了保证电子商务