虚拟机环境下MPI/RDMA库的通信优化

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:sukey2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算的快速发展和应用,在HPC领域,不少组织和机构也开始着力打造HPC云。在HPC云中,HPC应用的数据需要频繁的在不同节点之间传输,因此通信性能成为超算应用整体性能中一个不可忽略的关键点。目前,消息传递接口(Message Passing Interface,MPI)库在HPC领域被广泛用来为超算应用提供高效的通信服务。虽然目前MPI库可以在裸机环境下可以充分利用远程直接内存访问(Remote Direct Memory Access,RDMA)为上层应用提供高效的通信服务,但是当MPI库部署在云环境中时,MPI库的通信性能将会因目前不成熟的RDMA虚拟化技术而大幅下降,这将进一步导致虚拟机中MPI应用的整体性能的下滑。这是HPC云中一个亟需解决的问题。目前关于MPI在虚拟机环境下的通信优化的研究工作大多着力于解决RDMA的虚拟化问题,这一类工作试图在虚拟机中提供虚拟化RDMA设备,进而提高MPI在虚拟机环境下的通信性能,然而这一类工作专注于提高RDMA在虚拟机中的通信性能,却没有兼顾在云环境中,宿主机需要对客户机的网络进行管控这一重要需求。因此这些研究成果应用场景有限,可以应用在私有云环境中,但不能应用在公有云中。所以目前还没有研究工作试图解决在满足公有云环境下对网络管控需求的条件下提供高性能通信的问题。针对上述问题,本文尝试在满足公有云环境对网络管控的前提下,研究网络I/O虚拟化部分对MPI性能的影响,并从该方面着手探索网络I/O虚拟化部分的优化空间,从而提高虚拟机中MPI的通信性能。主要工作包括:(1)本文注意到大多数的网络管控需求都是对控制路径上连接的管理,而应用的通信性能通常与数据路径上数据传输性能息息相关,所以本文的基本思想是将控制路径和数据路径分开处理,在控制路径上利用内核协议栈实现宿主对客户机网络的管控,而在数据路径上利用RDMA网络平台的性能优势优化数据传输。(2)利用MPI的通信特点优化客户机到宿主机的虚拟网络I/O路径,减少I/O虚拟化中数据拷贝所带来的开销。(3)基于这个思路提出的在虚拟机环境下消息传递接口库的高性能通信方案VMPI可以在满足云环境中对网络的特定需求的前提下,实现了MPI的高性能数据传输。通过实验证明,根据我们的设计方案所实现的消息传递接口标准原型系统相比于传统的虚拟化方式在基准性能指标(通信延迟)上可以获得40%左右的性能提升。在应用性能测试中,可有效降低应用基准测试程序Graph500的通信时间占比。
其他文献
准确、高分辨率的人口空间分布信息对城市规划、灾害评估、疾病预防以及精准扶贫等都具有重要的参考价值。然而,传统的人口空间化研究存在模型单一、建模辅助因子单一、格网
我国西部地区地形复杂,容易发生道路边坡落石灾害侵占道路,阻塞交通。为了保障交通通行,需要及时对道路侵害程度进行评估,向有关部门汇报。本文提出了一套基于平行双目视觉的
随着处理器技术的发展以及应用对计算需求的增长,微处理器片上集成的资源与核心数越来越多,呈现出异构众核的发展趋势。我国性能最强的超级计算机神威·太湖之光便由40960个
随着智能制造的飞速发展,工业领域对流量监测提出了更高的要求。涡轮流量计作为流量监测领域中大量应用的传感器,其传统感应线圈易受电磁干扰的影响,精度不高;且当前流量计智
本文立意从生产函数定义的角度出发估计总量生产函数。生产函数定义要求生产函数应当反映要素投入与最大产出之间的关系,要素投入与实际产出是可知的,而最大产出却是一个模糊
随着人类对太空探索的不断深入,空间机械臂作为一个操作工具起到着十分重要的作用。在复杂且未知的太空领域,空间机械臂能够帮助人类完成许多高危任务,而且也能够提高工作的
光纤激光器性能优越,应用前景广阔。但是伴随着光纤激光器输出功率的提升,由非线性效应等因素造成的光束质量退化严重制约了光纤激光器的应用。多模光纤激光器受非线性等因素
谱聚类目前已经成为聚类的主要方法之一,但传统谱聚类算法的相似度量方法不能很好地揭示未能完全分离的数据集的真正聚类,而基于共享近邻紧密度的谱聚类算法能够有效地改善该
本文通过光纤光栅传感技术,为实现智能电网系统的在线监测需求进行了光纤光栅解调系统的设计,研发了应用于智能电网温度监测的解调系统,该解调系统具有精度高、体积小、便于
随着全球能源短缺和环境污染问题的不断加剧,绿色化已成为高端装备重要的发展趋势及技术创新领域,是当前的研究热点和技术前沿。节能是绿色化主要研究内容之一,数控机床作为