面向大数据并行计算的细粒度互连通信接口设计与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:gf_lucky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的到来引发了数据密集型处理的问题,其数据规模巨大,但数据局部性较差,访存通信模式不规则。现有高性能并行计算机主要处理计算密集型问题,适合进行大规模浮点运算,难以高效处理数据密集型问题。其中,并行计算机的通信系统传输大报文的时候效率很高,而大数据全局细粒度不规则访存会导致互连通信系统的性能出现大幅下降。在深入研究大数据问题的特点基础上,为了更好地解决大数据并行计算面临的细粒度通信的低效问题,本课题面向并行计算的通信体系结构展开研究,主要工作和创新点如下:第一,研究现有的并行计算机体系结构,尤其是系统访存和通信结构,分析其在面临大数据问题时的不足之处。针对通信系统的瓶颈问题,提出一种GNG通信系统,包括通信接口、访存控制和同步控制三个部分。第二,为了降低节点间的通信延迟,提出一种低延迟的通信接口结构。通过多方面的结构优化,该通信接口可以显著降低节点间的通信延迟。基于Infini Band高速互连方案,在FPGA平台上实现了该通信接口,使其与标准的Infini Band子网兼容。实验表明,在40Gbps带宽下,节点间的通信延迟低至0.398μs。第三,为了实现高效的全局细粒度访存,提出了全局统一编址的共享地址空间主存数据访问方案,以统一的指令实现对本地和远程内存的向量访问。经过实验验证,完成远程读和远程写的延迟分别约为1.052μs和0.474μs。第四,面向并行算法中的全局通信和同步要求,设计并实现了一种可扩展到多节点的硬件全局栅栏同步机制,采用散播同步策略,并通过对硬件同步寄存器与通信接口的连接优化,实现了全局线程的低延迟同步控制。在最差情况下,四个节点的全局同步时间为3.176μs。
其他文献
随着中国对能源需求的日益增加,各项工程正紧锣密鼓的展开,天然气管道的铺设也迅速增加。但由于正常腐蚀及人为破坏等原因,造成输气管道泄漏事件也日益频繁的发生。而管道的泄漏
随着QQ、微信等网络社交应用的迅速发展,在线社交网络中的信息传播技术和信息传播效果受到了越来越多的关注。信息传播的影响力最大化问题研究在社会网络中寻找具有给定节点
计算流体力学(Computational Fluid Dynamics,CFD)采用数值计算方法求解流体控制方程,目前已广泛应用于航天航空、汽车船舶、机械制造等领域。本文针对真实复杂高阶精度CFD应用特
近两年,随着计算机网络技术的不断成熟与发展,基于浏览器/服务器模式的网络应用软件越来越多,功能也越来越丰富。各种新技术开始出现并正在逐步取代落后的技术。作为最新的技
鞍钢铁路运输公司是鞍钢集团直属大型物流企业,是鞍钢生产工艺的重要组成部分。公司下设运输总站、机车厂、电务修建公司三个厂级单位。 鞍钢铁运公司电务供电实时监控系统
车辆自动识别分类技术是智能运输系统的重要组成部分,它对特定地点和时间的车辆进行识别和分类,并以之作为交通管理,收费,调度,统计的依据。车型的自动分类在部分发达国家已
随着电信市场的开放,客户选择电信业务及电信企业的余地越来越大,电信企业之间对客户的争夺也越来越激烈。大量低忠诚度客户转网或变更业务,即使采取相应的预防措施,也不能有效地
在网络安全状况日益复杂的今天,安全技术不仅要能够快速、精确地检测出已知的攻击,还需要具备发现未知攻击的能力,此外及时、准确的响应能力也必不可少。由此人们提出IPS的概
本文应用M.V Mahoney博士提出的基于时间序列和报文首部分析的模型进行了网络异常检测的研究。文章给出了该模型的实现方法,同时依据DARP/MMH入侵检测实验室公布的评估模型标
粗糙集理论( Rough Set Theory, 简称RST )是由波兰学者Z. Pawlak于1982年提出的一种处理含糊和不确定性问题的新型数学工具。RST的处理对象为具有离散属性值的完备信息系统(