论文部分内容阅读
随着云计算技术与应用的发展,数据中心遇到新的技术挑战。内存计算等大数据处理应用,使得数据中心对内存的需求量进一步增加,单节点内存容量不足的问题更加严重。数据中心应用具有多样性的特点,而且典型数据中心应用与桌面应用、高性能计算应用具有完全不同的访存特征,使得数据中心的内存利用率非常低。针对上述问题,本文提出了分时共享内存TSM(Time-Shared Memory)技术,实现节点间空闲内存的互相借用,从而提高系统的性能和内存利用率。 本文提出了一种数据中心服务器可扩展内存的设计与优化方法,具体包含四点研究工作: 1.利用硬件性能计数器和HMTT等工具,分析了桌面云和Spark等数据中心典型应用的微体系结构特征和访存行为特征。这些结果是设计TSM系统的主要依据。 2.设计实现了两个TSM原型系统——基于PCIe switch的原型系统和基于项目组设计的Venice互连网络的原型系统,研制了支持TSM访问的软件栈,解决了实现TSM的两个主要问题:如何进行物理地址映射,如何在操作系统层实现TSM的动态加载和卸载。基于硬件平台提供的直接访问通道和RDMA通道,本文提出了几种不同的TSM使用方式,并描述了如何在Linux操作系统里实现这些功能,TSM软件栈的大部分功能具有平台无关性。本文对TSM软件栈和上述原型系统进行了细致的性能评价。 3.针对在PCIe原型系统实现中发现的3个问题:Load带宽过低的问题,不支持X86原子指令访问的问题,Cache管理策略的选择问题,提出了相应的解决方法。为了进一步提高TSM直接访问的性能和隐藏访问延迟,提出了TSM感知的预取器优化方法,实验结果表明,面向TSM的Cache写回策略相对写无效策略,性能提高了4到70倍;提高TSM控制器的读并发数目,性能可提高4到9倍;增加Stride预取器的深度,可以为TSM访问带来最高7倍的性能提升。 4.针对基于Venice互连原型系统中发现的问题,提出了相应的优化方法。针对TSM直接访问的性能实现了一种基于硬件热页识别的热页迁移机制,进一步地提出了一种使用本地内存作为TSM缓存的方法,并根据实验评估确定了该缓存的敏感参数和组织结构。实验表明:TSM直接访问使用热页迁移优化以后,性能提高了40%以上;TSM缓存对于TSM访问的性能提升具有非常好的效果,4GB TSM加上512MB本地内存作为缓存,可以达到4GB本地内存性能的95%。论文最后设计了一个TSM系统的成本与功耗分析模型,分析结果显示,对于内存容量利用率在30%左右的数据中心,使用TSM机制以后,性能价格比可以提高9%以上,性能功耗比可以提高14%以上。