面向数据中心的内存可扩展技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:fclzlj123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术与应用的发展,数据中心遇到新的技术挑战。内存计算等大数据处理应用,使得数据中心对内存的需求量进一步增加,单节点内存容量不足的问题更加严重。数据中心应用具有多样性的特点,而且典型数据中心应用与桌面应用、高性能计算应用具有完全不同的访存特征,使得数据中心的内存利用率非常低。针对上述问题,本文提出了分时共享内存TSM(Time-Shared Memory)技术,实现节点间空闲内存的互相借用,从而提高系统的性能和内存利用率。  本文提出了一种数据中心服务器可扩展内存的设计与优化方法,具体包含四点研究工作:  1.利用硬件性能计数器和HMTT等工具,分析了桌面云和Spark等数据中心典型应用的微体系结构特征和访存行为特征。这些结果是设计TSM系统的主要依据。  2.设计实现了两个TSM原型系统——基于PCIe switch的原型系统和基于项目组设计的Venice互连网络的原型系统,研制了支持TSM访问的软件栈,解决了实现TSM的两个主要问题:如何进行物理地址映射,如何在操作系统层实现TSM的动态加载和卸载。基于硬件平台提供的直接访问通道和RDMA通道,本文提出了几种不同的TSM使用方式,并描述了如何在Linux操作系统里实现这些功能,TSM软件栈的大部分功能具有平台无关性。本文对TSM软件栈和上述原型系统进行了细致的性能评价。  3.针对在PCIe原型系统实现中发现的3个问题:Load带宽过低的问题,不支持X86原子指令访问的问题,Cache管理策略的选择问题,提出了相应的解决方法。为了进一步提高TSM直接访问的性能和隐藏访问延迟,提出了TSM感知的预取器优化方法,实验结果表明,面向TSM的Cache写回策略相对写无效策略,性能提高了4到70倍;提高TSM控制器的读并发数目,性能可提高4到9倍;增加Stride预取器的深度,可以为TSM访问带来最高7倍的性能提升。  4.针对基于Venice互连原型系统中发现的问题,提出了相应的优化方法。针对TSM直接访问的性能实现了一种基于硬件热页识别的热页迁移机制,进一步地提出了一种使用本地内存作为TSM缓存的方法,并根据实验评估确定了该缓存的敏感参数和组织结构。实验表明:TSM直接访问使用热页迁移优化以后,性能提高了40%以上;TSM缓存对于TSM访问的性能提升具有非常好的效果,4GB TSM加上512MB本地内存作为缓存,可以达到4GB本地内存性能的95%。论文最后设计了一个TSM系统的成本与功耗分析模型,分析结果显示,对于内存容量利用率在30%左右的数据中心,使用TSM机制以后,性能价格比可以提高9%以上,性能功耗比可以提高14%以上。
其他文献
随着互联网的不断发展,出现了大量的对等网络结构的应用,如Maze、eMule、BitTorrent、ppLive等。由于对等网络系统具有良好的可扩展性、健壮性以及性能上的优势,它们越来越受到
近几年来,多线程下载得到广泛应用,P2P技术在曲折中发展,P2SP技术异军突起,给人们的网络生活带来了新的体验。本文的目的则是介绍将这些技术与Maze融为一体时的下载模块。 第
视频编码技术是有关视频数字压缩的核心技术,是解决海量数据存储、传输及服务的基础问题,对多媒体技术及相关产业的发展至关重要. 视频编码控制优化是指在信道带宽的约束
网络办公软件是Web2.0趋势下的一个新的网络应用,相对于桌面办公软件它有很多优点:节省用户投入、可连接其他网络应用、支持标准文档格式,所以具有很广阔的发展前景。   本文
学位
网络管理是计算机网络中一种非常重要的技术,它包括性能管理、配置管理、故障管理、计费管理和安全管理等五大功能。IP网络管理系统必须能有效地管理网络中不同的计算机系统
学位
作为自然语言处理一个新的研究方向,话题识别与跟踪旨在发展一系列基于事件的信息组织技术,以实现对新闻报道信息流中新话题的自动识别以及对已知话题的动态跟踪.自1997年以
软件生产是一个相当复杂的过程。由于软件过程的复杂多变,我们无法定义一个标准的过程将其应用到各种软件项目中。另一方面,不同的软件项目的过程虽然千差万别,但这些过程中的某
种子是一个特殊的、不可替代的最基本的生产资料,是农业科学技术和各种农业生产资料发挥作用的重要载体,是决定农产品质量和产量的根本内因。 优良的种子是农业增产、增效的
计算机支持的协同工作作为新兴的研究领域,在近几年有很大的发展,且受到广泛的重视,它致力于研究人们在一起的工作方式,通过计算机技术和通信技术的结合,把计算机从传统的孤立的工