蓝鲸服务部署系统Windows客户端磁盘缓存技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:NobelHsu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着集群系统应用范围的扩大以及规模的增加,其管理复杂度和成本也随之大幅度地提高,而资源利用率却没有得到显著提升。为了有效的解决这些问题,近几年来,学术界和工业界出现了很多服务部署系统,这些系统普遍采用了集中式存储技术,通过快照等虚拟化机制,可以实现计算资源快速、动态的调度,能有效地降低集群系统的管理复杂度和成本。但随着集群系统计算节点规模的进一步增加,存储服务器以及网络等成为了系统的性能瓶颈,为了获得较好的性能,可以升级硬件或限制并发访问的客户端数目,这些做法有很大的局限性,一方面造成了资源的浪费,另一方面增加了系统的成本,无法满足大规模集群的部署与管理。蓝鲸服务部署系统(SonD)是国家高性能计算机工程技术研究中心自主研发的、基于网络存储的新型服务部署系统。本文以SonD系统为基础,通过对SonD系统应用模式的分析和缓存系统的深入研究,提出并实现了客户端缓存系统。实测表明:客户端缓存系统可以显著改善SonD系统的性能和可扩展能力,有效降低存储服务器的负载,具有很好的实用和参考价值。本研究主要内容及结果如下:   ⑴设计实现了一种空间占用小、操作效率高的映射表系统。映射表系统是缓存系统的基础,直接影响着整个系统的性能和扩展性。根据Windows系统内存管理的特点,本文作者把缓存空间按照一定的大小分成数据块,每个数据块对应一个映射表项,其中记录整个数据块的位置信息以及数据块中每个扇区的使用信息,操作映射表时,大部分时间以数据块、只在边界区域时以扇区为单位进行,不但节省了映射表所占的空间同时也提高了操作的效率。   ⑵设计了适合SonD系统的数据一致性保证机制。缓存系统要在不改变SonD系统现有使用模式的条件下对其进行优化,为了在不同的应用环境中保证数据的一致性,缓存系统支持多种同步策略,并能根据用户配置以及当前检测到的系统状况进行动态切换。通过使用日志机制保证了网络或SonD服务器发生异常时客户端能继续使用。   ⑶基于以上研究成果,本文设计实现了基于客户端磁盘的缓存系统。结合现有的客户端技术,把基于磁盘的缓存技术引入到SonD系统中,测试结果表明,使用还原快照时,客户端的读性能提高了1-9倍,服务器负载降低了20%~50%,很好的提高了SonD系统的性能以及可扩展性。
其他文献
近几年来,深度神经网络发展迅猛,引起了包括学术界和产业界的广泛关注。这项技术在计算机视觉、语音识别以及自然语言处理等众多领域取得了巨大的突破,显著提高了算法在多种任务
随着大数据时代的来临,社交媒体网站的日益普及促使越来越多的人参与到多个在线社交网络中,不同的在线社交网络平台以不同的功能吸引用户,如信息搜索、分享或社交联系等,为了更好
工业无线网络技术是继现场总线之后,工业控制领域的又一个热点技术,是降低工业测控系统成本、提高工业测控系统应用范围的革命性技术。无线HART规范作为第一个开放的工业无线网
目前网络发展日新月异,网络的复杂性也随之不断增长,对网络管理的要求也日益增加具体表现在管理功能的增强和管理对象的扩大,这使得网络管理管理系统逐渐成为网络运营和维护的一
随着深亚微米工艺技术的快速发展,SoC技术成为超大规模集成电路发展的必然趋势。在SoC平台上集成视频系统有着极高的实用价值,对于其在手机通信、数码相机、监控系统、影音播放
随着人类社会的发展,城市规模逐渐扩大,三维数字城市为人们规划管理城市提供了一个高效的信息服务平台。大规模城市建筑物群的构建和渲染是三维数字城市工作中的一个不可或缺的
由于机群具有低成本、易管理、易扩展等优势,在高性能计算领域中机群架构所占的份额越来越大。机群性能的提高以节点规模的扩张为代价,因此,人们对计算能力的不断追求同时带来了
云计算的出现与发展使得传统的计算单元由物理机变成了虚拟机,应用程序运行于虚拟机之上,虚拟机则寄宿在物理机上,虚拟机的部署对云环境的资源使用率、负载均衡、虚拟机的性
近几年来,随着地理信息系统(GIS)不断应用和推广,空间数据库的研究取得了非常大的发展。空间查询作为空间数据库最核心的功能之一,其性能成为决定空间数据库性能的关键因素。但
信息技术不断发展和变化,对人类生产方式、生活方式以及学习方式产生了巨大影响和深远意义,人类正在经历信息文明。信息技术已经渗透和融入到各行各业,在教育领域,信息技术正在推