论文部分内容阅读
随着集群系统应用范围的扩大以及规模的增加,其管理复杂度和成本也随之大幅度地提高,而资源利用率却没有得到显著提升。为了有效的解决这些问题,近几年来,学术界和工业界出现了很多服务部署系统,这些系统普遍采用了集中式存储技术,通过快照等虚拟化机制,可以实现计算资源快速、动态的调度,能有效地降低集群系统的管理复杂度和成本。但随着集群系统计算节点规模的进一步增加,存储服务器以及网络等成为了系统的性能瓶颈,为了获得较好的性能,可以升级硬件或限制并发访问的客户端数目,这些做法有很大的局限性,一方面造成了资源的浪费,另一方面增加了系统的成本,无法满足大规模集群的部署与管理。蓝鲸服务部署系统(SonD)是国家高性能计算机工程技术研究中心自主研发的、基于网络存储的新型服务部署系统。本文以SonD系统为基础,通过对SonD系统应用模式的分析和缓存系统的深入研究,提出并实现了客户端缓存系统。实测表明:客户端缓存系统可以显著改善SonD系统的性能和可扩展能力,有效降低存储服务器的负载,具有很好的实用和参考价值。本研究主要内容及结果如下:
⑴设计实现了一种空间占用小、操作效率高的映射表系统。映射表系统是缓存系统的基础,直接影响着整个系统的性能和扩展性。根据Windows系统内存管理的特点,本文作者把缓存空间按照一定的大小分成数据块,每个数据块对应一个映射表项,其中记录整个数据块的位置信息以及数据块中每个扇区的使用信息,操作映射表时,大部分时间以数据块、只在边界区域时以扇区为单位进行,不但节省了映射表所占的空间同时也提高了操作的效率。
⑵设计了适合SonD系统的数据一致性保证机制。缓存系统要在不改变SonD系统现有使用模式的条件下对其进行优化,为了在不同的应用环境中保证数据的一致性,缓存系统支持多种同步策略,并能根据用户配置以及当前检测到的系统状况进行动态切换。通过使用日志机制保证了网络或SonD服务器发生异常时客户端能继续使用。
⑶基于以上研究成果,本文设计实现了基于客户端磁盘的缓存系统。结合现有的客户端技术,把基于磁盘的缓存技术引入到SonD系统中,测试结果表明,使用还原快照时,客户端的读性能提高了1-9倍,服务器负载降低了20%~50%,很好的提高了SonD系统的性能以及可扩展性。