论文部分内容阅读
随着集群技术和网络技术的飞速发展,网络存储系统成为解决集群I/O性能瓶颈的主要手段之一。集群文件系统作为网络存储系统的核心技术,很好地解决了传统文件系统中存在的性能、容量、共享、可扩展性等问题。但是在实际使用中,随着客户端数量的增长,存储设备所能提供的带宽不能随着客户端节点的增长而线性增长,直接导致客户端QOS低下,严重制约了集群文件系统的可扩展能力。
为了改善蓝鲸集群文件系统的可扩展能力,本文结合蓝鲸文件系统在非线性编辑应用下的特点,提出在客户端上实现基于磁盘介质的缓存的解决方案,使得客户端节点的数据访问尽可能地发生在本地,减少对存储服务器的随机访问,有效地减轻后端存储服务器的I/O负载,从而提高整个系统的扩展能力。
本文分析了在非线性编辑应用下制约蓝鲸文件系统可扩展能力的瓶颈,结合应用节点在非线性编辑应用下的数据访问特点,有针对性的选择客户端缓存算法和缓存策略,并且详细叙述客户端缓存系统的设计方法及实现细节,最后给出性能测试结果。
论文取得了如下主要成果:
1)提出一种基于I/O Trace的蓝鲸系统应用节点数据访问模式分析的方案应用模式和数据访问特点的分析是理解系统行为、解决系统瓶颈的基础。对I/O Trace本身进行分析和统计,有助于掌握系统中应用节点数据访问的特点和规律。基于I/O Trace的性能测试方法具有操作简单、控制灵活的特点,能迅速完成一次测试行为,极大的便利了测试的过程,又不失测试的准确性。
2)选取一种适合于蓝鲸系统的客户端缓存算法和整体缓存策略
根据非线性编辑应用模式和应用节点的数据访问特点,定制缓存算法和缓存策略加以利用,一方面有效提高缓存的利用率,一方面尽可能地减少给后端存储服务器的I/O压力。
3)实现基于磁盘介质的Windows客户端缓存系统
蓝鲸系统采用基于磁盘介质缓存的客户端,在非线性编辑应用下最大可以提高近80%的可扩展能力。