随着计算机和网络技术的发展,社会信息化程度的提高,许多面向海量数据的大型应用纷纷涌现。如何有效地存储和管理这些海量信息,以便从其数字资源中获得高质高效的服务,对存储系统的研究提出了严峻的挑战。网络存储技术对于解决海量存储系统中存储设备的分散性、I/O的并行性、协议的高效性提供了一种很好的手段。存储设备与网络结合的不同方式可以形成不同的拓扑结构,不同的拓扑结构对系统性能的影响又不尽相同,因此,确定海量存储系统中存储设备接入网络的方式以及存储设备与服务器的连接方式,是构造大容量、高带宽、可扩展、易管理的海量存储系统值得研究的重要课题。集中式存储能够集中管理和控制数据,降低管理开销并提高管理质量,但系统的性能和可扩展性受到限制。分布式存储能提高系统的性能,尤其是可扩展性,但维护和管理分布式存储系统的费用非常高。以DAS(Direct Attached Storage)体系结构为基础,若将系统中的多个存储节点直接接入网络,由文件服务器对系统进行集中管理,数据则分布地存放在多个存储节点上,则能充分结合两者的优点, 构造一种文件集中管理、数据分布存储的海量存储系统(Centralized file Management and Distributed data Storage Mass Storage System,CMDS-MSS)。这种海量存储系统的存储节点可以通过网络通道直接和网络用户进行数据交互,实现命令与数据分流,消除系统中的服务器瓶颈。系统中每增加一个存储节点就会增加一个网络通道,利用并行传输机制可以实现各存储节点利用网络通道的并行传输,达到扩容与增速同步的目的。在系统中采用虚拟SCSI命令,可以实现流水命令响应与并行数据I/O。海量存储系统因各种异构存储结点的增加,存储和管理会越来越复杂。存储虚拟化技术可以将各种异构的存储资源统一成对用户透明的单一逻辑视图,而且用户可以按自己的需求对其进行分割或组合。存储虚拟化按其在存储系统体系结构中的实现位置,可以分为基于主机、基于存储设备和基于存储网络的虚拟化。基于主机的方案是将虚拟抽象层放在应用服务器之上,既可以在应用层实现,也可以在设备层实现。CMDS-MSS是在服务器的文件系统之下、设备驱动程序之上采用虚拟技术实现存储空间的单一逻辑视图的一种方案,它既保持了对现有应用和体系结构的兼容性,同时又可充分利用文件系统的块缓冲区来提高系统的性能。由于单一逻辑视图以存储空间的逻辑表示取代物理设备,因而CMDS-MSS可以支持异构接口的存储子系统。存储系统可以从空间和时间两个方面来开发其并行性,而流水线技术则只是采用本文受国家自然科学基金资助,批准号60273074、60303032。<WP=5>时间上的并行性。网络磁盘阵列中运行由操作类型(读/写)、操作的起始扇区、扇区数等信息封装成的虚拟SCSI命令。在系统资源允许的情况下,它的命令队列里可以有多条SCSI命令。将多条虚拟SCSI命令的I/O周期分成不同的阶段,并使用缓冲技术来平滑地处理速度不固定的功能部件之间的差异,形成一种流水生产者/消费者模型,可以重叠网络磁盘阵列中的磁盘I/O和CPU计算两种操作来提高系统的性能。在由多个磁盘虚拟成一个逻辑盘的磁盘阵列中,多个网络用户请求的数据在逻辑盘上是随机分布的,分解到每一个磁盘上的数据没有规律性。在逻辑盘上顺序分布的数据分解到单个磁盘上也是顺序的(对于多个请求,不一定连续)。若将多个网络用户的I/O请求进行排队,使排队后的各I/O请求的数据在逻辑盘上按顺序分布,则可使磁头臂按一定的规律移动,降低I/O时间。同时,还可以增大合并相邻请求的概率。虽然个别的请求可能延迟,但网络磁盘阵列的整体I/O性能将会得到很大的提高。 磁盘阵列启动后,系统的BIOS和操作系统会对磁盘进行检测,并设定其传输模式。但某些系统的BIOS不能识别较高的UDMA(Ultra Direct Memory Access)模式,尽管系统使用了支持较高UDMA模式的磁盘驱动器,却只能工作在较低的数据传输模式下。当磁盘阵列中的某一磁盘驱动器失效后即使换上了新盘,若没有经过BIOS检测和初始化,则磁盘驱动器只执行缺省的PIO传输模式。通过检测磁盘驱动器的特征和所能支持的工作模式,重新设定工作模式,可以充分利用系统本身具备的能力,实现磁盘阵列系统性能的自适应提升。聚/散技术可以将内存中离散的多个小块的数据区聚合起来只对磁盘进行一次DMA操作(聚),或将磁盘上一片物理连续的数据通过一次DMA操作分散到内存中离散的多个小块的数据区(散),但是必须有相应的硬件支持。为EIDE控制器准备一个DMA区间表,在表中逐个列出用于DMA操作的若干缓冲区间(包括起始地址和长度),并把这个表的起始地址写入EIDE接口上相应的“总线主IDE描述表指针”寄存器,就可以实现基于EIDE接口的聚/散技术。由于传统的DMA一次只能操作一段在物理内存上连续的内存区域,通过聚/散使之能在一次I/O过程中对多个非连续的内存数据区进行操作,从而提高内存使用效率,加快I/O命令处理速度。试验结果证明了聚/散技术对于提高EIDE磁盘阵列性能的有效性。在集中管理、分散存储的CMDS-MSS中,我们利用时空并行性、虚拟存储、自适应UDMA和数据的底层聚/散等创新性技术使其性能获得了显著的提高。并且,这些技术也可移植于其他环境应用