随着信息化建设的不断深入,企业数据信息量呈几何级数增长。信息量的不断扩张带来以下两个问题:一是存在着大量的重复数据,导致存储空间的大量浪费,企业的存储成本提高;二是高访问量使得磁盘存储设备逐渐成为数据中心的访问性能瓶。针对上述问题,通过对重复数据删除技术的研究,以及对固态硬盘性能和特性的调研,提出了一种基于iSCSI平台的分级存储技术与重复数据删除技术相结合的存储系统。首先,深入研究了重复数据删除技术,采用了基于散列的重复数据删除方式,实现了以下基本功能:指纹计算、指纹检索、指纹索引表管理;为了弥补重复数据删除对系统带来的性能损失,提出了“内存—固态盘—磁盘”分级存储系统,用固态盘充当二级缓存,利用其读写性能好、容量大、非易失性等特点,提高系统整体性能;通过虚拟空间映射功能,将服务器物理磁盘虚拟为一个较大的虚拟盘,然后按分区映射给多个客户端,实现单服务器---多客户端功能。然后针对重复数据删除功能中指纹检索性能瓶颈,进行了专门的算法优化。首先提出了基于布隆过滤的检索过滤算法,过滤掉大量不必要的指纹检索请求;然后实现了指纹索引表“内存—固态盘”分级存储策略,充分利用固态盘较好的读性能,避免索引表存储到磁盘,产生磁盘访问性能瓶颈。最后,对分级重复数据删除系统进行了相关测试。首先对系统进行了性能对比测试,结果表明,重复数据删除功能由于计算量较大,会带来一定的性能损失,但与分级存储技术相结合之后,整体性能反而有一定的提升;然后对重复数据删除的压缩比进行了测试,结果表明,重复数据删除技术对于信息重复度较高的应用环境,如文档应用,具有较好的压缩效果;最后对指纹检索过滤算法进行了测试,其过滤率和误判率都达到了预期效果。