近年来,由于信息技术的发展,科学技术和商业计算等众多应用领域产生了规模巨大的数据,并且数据量仍在快速增加。为了提高存储效率,通常将一个大的文件分散存储为多个小的数据块,因此必须采用高可靠的数据放置和副本冗余策略保证每个小数据块的存储安全,以免因小数据块丢失发生用户文件失效的灾难性后果。目前主流的大规模分布式存储系统通常利用多个数据存储节点分担存储处理的负荷,具有成本低、数据安全、可用性高、易扩展和易管理等优势,已经成为未来存储发展的一种趋势。本文针对大规模分布式存储系统I/O路径复杂和存储节点故障常态等问题,在开源的Ceph系统基础上提出了基于层级映射方式的数据存储节点组织和选择过程算法优化模型,通过重新定义不同的层级容器数据结构和选择算法处理存储节点增加或移除导致的数据迁移问题,降低总体计算复杂度。根据现代数据中心常用的数据存储安全策略,本文还研究了分布式存储系统中数据放置和副本冗余策略对数据安全性的影响,提出3种能够兼顾存储效率和数据安全的存储模型,在保证数据可靠的前提下提供高效的数据读写速度。利用IOZONE仿真实验软件对提出的存储模型进行数据存储读写速率测试评估,并与Ceph系统默认的算法性能进行对比。实验结果表明,当冗余副本为3份时,本文提出的第3种算法结构优化组合模型(即root、rack、host存储节点的算法结构分别为staw、tree、uniform)数据读写性能表现最好。本文在考虑数据分布算法、数理副本放置策略和存储效率优化前提下构建了具体的测试环境,并对其性能进行了详细的评估。最后,总结了全文的主要工作,并对下一步研究工作进行了展望。