数据信息的指数增长,加剧了数据保存成本过高、空间耗能过大等问题。据阿里云相关数据统计,由于大量冗余数据存在、存储结构不合理,海量数据中心存储空间的有效利用率不足40%。针对大数据存储方案研究时遇到的数据存储空间利用率低和存储结构不合理问题,现有的解决方案一般是通过消除冗余数据、优化存储结构来提高存储空间利用率。在消除冗余数据方面一般是通过hash函数判断数据重复项,但由于哈希冲突问题,导致不同的块有相同的Hash值;在存储结构方面优化现多采用BDSCAN算法,但是该算法一直有只能依靠经验来设定阈值,导致聚类结果质量无法保证、处理海量数据时效率低下等问题。针对上述两个问题,本文做了以下研究:一、针对上述数据冗余消除问题,本文采用基于“CubeHash+关键词+特征向量”的标签化去重模型利用去重模型对相同、相似数据进行判定并且删除存储系统中的冗余数据,达到了优化存储空间利用率的目的;二、针对上述出来海量数据时效率低下问题,本文采用基于“遗传算法+MapReduce编程框架”的GA-DBSCANMR结构优化存储模型。GA-DBSCANMR模型对样本数据集进行聚类训练,通过将去重模型生成的索引信息表聚类,实现索引表近似精准的聚集分块化,减少了寻址对比消耗的时间提升了存储效率,实现了对存储结构的优化。通过实验验证,标签化去重模型有效提高了存储空间利用率;GA-DBSCANMR模型降低了重删耗时,且随着数据量的增长模型的优化效果将会变得更加明显。