随着全球数据信息呈爆发式增长,人工智能、机器学习、大数据、物联网等新兴产业蓬勃发展,几何增长的数据量需要更大的存储空间和更低的存储成本,因此分布式云存储的概念应运而生。本设计基于HDFS,致力于开发一款兼具应用、安全和性能的分布式文件云存储系统。现有的文件系统面临诸多技术和性能的不足:文件操作方面,HDFS作为底层的存储支持,用户并不能对其原生接口方法直接进行访问;安全性方面,Hadoop加密算法单一、不支持迭代加密和应用级加密;文件搜索方面,HDFS提供的文件检索功能需要遍历整个文件目录列表,从而消耗大量时间和计算资源;小文件存储方面,HDFS在设计之初便没有考虑到海量小文件存储导致的Name Node内存空间浪费问题。基于以上分析,本设计主要从文件存储系统的基础功能实现、文件及系统安全性、站内搜索功能和小文件存储优化四个方面进行研究和改进。基础功能方面,封装和增强了HDFS原生访问接口,提供了可供用户直接访问方法的URL,实现了应用级别的文件上传、下载、移动、浏览、删除等文件操作,实现了文件信息和系统状态的透明管理,并对请求响应的结果数据和异常信息进行统一定义和处理。文件数据加密和系统安全性方面,使用AES加密用户敏感文件数据,RSA加密AES密钥的组合加密策略,使用MD5加密用户账号信息,使用Spring Security实现用户身份认证和权限控制等,从而提供了文件数据加密和应用系统认证的双层防护机制。站内搜索功能方面,使用Elasticsearch构建面向用户的系统站内搜索功能,通过创建多属性、多维度描述文件信息的索引映射关系,用户可以创建、更新和删除索引,也可以自定义字段搜索、组合字段搜索、模糊搜索或对结果列表进行排序等。同时,提供了基于用户偏好的相关性打分查询实现。该系统站内搜索功能独立、高效且完全面向用户。小文件存储策略优化方面,设计了小文件元数据属性信息定义类,并提出了一种全新的小文件合并策略:基于文件后缀的类型分组和基于文件大小的合并分组策略,在文件上传的同时构建文件检索的二级索引,前者提高了文件系统的检索速度,后者保证了空间资源的利用效率。测试结果表明,系统的基础功能接口请求响应包含三部分,分别是状态码、统计信息和结果数据,将其与HDFS集群上的文件统计结果比较均达到预期效果,基于AES和RSA组合加密策略的文件数据加解密功能运行正常且对用户透明,基于Elasticsearch的系统站内搜索模块可构建多维度、面向用户的文件索引映射,用户可自定义条件进行功能丰富的搜索请求,基于文件类型和大小分组的小文件合并策略具有一定的实现可能性。