论文部分内容阅读
随着网络建设的不断发展,数据正在呈爆炸性的增长,如何管理这些海量数据成为了一个研究的热点和难点问题。Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是主要用于存储大文件的云存储系统,小文件存储的支持尚不完善,但现在网络中存储以及传输的数据大部分都是小文件,这便导致了系统的存储瓶颈问题。除此之外,网络中的安全事故也频频发生,究其原因还是云存储系统的安全性工作尚不完善。针对以上的问题,对HDFS的存储和数据面临的攻击方法进行研究,分析了HDFS存储数据的优势和劣势以及安全性问题。通过对HDFS小文件存储和高级加密标准(Advanced Encryption Standard,AES)的深入研究,设计和实现了一个具有数据保密性、支持海量小文件高性能存取且易扩展的云存储系统。论文的主要工作如下:(1)优化HDFS小文件处理方法。对国内外关于HDFS小文件问题的解决方案进行分析,总结其中的优点及不足,提出了小文件处理模块的概念。该模块由文件判断、文件合并和文件索引三部分构成,实现了小文件分批处理、集中合并的功能;将索引记录与数据库动态连接,避免了与HDFS多次连接而导致不必要的消耗;采取预取和缓存技术进一步提高了文件的访问速度。(2)优化AES算法。由于AES算法的加解密原理是公开的,针对AES算法的原理,在加密过程和解密过程进行优化。通过加解密过程相关步骤的合并及重新排序,对加解密过程进行优化,提高算法的处理速度。(3)将身份认证机制、优化的小文件处理方法、改进的AES算法和混合加密思想有机组合,设计并实现支持海量小文件存储并且安全的HDFS系统。该系统在身份认证方面采用哈希函数,保证了密码的安全;使用小文件处理模块对上传的文件进行处理,节省了NameNode的内存空间,并提高了文件的读取速度;使用改进的AES算法进一步加强了数据的安全性;将改进的AES算法和RSA算法结合使用,这种混合加密方式提高了文件的传输速度和密钥的安全。