论文部分内容阅读
随着信息技术产业的发展和逐渐成熟,它的各种应用已经渗透到社会的各行各业,使社会生产力水平得到了极大的提高,更重要的是为人们的生活、工作、学习带来了前所未有的便利和实惠。在这背后,信息技术带来的数据爆炸式增长,急需廉价、快捷并且安全的数据存储方式。近几年云计算技术的快速发展,为云存储从概念到实际应用奠定了基础。同时由于终端技术的发展、移动网络的快速普及,云存储的应用范围也逐渐扩大。云终端的模式更加贴近人们的生活,正改变着人们的日常习惯。本文对云存储技术进行研究,提出了针对终端应用下的云存储系统方案。对于小文件类型采用两种不同的副本存储方式,一种是MySQL关系数据库方式,另一种是MongoDB非关系数据库方式;对于大文件类型采用动态一致性哈希算法方式来存储。同时还引入了粒子群优化算法,用于云存储中数据最优存储节点选择L。通过小规模的实际运行系统以及CloudSim仿真的形式测试系统的性能。下面是本论文主要进行的工作:(1)通过查阅期刊文献、电子资源,研究了HDFS、FastDFS等开源分布式文件系统源代码。在分析系统的功能性需求以及非功能性需求的基础之上,设计了云存储系统架构原型。(2)对云存储系统的客户端和服务端程序的主要功能模块进行详细设计,并在普通PC机上编程搭建了一个小型的云存储系统。通过该云存储系统验证后文提出的副本策略以及粒子群优化算法在数据最优存储节点选择中的应用效果。设计系统过程中,考虑移动终端的特点,在地域上考虑采用最近邻的云存储节点对其服务,提高系统的存储效率。(3)针对云存储系统的副本策略进行研究,本文提出了对文件分类存储的方式,对于小文件类型采用数据库的方式,而大文件类型采用动态一致性哈希算法的方式。并且数据库的方式也采用了两种方案进行对比分析设计,一种是采用MySQL关系型数据库方案,另一种是采用MongoDB非关系型数据库方案。大文件类型的处理方案设计成去中心化结构,消除大并发处理过程中的性能瓶颈,并对所提出的方案进行了有效性和优越性的验证。(4)在数据最优存储节点选择过程中引入粒子群优化算法,保证系统的负载均衡和存储效率。节点选择是处在离散空间的,粒子群优化算法重新在离散问题空间中进行定义,并且定义了问题解的适应度评价函数,评价候选解的优劣,同时为了得到更优的解,引入了启发信息的方式引导算法得出更优的解;最后给出了仿真比较的结果验证方法的有效性。