云计算中数据放置策略的研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:gsxs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的出现扩大了每天产生大量数据的信息系统的规模和范围,开启了大数据处理和分析领域。基于虚拟化的云计算环境不仅可以满足日益增长的数据存储需求,还可以满足大数据应用的繁重和大规模计算需求。然而,将用户数据从私有存储系统中移动到公有环境下存储和处理会带来新的挑战。云资源访问效率问题是一个非常重要的问题,它直接影响用户对云供应商提供的服务质量的体验。另外,安全问题,尤其是数据隐私,也是用户非常关心的问题。然而,由于云基础架构的复杂性、云资源的异构性以及云环境的多租户特性,解决上述问题非常困难。因此,需要新的云存储模型来适应云基础设施和使用的多样性。本文首先根据云计算环境下多租户的特点提出了一个新型云存储架构,该架构包括用户层、数据管理层和存储层,我们在用户层引入了本地索引的概念,用以加快用户数据的索引效率。为了使本地索引发挥到最大价值,我们对集群元数据组织形式进行了优化,把元数据按用户进行分组,在很大程度上提高了并发索引的效率。考虑到数据可用性及存储节点均衡负载和最小化数据索引时间的问题,我们首先建立了数学模型,然后提出了一种有效的放置算法,该算法在保证存储节点均衡负载和数据可用性的基础上,最小化了数据的索引时间。为了适应用户对数据的动态需求,我们实现了基于热度的动态副本的机制,同时也给用户提供了基于服务器实时性能的最佳数据检索路径。最后,为了进一步提升用户数据的安全性,我们添加了安全模块,该模块主要用来对存储集群中的数据提供加解密服务及密钥的管理服务。本文在开源分布式存储系统MooseFS的基础上实现了一个高性能云存储系统,并把本地索引模块和安全模块引入到了该系统中,同时使用我们上面提出的数据放置算法、动态副本策略和基于服务器实时性能的数据定位策略替换了MooseFS原有的相应机制。最后,我们搭建了相应的测试环境,在不同场景下,对该云存储系统进行了功能和性能的测试,同时还与MooseFS的各项性能作了对比。最终证明了我们设计的云存储集群的性能在很多场景下比原生系统性能高。
其他文献
随着改革开放的不断深入和城市化进程的不断加快,大批的农村剩余劳动力离开土地进城务工,又由于各种主客观条件的限制,许多农村的老人不能随子女进入城市共同生活而不得不留
近年来,研究人员投入了大量精力开发具有实际应用价值的高活性光催化剂。纳米级二氧化钛颗粒因其具有非常高的比表面积而被大量用于污水处理中。在料浆反应器中,此类物质显示
【目的】通过观察多囊卵巢综合征的多发体质类型,探讨多囊卵巢综合征患者中体质与证候的关系;并对比分析痰湿体质与非痰湿体质多囊卵巢综合征患者各自的内分泌和糖代谢特点,为
间歇化工过程调度是一类十分复杂的组合优化问题。由于过程内外众多不确定性因素对过程运作有很大影响,不确定性调度研究受到学术界和工业界的关注。在线调整是处理不确定性因
网络课堂与传统课堂相比,教师和学生缺乏面对面的交流,学习者主要是通过各种交流平台与教师和其他学习者进行交互学习,交互行为是网络课堂的核心,研究网络课堂中的交互行为对
研究目的目前中医在治疗卵巢储备功能下降方面优势明显,通过临床观察,该病中医辩证为肾虚型患者最多。本课题收集肾虚型卵巢储备功能降低患者,予以中医周期疗法,测定治疗前及
巴豆临床新用2例冯玲,朱长丽(河南省开封市第二人民医院开封市475002)巴豆辛热,有大毒。逐水力猛,生用峻下寒积,熟用温通去积。巴豆临床应用毒性较大,泻下峻猛,用时必须去油,因巴豆油有强烈的
防治靶器官损害与降压是高血压病治疗的基本原则,血压昼夜节律异常与高血压靶器官损害和心血管事件发生呈明显的相关关系,是独立于血压水平的重要致病因素。血压昼夜节律的产
目的探讨有效降低鼻咽癌放射治疗患者张口困难的护理措施。方法选取行鼻咽癌放射治疗患者490例,采用随机数字表法将其分为常规组(n=258)和干预组(n=232),常规组给予常规护理,
目的对感染蠕形螨的比格犬进行诊疗及病理组织学观察。方法直接涂片法进行显微镜检查,常规石蜡切片及HE染色后进行病理组织学观察。结果 (1)临床观察:患病犬四肢、眼周、下腹