多云环境下最小成本数据存储问题研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:wrothnpc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来云计算的发展给用户提供了按需、灵活、低成本以及可扩展的应用部署方式,市面上出现了许多云服务提供商,如阿里云、AWS及Azure等。这种“多云”共存的环境使得用户能够方便灵活地利用多个云服务提供商来部署运行他们的应用以达到降低成本、提高服务质量等目的。由于云计算的这些特点,越来越多的数据密集型应用(如天文大数据)也开始利用云计算提供的海量计算和存储资源来进行部署及运行,这类应用通常包含复杂的工作流,通过工作流中许多复杂任务来对数据进行一步一步的处理并产生大量的具有依赖关系的数据。然而,由于云计算按需付费的使用方式,这些数据存储在云中会产生极高的存储成本,而如果将所有生成的数据删除,数据在被重新使用时需要从原始数据开始生成,则会产生很高的计算成本,不仅如此,不合理的数据存储方式也会对云计算资源造成极大的浪费,这些问题给数据密集型应用在云中的部署运行带来巨大挑战。因此,一个合理的数据存储和放置策略不仅能为用户节省大量的成本,而且能够降低云计算资源的浪费。针对以上问题,本文首先使用数据依赖图(Data Dependency Graph,DDG)对应用中数据间的依赖关系进行建模,以及研究数据存储策略和应用运行总成本之间的关系,并深入研究多云环境下最小成本数据存储算法。我们根据数据的依赖关系的特点将数据依赖图分为线性数据依赖图(linear-DDG)和复杂数据依赖图(complex-DDG),然后分别研究其最小成本数据存储算法。具体来说,1)针对linear-DDG,提出一个具有线性时间复杂度的数据存储算法(linear-PCE)。linear-PCE算法针对云环境中过长的数据生成过程会导致计算成本快速增长的问题,使用动态规划算法以及起源数据候选集约简规则,快速地找到每个数据的最优起源数据,最后通过反向遍历最优起源数据,即可获得最小成本数据存储策略。与此同时,linear-PCE使用增量计算大大降低了算法的时间复杂性。2)针对多云环境下具有复杂数据依赖关系的数据存储问题,本文提出了一个高效的复杂依赖关系多云数据存储算法(PCE)。PCE算法通过为数据依赖图中的分支指定起源数据,以及为合并分支中的数据寻找最优起源数据组合,能够计算出复杂数据依赖关系的最小成本数据存储策略。PCE算法利用数据依赖图的线性子图具有多项式种最优存储策略,通过保存算法运行的中间结果以重用可以快速地计算出最小成本数据存储策略。本文以天文为背景在实际的天文应用中进行方法的验证,根据实际天文大数据应用中的数据依赖关系、数据大小以及任务的执行时间构造真实的数据依赖图,使用现有主流云服务提供商所使用的定价模型生成的云服务提供商来模拟运行天文大数据应用,结果表明本文算法得到的数据存储策略能够大大降低应用运行的成本,节省云服务提供商的云计算资源。另外本文基于模拟数据进行了大量的实验,结果表明,对于具有线性数据依赖关系的数据存储问题,本文的算法都能高效地找出最小成本数据存储策略。
其他文献
近代是中国社会重要的转型时期,政治、经济、思想文化等方面都呈现了新的面貌,身体也不例外,其与国家、社会的联系更加紧密。本文从身体史的角度,试图考察1912年至1937年间小
配网馈线自动化SCADA系统是以通信、计算机和控制等技术为基础的数据采集、控制的自动化系统,它可以对远方设备终端进行监控、投切电容器、升降变压器档位,可以通过故障隔离
烟草曲茎病毒(Tobacco curly shoot virus,TbCSV)属于双生病毒科(Geminiviridae)菜豆金色花叶病毒属(Begomovirus)的单组分病毒,经烟粉虱(Bemisia tabaci)传播,在番茄和烟草上可引起严重的曲叶病,造成严重经济损失。vsiRNAs(virus-derived small interfering RNAs)介导的RNA沉默主要靶向病毒自身
本文以16世纪的意大利牧歌为研究对象,将人文主义作为切入点展开探究,结合音乐本体,从牧歌的歌词、创作技法及美学思想三方面入手,以几位重要的代表作曲家的作品为例,较全面
少数民族体育产业化是我国体育产业化和经济产业化发展的重要组成部分,如何将少数民族体育产业的资源优势转化为体育产业化的发展胜势,这是我国经济社会全面发展的产业化问题
为应对分布式能源高渗透率的发展趋势,提高电网对新能源的接纳能力,更好的融合多样性的能源结构,实现电网更加安全、灵活、稳定的运行,主动配电网的概念应运而生。主动配电网由分布式能源(distributed generation,DG)、储能系统(electrical energy storage,EES)、可控负荷(controllable load,CL)等部分组成,它是对电网实现主动控制和主动管理
伊恩·麦克尤恩(1948—)是当代英国文坛最受欢迎、最具影响力的作家之一。作为一个多产的作家,他从未放弃对伦理问题的关注。《甜牙》作为麦克尤恩的倒数第二部长篇小说是其
柴油机作为大型机械的核心动力部件,其运行状态的监测和诊断尤为重要,但由于其工作环境复杂,振动信号包含大量噪声,所以特征向量难以有效提取,严重制约柴油机的故障诊断技术
对国外推动国民阅读的相关法规政策、规划纲要等资料进行爬梳整理,提炼有价值及具有普适性的主旨要点、法条内容等,并结合不同国家的阅读文化环境和社会背景,分析国外阅读立
“2004中国大学生就业首选企业调查”活动结束了,一系列的调查数据正反映了在高等教育和大学生就业由精英化向大众化转变的过程当中,当代大学生多元化的就业价值观。从社会公