多云环境中吞吐量和预算约束下的工作流调度算法研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:liuxiaotiancxks
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算基础设施的快速发展和部署,利用云资源进行数据存储和分析的技术已被许多科学领域广泛应用。但是如何在多云环境中管理科学工作流和执行流数据集已经成为一项重大挑战。科学工作流中的计算模块一般由数据生成、处理和分析等一系列计算任务组成,同时流式工作流(Streaming Workflow)不断产生大量的实验或模拟数据集,也需要在某些性能和计算资源限制的情况下进行及时处理。为了满足不同领域的科学家优化各种目标的要求以及不断扩大的应用程序规模,通常需要在多云环境中部署数据和网络密集型的科学工作流,如何降低云间数据传输成本面临着巨大挑战。本文考虑了两个不同目标约束下的多云环境中流式工作流调度问题,即在预算约束下最大化流式工作流的吞吐量(MaxStream-MC)和在吞吐量约束下最小化流式工作流的执行成本(MinStream-MC)。本文所研究的内容,主要包括以下几个方面:(1)本文使用了具有云间和云内数据传输的工作流三层架构。该架构分为三层:i)顶层由许多计算模块组成,这些计算模块之间具有执行并行性和依赖性;ii)中间层定义了位于不同数据中心的物理机上配置虚拟机类型;iii)底层定义了许多分布式数据中心,这些数据中心由物理机集群组成并通过高速网络连接。基于该模型给出了本文的数学模型和问题定义,并证明了问题的复杂度。(2)针对本文考虑的两个问题,分别设计了一种启发式算法,即:多云环境中预算约束下流式工作流调度算法(B-StreamWS)和多云环境中吞吐量约束下流式工作流调度算法(FR-StreamWS),这两种算法都分为三个主要阶段:i)根据工作流结构将DAG划分为有序层;ii)给模块分配虚拟机类型;iii)给映射模块的虚拟机配置物理机和分配链路带宽。(3)在不同规模的工作流和云中对本文设计的两种启发式算法进行仿真实验,并与现有的启发式算法比较。实验结果表明本文设计的启发式算法B-StreamWS与B-RATE,MCWM,Critical-Greedy(CG)和Greedy LDP算法在预算相同的情况下进行比较的吞吐量,分别提升了31%,25%,37%和28%。算法FR-StreamWS与TP-RATE和SC-PCP在吞吐量相同的情况下比较成本的大小,提升率分别为36%和23%。
其他文献
随着经济的发展,能源日益短缺,生态环保问题日益严峻,从国家到社会再到个人,越来越注重环境保护,在建筑工程规划设计领域也提出节约能源、减少污染、保护环境等方面的要求。
本研究属于老年建筑类型研究大类之下,以老年人行为与心理需求调查为依据的养老设施的交往空间设计研究。本研究观点认为交往空间的系统化构建在养老设施环境内具有十分重要
本文介绍了东方电机控制设备有限公司承担的国家科技重大专项"先进压水堆及高温气冷堆"子课题"CAP1400半速汽轮发电机励磁系统"中人机界面程序的开发。利用VisioStudio平台C#
职业教育“走出去”是一个备受关注的话题。在今年两会期间,多位全国人大代表和政协委员均表示,由职业院校培养的国际化高素质技术技能人才稀少,具有中国特色的职业教育品牌
学位
对机械制造及其自动化研究生的专业课程《现代加工实验技术》的教学改革,进行了研究与探索。在详细介绍现代加工实验技术课程改革思路的基础上,介绍了该课程的教学内容和教学方
幼儿园教师是促进我国学前教育向好发展的排头兵,幼儿园教师的组织承诺、工作投入是显示其工作状态的信号灯,本研究以辽宁省内不同地区、不同类型(民办、公办)的448名幼儿园教师作为研究对象,采用问卷调查法对幼儿园教师感知园长领导风格与其组织承诺、工作投入的关系进行探索。旨在为幼儿园的管理工作提供建设性意见与措施,提升幼儿园教师的工作状态,推动学前教育教师队伍优质和谐的发展。研究结果:(1)幼儿园教师对园
数字化平台是一种现代化教学手段,是一种依托于信息技术来支持教学活动的系统。学校搭建数字化平台,是为了拓展校园教学空间和时间,提高教育资源的利用率,更好的完成日常教学
提出一种基于虚节点的非度量加权多维标度定位算法,它利用矩阵截断奇异值分解计算节点相异性矩阵的逼近阵。仿真实验显示,该算法在网络节点密度较低或拓扑结构不规则时比以往算
自然数偏差现象指的是在数学问题中不恰当地使用自然数规则导致解题错误的现象。国内关于自然数偏差的研究较少,多以分数比较任务为材料,研究分数比较任务中的自然数偏差现象,以往研究多是以直觉法则与双加工理论为依据,从现象的层面探讨偏差的普遍性与发展趋势,没有进一步研究其中的认知机制。本研究从抑制控制模型的角度出发,试图找到抑制控制在成功克服自然数偏差时起到关键作用的证据。为了实现上述目标,本研究的预研究首