云环境下基于任务分配和数据集副本的科学工作流数据布局方法

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:bluelpower
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学工作流不仅给科研人员提供了可视化的编程界面,而且使得科研人员可以利用包含计算资源和数据集在内的分布式系统进行协作,从而可以进行大规模的科学实验与知识探索。而云计算以其特有的按需付费模式以及可扩展性强的特点,自问世起,就受到了大量关注,为科学工作流提供了一个良好的运行环境。云环境下科学工作流的数据布局问题成为了科学工作流研究领域的一个热点问题。云环境下,数据中心分布在世界各地,科学工作流在运行期间不可避免地需要进行跨数据中心数据传输,而不同数据布局方案带来的数据布局费用各不相同,这将在很大程度上影响工作流的执行费用。为此,本文在尽可能兼顾数据中心负载均衡的基础上,以降低科学工作流数据布局费用为目标,提出了一种基于任务分配和数据集副本的科学工作流数据布局方法。该方法首先从任务与任务的关系入手,定量计算任务之间的依赖度,接着在此基础上进行任务分配。结合云环境下科学工作流的执行特点,将数据布局方法分成初始阶段和运行阶段两个阶段开展,基于任务分配结果分别为初始阶段和运行阶段完成初始数据集和中间数据集在不同数据中心的布局,并根据不同的副本建立条件建立数据集副本以进一步减少数据传输费用,从而实现科学工作流运行中数据布局的费用优化。最后通过仿真实验验证了本文方法的可行性与有效性。
其他文献
该书以马克思主义关于合作经济组织的基本思想为指导,综合运用新制度经济学、产业组织等理论与方法,通过对江苏省新型农民专业合作经济组织的调查分析,从理论与实证的角度、微观
风险投资具有巨大的不确定性和风险性,风险投资主体对投资金融工具和退出方式的选择直接影响投资成败。为了分析风险投资中退出方式和金融工具选择问题,本文基于不同退出方式对
为了顺应21世纪科学技术文化思想的发展潮流,构建一套符合我国国情的素质教育课程体系,国务院提出了新课改政策,并开始在全国各中小学课堂推行.本文旨在以初中新课改政治课程
期刊
无线Mesh网络(Wireless Mesh Network,WMN)又称为无线网状网络,以其独特的自组织、自管理组网方式,具有部署成本低、覆盖范围广、灵活性强等优点。论文从实际应用需求出发,在
《历史与社会》课程改革是一项复杂而细致的系统工程,《历史与社会》课程改革的核心环节是课程实施,而课程实施的基本途径是课堂教学。如果离开了课堂,离开了教师的日常教学行为
本文通过自己的具体做法表述,作为小学班主任,要用爱和尊重来教育学生,使学生形成一种自觉接受教育的心理状态,从而维护我们的师道。
要打破传统的教学模式,应该培养学生的预习能力,进而培养学生自主学习的精神和意识。
发展社会主义商品经济带来的观念变化,改革开放中出现的新与旧、喜与忧、得与失等等,不可避免地冲击和影响着各类学校,而学校本身也处于教学改革与管理改革的进程之中。这有