面向科学工作流的云数据布局方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:rifcumtd111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展和普及,数据密集型应用已被广泛应用于众多等领域,尤其是科学计算领域。这类应用所处理的数据量通常十分巨大,且应用数据集之间往往存在着关联关系。通过应用工作流技术,可以实现各种复杂计算任务的自动化执行,我们称之为科学工作流。部署和执行科学工作流应用,不仅对计算资源有较高要求,同时也需要大量的存储空间。当前科学工作流应用多被部署于分布式计算系统,因为这些系统能够为科学工作流提供所需的高性能计算资源和海量存储空间。云计算作为一种典型的分布式网络计算技术,能够以相对低廉的基础设施成本为科学工作流应用提供所需的计算和存储资源,为其提供了一种全新的部署和执行方式。在云计算环境下部署和执行科学工作流应用,一方面能够节约大量成本,另一方面也为在遍布Internet的科研人员间实现资源共享与合作研究提供了一个良好的契机。然而,科学工作流应用在利用云计算技术的过程中遇到了一些新的挑战,特别是在数据布局(data placement)方面。云数据布局,即指在多数据中心的云存储环境下为应用数据文件选择存放位置的过程,其结果被称为云数据布局方案。科学工作流应用的部署和执行过程,是云计算环境下多个分布式数据中心协作的过程,该过程中的跨数据中心数据移动难以避免。由此带来的挑战主要体现在三个方面:1)一些应用数据集由于所有权等原因不允许被移动而只能被置于固定的位置;2)相对于巨大的应用数据量而言,数据中心间的网络传输带宽有限,而频繁的跨数据中心数据传输意味着不可忽视的时间开销;3)在隶属于不同服务提供商的云数据中心间进行数据传输往往将导致运行成本的增加。因此,如何通过对海量应用数据进行合理布局,从而降低应用执行过程中的跨数据中心数据传输,成为了在云计算环境下部署执行科学工作流应用的关键问题。针对云计算环境下科学工作流的数据布局问题,本文首先对问题进行了描述、分析和建模,并基于此将科学工作流应用分为两类:一类是相对稳定型科学工作流应用,其特点是流程步骤和应用数据的变更相对较少:一类是相对动态型科学工作流应用,其特点是流程步骤和应用数据的变更相对频繁。之后,本文针对上述两类科学工作流应用分别提出了两种不同的数据布局策略。其中针对相对稳定型科学工作流应用,我们提出了基于遗传算法思想的全局数据布局策略:针对相对动态型科学工作流应用,我们提出了基于贪婪算法的动态数据布局策略。前者侧重于数据布局的全局性和稳定性,以全局最优为目标来进行数据布局:后者则侧重于数据布局的动态性和灵活性,旨在应对流程步骤和生成数据的不确定性。上述两种数据布局策略,能够在保证数据布局有效性的基础上减少应用执行过程中的跨数据中心数据传输次数和由此导致的时间开销,从而降低开销并节约成本。本文通过建立云计算模式下分布式数据中心的模拟环境,对上述两种数据布局策略与其它同类数据布局策略从数据布局方案所对应的跨数据中心数据传输次数、数据传输时间开销等多个角度进行了对比分析。实验结果显示,与同类数据布局策略相比,本文所提出的两种数据布局策略具有较好的综合性能,其中在降低科学工作流应用执行过程中的跨数据中心数据传输时间开销方面表现尤为突出。本文的研究成果不仅对提升云计算环境下科学工作流的执行效率具有重要意义,同时也适于云计算环境下的其它数据密集型应用,具有较高的实用价值与广阔的应用前景。
其他文献
<正> 凝血酶(Thrombin)能促使出血部位血液凝固,对于非静脉曲张所致的上消化道出血有很好的治疗效果。
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
李清照在词史上被誉为婉约之宗,这与其转益多师,努力进行“易安体”的创作实践密不可分。易安词与前人的婉约词有很深的渊源,是在继承前人的基础上发展而来的,同时也有对婉约词的积极改造与革新,这些努力使易安词在宋代即产生了较大的影响。论文通过将易安词与其他婉约词人的对比探究李清照“转益多师”的学习,更深入了解易安词的独特价值和艺术贡献以及在两宋词坛的影响。本论文除绪论与结语外,主体分为三章。第一章李清照的
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
无人机最初是用于军事领域中,最近十年才开始应用于民用领域,随着小型无人机在民用领域的应用越来越广泛,与之相关的航迹规划和数据链技术也受到了各国各部门科技工作者的重
被害人承诺,是指法益主体对他人侵害自己可支配的法益的行为所表示的许诺。这一理论在德国等大陆法系国家的刑法学界一直被广泛的讨论,相比之下,我国的刑法学界对此关注较少
目的:观察胃癌Ⅰ号方联合化学治疗对老年晚期胃癌患者生活质量的影响,初步评价胃癌Ⅰ号方临床治疗老年晚期胃癌中的地位,并为其推广并应用于老年晚期胃癌提供临床依据。方法:采
呼吸道合胞病毒(RSV)是婴幼儿最主要的下呼吸道病毒病原,对于RSV的预防和治疗成为人们非常关注的问题。本文讨论了RSV预防和治疗的研究进展,并指出以后的发展趋势。
在课程改革中,学校的教育教学为了积极号召国家教育改革,在对学校的每门课程进行着符合时代的新变化,数学作为学生的最基础的课程之一,理应得到最好效果的改革。本文就数学这门课