多数据中心环境中科学大数据应用执行优化机制的研究和实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:JoshuaSiu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着云计算和大数据等新兴技术的兴起,高能物理学、天体物理学、生物信息学等以数据为中心的科学领域开展的大型科学实验计算规模愈加庞大,产生和积累的科学数据量显著增长,对科学数据的分析挖掘更为复杂深入,是典型的科学大数据应用。科学大数据应用通常可建模成科学工作流,其执行所需的计算和存储资源规模庞大,需多个科研机构协作,聚合各自数据中心资源支撑科学大数据应用的海量数据存储和大规模科学工作流计算,实现多数据中心环境下科学工作流的分布执行。然而,由于各数据中心间网络带宽资源相对有限,科学工作流分布执行过程中跨数据中心的大量数据传输易成为性能瓶颈。作为影响跨数据中心数据传输的重要因素,数据合理布局和科学工作流任务高效调度可以有效减小数据中心间数据传输量,是提高科学工作流执行效率的关键。现有针对数据布局和工作流调度的研究,未全面考虑科学大数据应用关联数据访问、初始输入数据固定、海量中间数据存储等执行特征,无法实现数据合理布局和工作流任务高效调度,难以进一步优化科学大数据应用的执行。为实现多数据中心环境下科学大数据应用的执行优化,本硕士论文从以下三方面展开研究:首先,针对海量数据的布局优化进行研究。科学工作流在各数据中心的分布执行需以海量的初始数据作为输入,因此相关初始数据被各数据中心频繁请求访问。为了减小对初始数据的访问代价,本文在考虑数据放置本地性的基础上,引入数据访问模式特征以及数据中心存储等约束,将数据布局问题建模为整数规划问题,提出一种基于拉格朗日松弛的高效数据放置算法。然后,针对复杂科学工作流的任务调度优化进行研究。在初始数据合理布局的基础上,为了减小工作流执行过程中跨数据中心的数据通信,本文综合考虑科学工作流复杂依赖关系、初始输入数据预先放置、中间数据放置以及数据中心计算、存储限制等特征,对工作流调度问题进行建模,准确刻画科学工作流调度的特点。同时,根据模型提出了一个基于多层粗化、细化图划分框架并采用特殊混合遗传算法的启发式方法。最后,实现并部署科学大数据应用工作流管理系统。为了进一步验证本文提出的执行优化策略的有效性,本文基于现有的工作流管理系统进行二次开发,实现科学大数据应用执行的数据布局和工作流任务调度方法。同时基于东南大学云计算中心、曙光计算中心等多数据中心环境进行系统部署,验证本文研究成果的有效性。本文对多数据中心环境下科学大数据应用的执行优化机制进行深入研究,提出合理的数据布局方法和高效的工作流任务调度方法。通过大量的仿真实验和真实多数据中心环境实验表明,本文提出的优化策略能够有效减小科学工作流执行过程中跨数据中心的数据传输,实现科学大数据应用的执行优化。
其他文献
本研究应用差异显示技术克隆血糖调节相关基因作为糖尿病的候选基因。通过颈静脉—右心房插管技术建立了大鼠血糖自动调节模型,葡萄糖注入大鼠形成短暂高血糖前后,取其骨骼肌进
社区是指由居住在一定地域范围内的人们从事多种社会活动、结成多种社会关系的社会生活共同体。随着改革开放,我国在社区建设方面取得了一定的成就,逐步重视社会公共服务的价值。但我国社区依然存在行政色彩浓厚、服务体系建设滞后、社会和市场力量参与不充分和治理模式陈旧等问题。而老城区社区则同时存在服务和管理、空间环境和基础设施方面的不足,因此自身存在较多的风险因素,这突显了社区弹性规划的必要性。为此,本文以“进
随着我国水电事业的飞速发展,鱼类资源正面临着极大的威胁,鱼类救护工程越来越受到重视。从增殖放流、过鱼设施、栖息地保护等三个鱼类救护工程的角度,浅谈了我国鱼类救护工
肥胖易引发各种慢性病,严重影响人类健康。中碳链脂肪酸可降低营养性肥胖小鼠血中甘油三酯和胆固醇水平,改善脂代谢。肝脏是合成脂肪和降解胆固醇的主要器官,维持机体甘油三酯和胆固醇代谢稳态。胆汁酸由胆固醇降解,被分泌到小肠中发挥作用,除重吸收回肝外,小部分被排出体外。中碳链脂肪酸可增加粪便胆固醇及胆汁酸的排出,降低血清胆固醇。樟树籽仁油是中碳链脂肪酸的天然来源,具有重要研究意义。本实验构建了营养性肥胖小鼠
目的探讨滤器捕捉血栓后回收时肺动脉栓塞风险。方法通过体外实验观察G(u|¨)nther Tulip滤器捕捉不同大小的血栓后回收脱落血栓的情况。结果分别投入15x15、12x12、10x10、8
简要介绍笺纸的小史、制作及其文化价值。历史上的文人墨客出于对书画和书画纸的喜爱,利用笺纸设计了各种形式的书法和绘画作品,着力表现文化艺术品的高雅与名贵,在中国的文
氮作为生物生长必不可少的大量营养元素之一,不仅影响着地面植被的生长繁殖和初净生产力,也对土壤营养和微生物群落结构及功能具有重要作用。由微生物驱动的氮循环已成为人们
目的:通过本试验进一步探讨吸烟对支气管哮喘患者气道炎症的影响,了解吸烟哮喘患者对激素治疗的敏感性,从而为临床治疗提供更有效的手段。方法:选取35例慢性持续期哮喘患者,
目的:基于中医下法,将“六腑以通为用,腑气以降为顺”及“肠肝循环”理论应用到本试验中。观察以清肝泄热,温化寒湿为治法,运用茵陈术附汤合龙胆泻肝汤加味治疗乙肝肝硬化腹
目的通过研究盐酸氨溴索对吸烟大鼠肺组织病理改变,气道阻力和肺顺应性以及对支气管上皮细胞和肺泡巨噬细胞中激活蛋白-1(AP-1)和铜锌超氧化物歧化酶(CuZn-SOD)蛋白及其mRNA