混合云环境下工作流调度研究与应用

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:dingsiwei2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,在互联网+的环境下,云上互联网应用数量急剧增多,当复杂的科学计算需要使用大量云资源时,仅仅依靠私有云所提供的计算能力不足以满足计算需求时,需要引入混合云架构,为满足用户需求,在混合云环境中如何选择一个合适的调度策略以及选择合适的安全性方案去解决错综复杂的工作流依赖关系已成为企业面临的关键问题且具有重要的实际意义和应用前景。混合云环境下的工作流调度与其他工作流调度面临的问题主要包括三方面:(1)在多目标工作流调度策略方面,如何在满足任务截止期约束的情况下,同时满足私有云利用率最大化以及成本最小化。(2)在安全性策略方面,如何解决混合云工作流调度中公有云与私有云间数据交换的安全性问题。(3)在云管理平台中,如何解决平台高并发和突增访问、多地区灾备建设成本高、公有云环境下用户的隐私信息泄漏等问题。本文以国内某大型互联网运营平台的云原生化作为研究背景,设计并开发了云管理平台中的工作流调度模块,通过该模块实现工作流调度需求,解决云管理平台中存在的问题,提升了互联网运营平台的工作流调度效率与安全性。本文的主要研究内容如下:(1)基于工作流调度策略,提出了基于启发式算法的混合云工作流调度策略。针对混合云环境下的复杂任务分配问题,提出了满足最大截止期的混合云工作流调度算法。该算法在关联型工作流任务调度问题上,考虑到混合云环境这一特殊情况,结合私有云与公有云异构资源间的调度情况,确定混合云工作流调度优化函数。首先,利用优化的蚁群算法来进行私有云中工作流调度,并通过引入随机参数解决了蚁群算法易陷入局部寻优的问题,提高了私有云下的调度效率。其次,在混合云中,为了解决任务执行时间过长的问题,结合任务最大截止期约束,引入公有云弹性调度的优点,提高了混合云下工作流调度的执行效率。最后,通过仿真实验证明,该方案不仅能够有效的减少任务执行时长,还能减少公有云租凭费用,且在混合云工作流调度能力上获得大幅提高。(2)基于安全性策略,提出了混合云环境下工作流调度的安全性方案。由于公有云与私有云异构环境下存在跨越网络的数据交换现象,为了保证数据交换过程中工作流调度的数据隐私性,防止敏感数据被盗取的现象,设计了跨越网络的工作流调度安全性方案,本文应用访问控制概念,结合基于密文策略的属性加密方案,提出混合云环境下基于CP-ABE的从私有云调度到公有云执行过程中的数据加密算法。在调度过程中会根据用户的需求,利用CP-ABE算法进行数据加密,保障数据安全可靠。最后对加密方案进行测试,较好的保证了工作流调度过程中数据的安全性和数据加密过程中的性能开销。(3)基于某企业的互联网运营平台,设计并开发了对应的云管理平台中的工作流调度模块,该云管理平台至今已为数万个服务实例提供高质高效的云管理服务。通过云管理平台解决了大型互联网企业中的云原生问题,根据本文设计的混合云工作流调度方案,在云管理平台中实现了混合云架构下的工作流调度模块,混合云工作流调度模块的实现解决了高并发和突增访问问题,降低了多地区灾备建设成本。根据本文的混合云工作流调度安全性方案,解决了云管理平台中使用混合云进行工作流调度时的隐私信息泄漏问题。通过线上环境验证,本文设计方案可以很好的解决企业混合云环境中工作流调度问题。
其他文献
考察中国大陆(后文简称为中国)上世纪八十年代(1979—1989)的科幻电影,发现仅有的六部科幻片中存在着无论视觉层面还是叙事层面都有关于“身体”(body)的母题。这些“身体”之所以易于被发现,完全归功于它们非自然的组织形式有着奇观、骇人的形态,似乎这些电影作为“科幻类型”的全部本体性的依据都发挥在了对身体的奇观构想上。这些身体在电影的二元对立(binary oppositions)结构中往往处
学位
近年来,大数据、人工智能等IT技术发展迅猛,传统行业面临转型压力。技术的发展使得休闲食品行业不断突破零售边界,重构零售业人、货、场三要素,实现数字化营销和供应链的持续整合。由于行业头部企业纷纷加强数字化建设,再加上产品同质化水平严重,行业竞争将更为激烈。LP公司作为国内休闲食品的领军品牌之一,也面临产品质量问题频频发生、市场扩张压力大等难题。理清LP公司的发展战略,对明确LP公司发展方向、发挥自身
学位
新媒体艺术发展至今,众多艺术表现形式被广泛应用在创作当中。当代,新媒体艺术的价值不再拘泥于艺术创作,而被广泛的运用在日常生活当中,沉浸式体验被人们所熟知。自然情境是沉浸式体验不可或缺的一部分,却在学术方面没有得到相应重视;在创作方面缺乏系统的处理方法,因此有必要深入研究。本文以艺术创作的角度分析了自然情境沉浸式体验的特征,重点从感官体验的角度分析了如何营造自然情境沉浸式空间,从客观角度分析了自然情
学位
人工智能和机器人技术正在迅速发展。自主机器人慢慢可以做出具有道德后果的选择,人类也会受到越来越多的影响。同时,关于机器人的研究表明,当机器人与人类的相似程度达到一个特定程度的时候,人们对它们的反应便会变得极其负面和反感——这种现象被称为恐怖谷效应。然而,人们对机器人的道德判断是否会受到恐怖谷效应的影响还知之甚少。因此我们通过三个实验进行探究。实验一采用问卷调查的方式探究人们对于机器人伤害行为的道德
学位
健康是永恒的话题。除医疗技术水平、个人生活习惯、经济水平等因素对健康产生影响外,社会性因素对健康也有一定影响,即健康不仅是专业医学领域问题,也是公共卫生领域及社会领域问题。社会发展过程中,全球化与市场化加快了“社会信任”走进人们视野的速度,社会信任是否为影响居民健康的社会因素之一?由于条件限制,农村居民遭受健康冲击风险更大,而抵御健康冲击能力却较弱,当前我国正处于脱贫攻坚与乡村振兴衔接点,农村居民
学位
数据完整性审计机制可以有效地验证存储在云端数据的完整性。但是现有的完整性审计方案大多数都是基于验证者是完全可信的,未考虑到验证者试图获取外包数据块相关内容的问题,也未考虑到云环境中实体都不可信,可能存在多重攻击的问题。基于上述问题,本文对云环境中外包数据的完整性审计方法进行了研究,提出可验证的数据完整性检验算法,研究具有理论价值和现实意义。本文的主要研究内容如下:(1)针对数据所有者需对验证者进行
学位
超级计算机拥有的超强算力吸引了众多用户将作业放在其上完成运行,这导致了超算计算机服务的作业对象已经超出设计之初的高性能计算作业,还包括了高通量计算作业和大数据处理作业等。这些作业具有和高性能计算作业相差较大的负载特征,这不仅为当前超级计算机之上的SLURM管理系统带来巨大的挑战,还引起了系统资源利用率低下等问题。为此,本课题就围绕如何在超算平台上实现多类型混合负载的调度展开了研究。针对当前集群中众
学位
诺贝尔奖得主石黑一雄以人文关怀书写著称于世,其作品中关于“人”的界定问题也向来是石黑一雄研究的热点之一。基于前人在此方面的研究,本文不再将“人”作为一个既定概念来独立研究,而是通过研读石黑一雄小说《克拉拉与太阳》(2021)中人机共处过程,探究科技的飞速发展如何更新了人们长期以来对人类、机器的认知。在后人类主义学者哈桑(1977)与海勒斯(1999)的理论观照下,本文首先将小说中错综复杂的人机关系
学位
以往我国3岁以下孩子主要由父母、祖辈或雇请保姆参与日间照护,随着人口老龄化程度的加深,隔代照料面临更大困难,同时近年来城市职业女性的人数大幅上涨,加上国家二孩、三孩政策的陆续出台,3岁以下婴幼儿托育机构已经逐渐成为社会刚需。由于托育服务的法规政策的缺失、政府供给的范围局限、管理与监督部门的主体不清、托育师资的不足等原因,使当前托育供需更加紧缺、监管难度日益加大。纵观国内外政府监管的基本措施和实践情
学位
近年来,高等职业教育随着教育行业的不断深化改革得到了快速的发展。2020年《政府工作报告》中明确提出了要在2022年内完成高职院校扩招200万人的任务,为此,我国持续增加财政支持力度,启动了现代职业教育质量提升计划资金257.11亿元。作为全额拨款事业单位的公立高职院校,长期以来一直依赖财政拨款运行,随着教育经费的快速增长,也越来越关注财政资金的使用效益。同时,我国也陆续出台了与成本核算有关的规范
学位