云边协同下数据密集型应用的副本优化机制

来源 :梁杨 | 被引量 : 0次 | 上传用户:thskaoyan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算和边缘计算技术深度融合,云边协同已成为解决大型分布式移动应用的典型模式。以云边协同为背景的数据密集型应用中,数据副本布局是影响云边协同集群服务质量和运营费用的重要因素。然而,云边协同集群因其位置分布性、设备移动性、集群异构性、资源动态性等特点,专注于高可用性和高可靠性的传统副本优化机制已难以适应当下对服务质量与绿色计算的迫切需求。同时,万物互联促使数据量急剧膨胀,数据密集型应用已成为云边协同环境下的主流应用。如何为云边服务提供商提供高性价比的副本部署和优化方案,以改善用户Qo S(Quality of Service)满意度并降低云边协同集群的管理和维护成本,已成为当今学术界和工业界共同关注的研究热点。对此,本文的主要工作内容和创新点如下:(1)针对数据副本部署不合理给大规模云边IT基础设施带来的“高耗低效”问题,提出了一种能耗感知的数据副本部署策略HEERD(High Energy Efficiency Replica Deployment Strategy)。为主动感知云边集群的整体能效水平,设计了一套新颖的组合监测方案进行性能监测和功耗数据采集;给出了一种基于信息熵的特征约简方法,以期提升模型计算效率;在此基础上,构建了一种基于特征选择和深度学习的功耗模型,进而对目标问题进行数学建模;提出了一种基于免疫遗传-粒子群混合优化算法的副本部署策略寻找最优解决方案。实验结果表明,与动态自适应策略和流行度-成本感知策略相比,本文提出的HEERD策略在作业规模较大时能分别节约8.5%和5.2%的平均功耗,亦能有效减少网络和存储开销。(2)针对数据副本放置过程中存在的粗放性、盲目性和时滞性等问题,提出了一种关联感知的数据副本协同预取机制CRP(Correlation-aware Replica Prefetching Mechanism),以避免“数据孤岛”带来的影响。设计了一个具有关联感知的副本协同预取总体架构,创新地为每个边缘云分别增设了一组协同预取模块;根据文件访问特性,将文件分为显式高价值文件和隐式高价值文件两类;通过定义文件访问规则,构建了具有关联感知的副本协同预取流程;据此,提出了一种基于一致性哈希的访问规则管理方法,进而基于邻接表存储结构设计了一套访问规则存储和查询机制。实验结果表明,与基准算法相比,本章提出的CRP策略对于I/O密集型作业能减少4.8%-14.5%平均响应时间且达到63.9%平均预取准确率,且能有效利用网络带宽并合理控制副本创建频率。(3)在面对高度动态的用户请求时,僵化的数据副本放置时常导致“数据倾斜”、“副本泛滥”和“资源溢出”等问题,为避免云边“各自辖域”,提出了一种基于“推荐-学习”的两阶段数据副本管理机制TRM(Two-stage Replica Management Mechanism)。通过给出边缘环境下面向移动用户的一类典型应用场景,设计了一个两阶段副本管理框架;进而对目标问题进行形式化描述和数学建模;在此基础上,提出了一种基于“推荐-学习”的两阶段副本管理策略,在“推荐”阶段,设计了一个基于移动预测和反馈优化的副本推荐引擎,在“放置”阶段,构建了一个基于A3C强化学习的副本放置规则学习模型。实验结果表明,本文提出的TRM策略与已有的副本放置方法相比,能减少1.28%-5.55%等待延迟和节约2.68%-9.4%的成本开销。(4)为满足云边环境下数据密集型工作流对截止期和执行代价的要求,提出了一种面向数据密集型工作流的副本布局策略,以期提高工作流执行效率。描述与定义了与数据密集型工作流相关的对象;通过对一个典型的数据密集型工作流实例进行设计与分析,构建了多约束工作流副本布局问题的数学模型;在此基础上,提出了一种基于二进制人工蜂群算法的副本放置策略,并详细分析了该算法的时间复杂度。实验结果表明,与随机放置策略和经典遗传算法相比,本文提出的策略能分别节约26.3%和12.2%经济成本且保持较低的工作流违约率。综上所述,本文面向云边协同下数据密集型应用,提出高Qo S、低开销的副本优化机制,通过一系列仿真实验验证本文所提的相关算法在副本管理方面的合理性和高效性,为现代云边协同系统的副本管理服务提供行之有效的解决方案,具有重要的理论意义和应用价值。图31幅,表8个,参考文献168篇
其他文献
燕麦是我国重要的粮食作物,也是内蒙古地区的优势作物,燕麦中含有丰富的β-葡聚糖,营养价值很高。全基因组重测序技术可以得到大量的SNP位点进行分子遗传标记,为作物遗传育种及品种选育提供重要参考。本研究对130份燕麦种质籽粒β-葡聚糖含量进行了差异性评价,并选择β-葡聚糖含量极端差异的坝莜18号和迪燕5号进行全基因组重测序分析,获得β-葡聚糖含量相关的SNP位点,并进行了荧光定量PCR验证,明确燕麦籽
学位
香菇[Lentinula edodes(Berk.)Pegler],因其食用价值和药用价值以及独特的风味而闻名。随着现有栽培品种的发展,菌种混乱现象严重,育种亲本间的遗传关系越来越窄,解决“同种异名、异种同名”的产业问题以及获取准确的遗传多样性信息,是培育优质、高产、多抗、适应性强菌株的重要工作。为了筛选适合内蒙古西部地区栽培的香菇优良菌株,以26个香菇菌株为试验材料,采用拮抗反应及ISSR分子标
学位
随着我国航空航天运载器关键构件朝着整体化、轻量化、高精度方向不断发展,如何实现大型轻量化构件的高性能整体成形加工已成为我国先进制造领域诸多重大工程急需解决的核心问题之一。然而,以铝合金为代表的轻质构件在传统的冲压/液压准静态工艺下成形性能较差,易出现起皱、破裂、回弹严重等问题。同时,现有成形工艺受压力装备台面与吨位限制,针对大尺寸壳体件成形加工主要采用分瓣成形和拼焊的方式,存在工艺繁琐、周期长、成
学位
土壤盐碱化是影响作物高产稳产的主要限制因素之一,受盐碱胁迫影响,大麦育种面临着极大的挑战。本研究以龙09Y1-199(耐盐材料)和沪90-6573(盐敏感材料)为试验材料,研究NaCl胁迫下大麦幼苗根系和叶片的形态特征及生理指标的变化;通过转录组分析,研究抗感材料根系响应盐胁迫的差异表达基因的变化及关键候选基因的筛选。揭示大麦响应盐胁迫的生理与分子基础,为大麦耐盐种质资源筛选鉴定及品种选育提供理论
学位
化学实验探究是科学探究在化学学科中的具体化,学生化学实验探究能力培养是国际化学课程的核心目标之一,更是各国化学课程改革的突破口。准确探查高中生化学实验探究能力的现状,有助于了解学生的学习现状,为教师改进教学、发挥化学学科育人功能提供指导。因此,本研究以构建化学实验探究能力表现水平指标体系为突破,测查高中生化学实验探究能力水平现状,为高中生化学实验探究能力的教、学、评提供借鉴。首先,通过理论研究和文
学位
《普通高中物理课程标准(2017年版2020修订)》提出了如何运用教科书发展科学思维的要求。但目前仍有部分一线物理教师对新版教科书的结构不甚了解,对如何高效运用教科书进行教学存有疑惑。为解决这一问题,深入剖析了人教版教科书必修三结构,并深挖教科书结构有助于提升学生科学思维的要点,以期为一线教师运用教科书提升学生的科学思维提供借鉴与参考,并为丰富我国教科书研究的相关理论贡献相应的智慧。界定了教科书结
学位
近年来,受国内政权更迭和国际局势变化等因素影响,美日韩三国关系出现诸多新变化。美日、美韩两个双边同盟明显强化,日韩关系大幅改善,美日韩三方协调和互动加强,美日韩与北约、澳大利亚等联系日趋密切。这些新变化对国际局势产生了直接影响。考虑到韩国国内政治生态因素,韩日恐难成为军事盟友,美日韩也难以构建真正的“亚太版北约”,但不排除未来三方进一步加强合作的可能性。
期刊
教师实施高水平建模教学是发展学生“模型认知”素养、提高学生建模能力的重要途径。促进教师建模教学专业化发展,需要从教师的课堂教学行为进行进一步的改善。为了保障教师能在化学建模教学课堂中有效的开展教学,促进学生核心素养的发展,构建出化学建模教学行为表现的分析框架是促进教师建模教学专业化发展的必要手段。通过文献梳理发现,无论是理论层面还是实践层面,关于教学行为与模型及建模教学的研究十分丰富,都有较为完整
学位
<正>(2023年1月14日)各位委员,同志们:在全省上下深入学习贯彻中共二十大精神、紧跟习近平总书记奋进新征程的重要时刻,政协江苏省第十三届委员会第一次会议隆重开幕了,这是全省人民政治生活中的一件大事。我代表中共江苏省委,向大会的召开表示热烈祝贺!向各位委员和与会同志致以诚挚问候!
期刊
旱作农业土壤耕作技术力求纳秋水、抗春旱,但长期单一的耕作措施使土壤情况越发恶化,同时传统肥料无法满足玉米全生育时期对养分的需求。为解决旱作玉米区春旱、苗带地温低、出苗质量差的问题,探讨不同耕作措施及养分管理对土壤水热动态、及其玉米出苗及生长发育的关系,对实现旱作区玉米作物丰产高效具有指导意义。因此,本研究立足于内蒙古旱作区设置四种耕作方式:常规垄作(CP)、离田免耕(NT)、覆盖免耕(RNT)、覆
学位