数据中心优化放置和容错存储策略研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:senkooqian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算的快速发展,数据中心作为云计算的核心基础设施也开始了高速发展,传统数据中心的集中式网络分布被打破。随着分布式取代了集中式,当今数据中心对海量数据的高效存储和管理,大量而多变的通信交互模式和低往返时延等方面提出了很高的要求,传统的协议和算法难以在现有数据中心网络中发挥功效。近几年来,大量的研究工作围绕着如何优化数据中心中数据的放置和存储策略展开,这些研究工作主要包括两个方面:第一,如何实现一种高效的内容放置策略,选择最优的放置节点,减少访问时延,同时改进节点负载均衡。第二,如何实现一种具有容错性的存储策略,减少节点失效后,数据恢复的时间,最小化节点失效的影响。强化学习算法是一种与动态规划相关的算法,适合解决数据放置这类优化的问题。本文将强化学习算法应用到数据中心内容放置问题中,提出了基于强化学习算法的优化放置策略,并应用纠删码技术提出了基于关联性的容错存储策略。针对数据中心的内容放置策略,本文第一部分将强化学习算法中的Q学习方法应用到数据中心网络的内容放置中,通过最优化平均链路带宽和节点存储负载建立放置模型,设计了运用Q学习方法的副本数据放置策略。课题采用的是以交换机为核心的架构中广泛使用的Fat-tree数据中心网络拓扑结构。课题中放置算法主要考虑了放置路径的平均链路带宽,数据访问延迟和存储节点的负载,建立相应的联合函数,作为评价放置策略的标准,由于评价策略综合考虑了链路状况和节点的负载,仿真实验表明,系统在运行一段时间后,该放置策略能有效的平衡节点负载,同时网络平均延迟较小。考虑编码之后数据块放置的合理性,本文在第二部分提出了基于编码数据平衡的容错存储策略。现有放置策略主要基于冗余度和访问时间,针对编码数据关联导致的数据失效问题,本文提出了平衡分类的存储策略。实验表明,该放置策略能有效减少数据失效概率,优化数据访问时延,增大平均无故障时间。
其他文献
目前在金属塑性成形领域中所用的润滑剂不仅需要优异的减摩抗磨能力,而且必须是绿色环保无污染的产品。石墨烯优异的润滑抗磨性能和水基绿色环保润滑剂的有机结合非常符合现代工业润滑的要求。然而目前国内外市场上应用最广的磷/皂化工艺润滑工序较繁琐,污染重,能耗大,成本高,对城市环境影响非常大。因此研制新型工业润滑剂非常紧迫。石墨烯作为纳米新材料具有力学性能好,自润滑性能好等优点,非常适合作为润滑剂的润滑助剂。
大螟Sesamia inferens(Walker)曾为我国水稻上的一种偶发性次要害虫。随着全球气候变暖以及水稻种植制度的改变,该虫近年来在我国局部稻区的为害逐渐加重,已成为水稻上的重要害虫。螟黄足盘绒茧蜂Cotesia flavipes(Cameron)是大螟幼虫期的内寄生性优势种天敌,在世界多个国家均有分布且寄主范围较为广泛。为了更好的掌握大螟的田间发生动态,我们在扬州邗江区甘泉镇和方巷镇开展
在无线传感器网络运行过程中,由于需求的变动,常常需要重新对传感器节点进行参数重配置。由于网络通常规模很大,故通过人力的方式难以实现对配置参数进行更新,最高效的方式是
与图像相关的复杂度的研究和应用非常广泛,除了目标自动识别、图像压缩、图像分类与检索、文字检测等研究领域之外,在医学、认知心理学、计算机美学也有应用。在目前的这些研
随着LTE网络迅猛发展,网络架构越来越复杂,如何能够深入的剖析、规划、建设网络,并有效提升用户感知显得尤为重要。在LTE网络中,测量报告(Measurement Report,MR)作为可以真
目的 评价蒙药润骨灵治疗骨质疏松症的临床疗效。方法 随机选择2017年10月-2019年10月在内蒙古自治区国际蒙医医院接受治疗的60名骨质疏松症患者参与研究,将患者随机分为观察组和对照组,每组各30例患者。观察组患者口服蒙药润骨灵,15粒次,早晚各/1次;对照组患者口服中药金天格胶囊,3粒/次,3次日;治疗疗程为/3个月。比较两组的腰椎骨密度、视觉模拟评分法(VAS)评分、伴随症状评分、血钙(S
近几年来,互联网、计算机、无线传感器、通信等技术的不断发展与完善,为物联网产业的发展奠定了良好的基础。世界各国也都看到了物联网产业光明的发展前景,将物联网产业作为
随着基于位置的服务应用的日益普及,基于位置的社交网络(LBSN)已经吸引了大量用户在他们的偏好兴趣点签到,这些用户和他们的朋友们分享他们访问这些兴趣点的经验和乐趣。从而
近年来,卫星通信技术高速发展,卫星发射数量随着日益增长的应用需求逐渐增多。当太空中卫星的数量较少时,卫星运行到地面站上空时与其进行数据通信;随着卫星数目的增长,为了
聚乙烯(polyethylene,简称PE)木塑装配式围挡结构相较于传统围挡结构具有强度高、宜装卸、使用寿命长以及环保等优良特征,主要用于广东、福建、山东等强风地区。目前这种新型材料制成的围挡结构已小范围投入生产、使用,但围挡结构的安全性及适用性还有待研究。因此,对PE木塑围挡结构的力学性能及破坏机理研究具有重要意义。本文正是基于上述背景,以实验为基础,利用数值模拟的方式对PE木塑围挡结构的力学性