感知风险与热度的纠删码内存恢复方案研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xiaofengwuxuan123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
出于低访问延迟及高吞吐率的考虑,高性能计算(HPC)通常使用内存作为其存储媒介,以聚合多个节点的计算能力。然而,内存级存储往往面临以下三方面技术挑战:其一,内存级存储需要考虑数据暂时不可用,对此,需要引入冗余方案来提供数据容错性;其二,庞大的节点规模下,节点故障往往会并发出现,造成系统可靠性降低,对此,数据重构需要评估数据丢失风险以保证系统可靠性;其三,用户访问不均衡,可能造成某小部分节点处于重载甚至过载状态,从而导致集群整体访问性能降低,对此,需要保证内存数据的可用性以及在线响应性能。为了保证纠删码内存数据重构时的可靠性,提出了一种基于风险的恢复方案(Risk-based Recovery Scheme,Risk-RS),该方案能够量化纠删码条带的数据丢失风险,根据条带的失效分块数进行高低风险划分,然后优先恢复风险较高的失效分块,从而保证内存数据的高可靠性以及高耐久性。为了保证纠删码内存数据重构时的可用性,将基于热度的恢复策略从RAID系统应用到内存中,即基于热度的恢复方案(Popularity-based Recovery Scheme,Popularity-RS)。为了兼顾纠删码内存数据重构的可靠性和可用性,在Risk-RS方案和Popularity-RS方案的基础上提出了两种感知风险与热度的混合恢复方案(Risk-and-Popularity-aware Hybrid Recovery Schemes,RP-HRS),RP-HRS可视为Popularity-RS和Risk-RS的某种组合,一种是热度优先的混合恢复方案(Popularity-first Hybrid Recovery Scheme,Popularity-HRS),另一种是风险优先的混合恢复方案(Risk-first Hybrid Recovery Scheme,Risk-HRS)。同时,建立重构时间模型,将影响重构时间的各个因素考虑进来,进而定量分析各因素对重构时间的影响。为了对比评估Risk-RS方案、Risk-HRS方案和Popularity-HRS方案,设计了Popularity-RS方案和顺序化条带恢复方案(Basic)作为基准方案,通过重播YCSB[63]生成的Trace对上述五种方案进行定量化评估。实验结果表明,相较于Basic方案,Popularity-HRS方案、Risk-HRS方案以及Risk-RS方案分别能减少重构时间达37.2%、52.5%和55.6%;相比于Popularity-RS方案,Popularity-HRS方案、Risk-HRS方案和Risk-RS方案分别能够减少重构时间达32.4%、50.1%和52.3%。相比于Basic方案和Popularity-RS方案,Popularity-HRS方案和Risk-HRS方案较好地兼顾访问性能和重构性能,并且在合适的恢复比例下,能够有效减少外存读数量。
其他文献
农产品地理标志的经济价值主要表现在两个方面,即标示农产品生产地域的不同与农产品质量上的优异,依靠它们,农产品地理标志成为促进农村经济增长的重要手段之一。农产品地理标志的发展也有不足之处,主要表现在市场影响力不够、生产规模较小、市场竞争力偏弱3个方面。农产品地理标志要实现其社会价值必须走品牌化的发展道路,即制定区域品牌发展战略、塑造区域品牌文化形象、推动区域产业集群发展。
期刊
随着短视频应用软件的发展,短视频数据的规模快速增长,存储短视频数据的内容分发网络(Content Delivery Network,CDN)缓存系统面临着挑战,频繁地插入、删除短视频数据和用户不均匀的访问模式制约着CDN缓存系统的服务性能。在传统的CDN缓存系统中,代理服务器需要大容量的内存来存储热数据以确保热对象缓存区的高的对象命中率进而快速地响应对热视频的请求,现有的代理服务器以成本较高的动态
学位
随着工业的发展,二氧化碳等温室气体的年均排放量逐年增多,这造成了气温升高、气候异常以及极端天气频发等全球性问题。硒化锑(Sb2Se3)作为一种稳定、低毒、储量丰富的新型薄膜太阳能电池材料,具有适宜的禁带宽度(1.17e V)、吸光系数高(10~5 cm-1)、结晶温度低(133℃)、物相单一等优点,发展潜力巨大。但现行Sb2Se3太阳能电池的制备技术尚存在以下问题:一方面,蒸发源和基底距离有限,引
学位
随机游走是分析大规模图数据的基础技术,为许多重要的图度量、排序和图嵌入算法奠定了基础,广泛应用于图数据分析和机器学习等领域。但是现有的通用图处理系统没有充分考虑随机游走应用的特征,采用基于迭代的I/O模型,限制了随机游走应用的效率。现有的随机游走专用图处理系统采用基于状态感知的I/O模型,没有考虑游走过程中的数据活跃状态和分区关联状态,仍然存在大量外存I/O和I/O利用率不高的问题。为了提高系统的
学位
随着图数据的复杂性和规模迅速增长,低成本和易扩展的外存图处理系统成为替代内存图处理系统的流行方案。NVMe固态盘在内的新兴存储设备的成本不断下降,同时提供了良好的性能,给外存图处理系统带来了新的挑战和机遇。现有图处理系统在使用NVMe SSD作为外存时,存在锁争用开销、并行I/O能力受限、计算与I/O相互等待和IO带宽利用不充分等问题,无法充分发挥NVMe SSD设备的I/O性能。针对以上问题,采
学位
河南省农产品地理标志以初级农产品为主,加工类产品少,地区间分布不均衡,保护力度不足。需明确部门责任,完善监督机制;完善法律法规,增强制度保护;加强市场监管,打击侵权行为;树立品牌意识,深挖地理标志附加值。
期刊
随着信息技术的发展,数据规模逐渐增加,越来越多的应用开始向数据中心迁移。在高度互联的数据中心基础设施给应用带来性能上提升的同时,这些应用也给数据中心网络带来新的挑战。如何处理数量巨大、特征复杂的网络流成为数据中心网络亟待解决的难题。通过给数据中心网络中的网络流安排合适的顺序或者分配合适的带宽等方式,数据中心网络流量调度可以实现较低的平均网络流完成时间或满足特定的服务等级协议(Service-Lev
学位
新兴的非易失性内存(Non-volatile Memory,NVM)提供了许多良好的特性,包括字节寻址、持久性、大容量和低功耗等,基于这些特性,NVM在未来将会有广阔的应用场景。但是,基于NVM的编程往往比较复杂,特别是面对当前普遍存在的多核环境,用户既要保证数据的崩溃一致性又要保证并发的正确性。为了解决这个问题,结合持久性和传统事务内存,研究人员提出了持久性事务内存解决方案。按照实现方式的不同,
学位
在移动边缘计算(Mobile Edge Computing,MEC)场景下,单个边缘服务器有限的覆盖能力和用户移动性之间的矛盾可能导致用户的服务性能下降甚至服务中断,利用容器在线迁移技术将用户的服务迁移到用户附近的边缘服务器是解决这一问题的重要途径,但是现有的容器在线迁移方案很难在MEC环境中保证快速的服务切换(Service handoff)。针对影响MEC场景下容器在线迁移性能的两个关键问题:
学位
数字病理图像作为病理学分析与诊断的主要对象与载体,在生物医学领域具有十分重要的研究与应用价值。由于涂片上的细胞分布不均以及自动对焦点算法的局限性,难以将所有细胞均维持在物镜景深范围内,从而造成了数字病理图像上部分细胞离焦的问题。离焦会导致细胞结构模糊,极大地影响了病理医生阅片和基于数字病理图像的自动化算法应用。现有的解决离焦图像模糊的重聚焦方法主要是多焦点图像融合与单张图像去模糊。多焦点图像融合算
学位