面向视频监控的分布式存储系统负载均衡研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:fangrong87
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,分布式存储系统是应对数据激增的一种有效方式,系统的负载均衡极大的影响着分布式存储系统的性能。现有负载均衡策略基本上都会产生保存数据存储位置的索引元数据,这极大的影响了分布式存储系统的性能和可扩展性。在视频监控场景下,写请求的数据需要切片后保存,产生的大量索引元数据会导致大量存储空间浪费,因此在视频监控场景分布式存储系统中适合使用通过计算分配请求的方式来实现负载均衡分配。一致性哈希及其改进算法避免了索引元数据的存储,但是通过动态增删hash环上虚拟节点实现负载均衡的方式会产生大量数据迁移与识别开销。论文利用视频监控分布式存储系统中写多读少的特点,提出了虚拟节点状态管理策略,通过改变虚拟结点状态值来避免hash结构发生变化,在实现读写请求均衡分配的同时,减少了不必要的数据迁移与识别开销,提高系统整体性能;提出了虚拟节点个数管理策略,考虑服务器可用存储容量,设计更贴合服务器性能变化规律的计算方法,进一步提升负载分配及数据分布的均衡效果;提出了服务器分组策略以方便管理数据的副本,确保服务器宕机时可快速找到其他副本所在位置,减少数据识别开销,同时可以从组中选出负载最轻的服务器处理读请求,进一步提升负载均衡效果。面向视频监控存储系统实现了基于分组的动态一致性哈希(Dynamic consistent hashing algorithm based on group,DCHG),测试结果表明,DCHG实现了较好的负载均衡效果,避免了大量数据迁移与识别开销。与现有工作DWCH和DCH相比,DCHG均衡负载的效果比DWCH高出了26.21%~37.77%,比DCH高出了23.27%~34.76%,均衡容量利用率的效果比DWCH高出了63.54%~72.12%,比DCH高出了63.13%~71.96%。
其他文献
饥饿治疗、气体治疗及化学动力学治疗都依赖于对肿瘤的靶向来发挥最大的治疗效果。合适的纳米载体可以将介导饥饿治疗、气体治疗及化学动力学治疗的效应分子或药物精准递送至肿瘤部位,在减少由脱靶带来的副作用的同时,提高治疗效果。金属有机框架(Metal-organic frameworks,MOF)是一种备受瞩目的纳米尺寸载体,具有巨大的表面积、内部多孔且尺寸大小方便调节,适合作为药物载体应用于肿瘤治疗。不同
新疆准东地区的高碱煤储量丰富,煤质优良,是一种具有较高开发价值的动力用煤,但因其碱/碱土金属的含量很高,而极易导致燃煤锅炉的结渣沾污,影响电厂的安全稳定运行。本文基于烟气强化水洗方法,探究了关键工艺参数对脱碱效果的影响规律,并建立了相关性模型,考察了强化水洗对高碱煤成灰特性以及热转化特性的影响,确认了此方法对抑制高碱煤燃烧结渣沾污的可行性和优势。此外,对烟气强化水洗工艺工业应用可行性和环境影响进行
中华文明历史悠久,底蕴深厚,拥有卷帙浩繁的古籍文献,古籍平台作为古籍数字化内容的主要载体,承担着传承古籍内容、展示古籍成果、普及推广古籍精神的历史重任。古籍知识平台服务设计的研究,能够帮助古籍平台更好的从信息平台向知识平台转型,实现古籍用户对于智慧服务的诉求。论文引入服务设计的理念和方法,以古籍用户为服务设计的出发点和核心研究对象,在互联网背景下,顺应移动时代的趋势进行服务设计创新,与过去研究对象
联烯醚与其他烯烃相比具有更高的反应活性,可用于合成多种天然产物。因此,关于联烯醚的合成和转化的研究一直备受化学家们的关注。联烯醚存在累积二烯结构单元,若在双键一端连有给电子基团,则表现出独特的三重反应模式:(i)γ-碳易受亲核试剂进攻;(ii)β-碳的反应性则和烯醇醚的反应性类似;(iii)α-氢很容易被碱攫取得到重要的有机合成中间体。探究高区域、高立体选择性的合成方法对于实现联烯醚的精准转化具有
金属纳米团簇(MNCs)超小的尺寸(2-3 nm)使其具有许多类分子的特征,如分立的能级结构、增强的荧光、磁性、催化性能等。近年来,小分子介导自组装金属纳米团簇成为研究热点:一方面自组装诱导荧光增强,另一方面丰富了金属纳米团簇的荧光机理。然而,金属纳米团簇稳定性不高、组装驱动力容易受环境影响等问题,限制了自组装金属纳米团簇的进一步发展。如何在自组装的同时提高金属纳米团簇的稳定性是关键问题。两亲性嵌
大数据等技术的发展对数据存储的性能和容量提出了更高要求。统一内外存架构(Unified Memory-Storage Hierarchy,UMH)利用PCIe互连技术实现了可字节访问固态盘,被广泛应用于解决传统分层存储架构中内存容量不足以及大量内外存数据拷贝问题。然而内存数据库中常用的哈希索引在UMH下面临两方面问题:一是哈希索引利用哈希函数将键值对均匀随机分布于已分配空间,引起大量随机I/O,增
共价三嗪框架(Covalent triazine frameworks,CTFs)是以芳香性的三嗪环为连接单元的多孔有机聚合物,具有比表面积高、密度低、稳定性好等优点,尤其是其三嗪环与苯环之间存在强共轭作用,并且可以灵活的调节构筑单元以调控材料的光电性质,使得CTFs在光催化领域有着广阔的应用前景。目前CTFs在光催化分解水制氢领域的研究已经取得了很多进展,但是光生电荷的复合依然是制约CTFs的光
随着清洁、高效成为未来能源的发展方向,天然气行业不断发展,作为中间枢纽的LNG(Liquified natural gas)接收站建设也在不断增加。接收站中的LNG利用海水进行气化后送入下游,其中大量的冷能被浪费,冷污染也会影响海洋的生态环境。同时,LNG接收站在运行过程中不可避免地会产生BOG(Boil off gas,蒸发气),接收站BOG的处理也是一大难题。因此,本文提出适用于LNG接收站的
风险和不确定性已经成了人类现代化进程所必须回应的一个新议题。在风险日益加剧的现代社会环境中,人们有必要系统反思公共安全风险治理研究范式的融合与创新。已有研究成果从不同视角回应和解释公共安全风险治理问题,形成了相对稳定的范式,但这些范式之间缺乏有机的融合与创新。聚焦公共安全风险治理研究,在国内外相对比较成熟的六种范式基础上,提出了公共安全风险治理的绩效范式。在绩效管理理论视角下,着重探讨已有范式与公
2型糖尿病(Type 2 diabetes,T2D)最重要的病理特征之一是人胰岛淀粉样多肽(human islet amyloid polypeptide,hIAPP)发生聚集。研究结果显示,hIAPP单体发生错误折叠后产生的寡聚体和纤维具有一定的细胞毒性,会导致胰岛β细胞的丧失,进一步引发2型糖尿病。此外,高血糖条件下往往诱发氧化和氮化应激,此环境可能导致hIAPP中酪氨酸发生硝化,生成硝基化的