面向视频云存储的HDFS负载均衡工具设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:mile999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在线视频服务是互联网服务的重要组成部分,存储是提供在线视频服务的基础。HDFS (Hadoop Distributed File System)作为面向通用文件存储的云存储系统,被很多视频服务网站使用,但其负载均衡工具未考虑利用视频文件在线播放时的带宽消耗特性来使集群的带宽资源得到更充分的利用。为解决原有负载评估模型没有考虑带宽资源的问题,论文提出基于带宽消耗预估的负载评估模型。通过对各个视频文件的码率、数据块大小和访问热度等特性的分析对各个数据节点支持在线视频播放系统时实际消耗的带宽量进行预估,以此作为数据节点负载评估模型中带宽消耗特性的评估标准,模拟实验表明该负载评估模型能够更准确地对数据节点的带宽消耗特性进行评估。为解决负载均衡方案生成过程中负载评估指标由一维上升到二维时数据节点配对不合理的问题,论文提出基于对称匹配的负载均衡方案生成方法。论文分析并提出了二维负载评估指标情况下的负载均衡目标,通过对过载、正常和低载数据节点中数据块组成情况的分析提出了二维情况下的对称匹配准则,设计了二维情况下数据节点进行配对的方法和数据移动任务生成的方法,模拟实验表明该负载均衡方案生成方法能够更有效地完成负载均衡目标中与带宽相关的部分。为避免负载调度过程中发生高带宽消耗数据块聚集的情况,论文提出基于条件选择的负载调度方法。通过对数据移动任务对应的需要被移动的数据块的大小和带宽消耗估计值的整体特性的分析,提出了按照预设条件交替进行数据块的随机性选择和确定性选择的负载调度方法,模拟实验表明该负载调度方法能够更有效地降低带宽目标均衡值。在HDFS原有负载均衡工具的基础上设计并实现了面向视频云存储的HDFS负载均衡工具,测试表明论文所述方法能够使集群中的带宽资源得到更充分的利用,在高带宽消耗视频文件作为视频服务访问热点的测试场景中,论文所述方法在90%的场景中优于原有负载均衡方法,最高能够使集群中瓶颈节点的带宽峰值降低20%。
其他文献
<正>课前慎思"体积与容积"一课是北师大版教材五年级下册第四单元"长方体(二)"的起始课,这是一节概念学习课,属于"度量"教学的范畴,与长度、面积概念教学有相通之处。体积与
重庆市合川区高校师生信教比例较高,且发展速度较快,部分师生对宗教缺乏明确的认识,师生对宗教渗透的抵御能力较弱,甚至有邪教组织向高校渗透。敌对势力和宗教组织通过外籍人
现代智能手机和平板电脑的使用率日益普及,桌面版网站浏览的关注度正处于下降趋势,但由于B2C领域的发展,桌面版网站在今后的时间里也将成为网络发展的重要战略方向。在许多电
目的 报告 1996~ 1998年间应用多种型号的交锁髓内钉治疗肱骨干骨折 2 5例的疗效。方法 对肱骨干骨折 2 5例采用交锁髓内针治疗。得到随访 2 1例。随访时间 8~ 32个月 ,平均
目的 采用棘突截骨椎管成形术治疗单纯性腰椎管狭窄症 ,并进行临床与影像学评估。方法 手术方法为单侧椎板显露棘突基底截骨 ,将棘突 -韧带 -骶棘肌整体推离对侧椎板。切除
目的 比较交锁髓内钉与加压钢板治疗肱骨干骨折的疗效以提高肱骨干骨折的治疗水平。方法 手术治疗 79例 ,肱骨干骨折 ,其中肱骨加压钢板内固定 5 6例 ,交锁髓内钉固定 2 3
<正>手术感染的发生有诸多危险因素,而急诊手术是感染发生的相关危险因素之一。在急诊条件下实施手术,由于术前皮肤清洁不充分、开放性创口或病人的病情凶险而至操作不规范等
会议
当前,随着网络信息技术迅速发展,网络成为了意识形态斗争的主战场。军队一直是敌对势力进行意识形态渗透的重点,而青年官兵更是敌对势力网络“政治转基因”瞄准的重要目标。
[目的/意义]进行涉华舆情研究有利于探析他国眼中的中国形象,进而有针对性地开展外宣工作。对国内相关研究进行细致梳理,能找出现今不足,为未来研究提供参考,最终助力国家对