论文部分内容阅读
在线视频服务是互联网服务的重要组成部分,存储是提供在线视频服务的基础。HDFS (Hadoop Distributed File System)作为面向通用文件存储的云存储系统,被很多视频服务网站使用,但其负载均衡工具未考虑利用视频文件在线播放时的带宽消耗特性来使集群的带宽资源得到更充分的利用。为解决原有负载评估模型没有考虑带宽资源的问题,论文提出基于带宽消耗预估的负载评估模型。通过对各个视频文件的码率、数据块大小和访问热度等特性的分析对各个数据节点支持在线视频播放系统时实际消耗的带宽量进行预估,以此作为数据节点负载评估模型中带宽消耗特性的评估标准,模拟实验表明该负载评估模型能够更准确地对数据节点的带宽消耗特性进行评估。为解决负载均衡方案生成过程中负载评估指标由一维上升到二维时数据节点配对不合理的问题,论文提出基于对称匹配的负载均衡方案生成方法。论文分析并提出了二维负载评估指标情况下的负载均衡目标,通过对过载、正常和低载数据节点中数据块组成情况的分析提出了二维情况下的对称匹配准则,设计了二维情况下数据节点进行配对的方法和数据移动任务生成的方法,模拟实验表明该负载均衡方案生成方法能够更有效地完成负载均衡目标中与带宽相关的部分。为避免负载调度过程中发生高带宽消耗数据块聚集的情况,论文提出基于条件选择的负载调度方法。通过对数据移动任务对应的需要被移动的数据块的大小和带宽消耗估计值的整体特性的分析,提出了按照预设条件交替进行数据块的随机性选择和确定性选择的负载调度方法,模拟实验表明该负载调度方法能够更有效地降低带宽目标均衡值。在HDFS原有负载均衡工具的基础上设计并实现了面向视频云存储的HDFS负载均衡工具,测试表明论文所述方法能够使集群中的带宽资源得到更充分的利用,在高带宽消耗视频文件作为视频服务访问热点的测试场景中,论文所述方法在90%的场景中优于原有负载均衡方法,最高能够使集群中瓶颈节点的带宽峰值降低20%。