论文部分内容阅读
随着多媒体技术、网络技术和计算机技术的不断进步,流媒体服务的应用和研究取得了飞速的发展。流媒体服务的特点是一边下载一边观看,以流的形式进行媒体数据的传输和服务,使用户可以在线欣赏到连续不断的媒体内容。由于流媒体服务数据量大、实时性高,对存储设备、网络设备以及服务器的资源调度都提出了很高的要求。
流媒体服务系统的资源调度问题主要指服务资源的调度和存储资源的调度,本文针对大规模流媒体服务系统中存储调度问题,围绕流媒体服务器集群的副本管理问题和层次化流媒体服务系统的存储调度问题展开研究,通过建立问题的数学模型进行分析,提出相应的存储调度策略,并对存储调度策略进行性能分析,最后讨论存储调度系统在工程实现中的若干问题。
现有针对流媒体服务器集群内的副本管理问题的研究,模型的主要目标是服务器间的负载均衡,然而,考虑到工程实际中存储调度的代价也是影响系统性能的重要因素,本文把副本调整的代价也作为存储调度的目标,进而可以更好地分析存储调度问题,发现现有算法的局限性,提出相应的改进方案。
针对基于zipf分布副本产生算法总副本数有限的问题,本文提出了A)使用比例因子直接放大Zipf算法决定的副本数,B)放大Zipf产生算法的区间划分数目两种改进方案,可以产生更大的总副本数,进而充分利用系统的存储资源,为更多的用户提供服务。
在流媒体服务器集群中副本放置问题中,由于现有的基于最小负载优先(Smallest Load First,SLF)的副本放置过程不能有效利用服务器中已经存储的副本资源,可能会创建过多的副本而使存储调度代价过高;而基于背包问题的算法(如MMPacking,Dynamic Repacking等),虽然可以有效地利用服务器上已经存储的副本资源,但是由于其副本产生机制的局限性,不能有效地利用系统全部的服务能力和存储能力。针对这个问题,本文基于最小负载优先(SLF)算法提出改进的副本放置策略,同时结合基于Zipf分布的副本产生策略,不仅可以满足负载均衡的要求,而且可以在有效地利用系统存储资源和服务资源的前提下,成倍地减少需要创建的副本数,极大地降低了存储调度的代价,使系统可以有更多的资源来服务用户的请求。
针对层次化存储架构下的大规模流媒体服务系统,本文通过将子树虚拟化为虚拟节点,使存储调度问题变得更具一般性,进而提出分为自顶而下副本分发和自底而上副本请求两个过程的存储调度策略,对存储调度策略进行了算法复杂度分析,并针对负载均衡程度、用户接受概率等指标通过仿真实验进行了验证,结果表明该存储调度策略可以使系统处于负载均衡的状态,进而充分利用系统的服务资源,获得更高的用户接受概率。本文最后对存储调度系统的工程实现问题做了讨论,分析了电视点播系统(TVOD)和视频点播系统(VOD)对存储调度系统的不同需求,并针对存储调度系统工程实现中的受欢迎度估计、存储调度决策等关键问题做了详细的讨论,对受欢迎度估计和存储调度策略中的关键算法做了介绍。