论文部分内容阅读
近年来,在线视频服务蓬勃发展,为了最优化用户体验,在线视频的服务质量测量和预测问题受到了越来越多的关注。 由于提供视频服务的内容提供商越来越多,大量的在线视频服务提供商催生了很多第三方视频聚合服务,在这些服务中,来自不同服务源的内容被聚合在一起,向用户提供实时视频和服务源的推荐。互联网上大量的视频网站会提供很多相同的内容,但每个网站的服务质量不同,服务源推荐即是向用户推荐其中服务质量最佳的视频网站。 如何迅速识别服务质量最佳的视频源,是向用户提供服务源实时推荐的过程中的关键问题。对这个问题的研究中存在着一些挑战:由于用户数和内容数的规模较大,网络情况复杂,为了保证实时性,需要设计特殊的测量系统进行数据的采集和处理,以应用于推荐中;该系统中收集的数据规模大,性质和特点多样,需要对数据进行深入分析以指导预测工作;由于视频服务的数量巨大,大规模测量中的时间和带宽开销极大;与传统互联网服务不同,视频服务的持续时间更长,而且整个服务过程中服务质量是不固定的,会实时变动,需要对服务质量变化情况进行预测。 针对以上问题,本文研究并实现了一个网络视频服务质量预测系统。该系统集测量和预测于一体,可以以第三方角度对在线视频服务的服务质量进行大规模分布式测量,并且根据测量结果预测用户访问视频服务的服务质量。最终该预测结果可以提供给视频服务源推荐系统向用户推荐服务质量最佳的内容源。 本文的主要贡献和创新点概括如下: 1.针对在线视频服务质量预测问题,提出了一个分布式测量系统架构。该系统基于海服务平台架构设计,包含一个云端数据中心和大量海节点。云端数据中心用于持久化数据、任务分发和预测建模,海节点包括用户终端、智能路由和测量节点等。该系统能模拟大量用户端节点进行测量,并可根据测量结果预测用户的QoE。实际应用中,第三方视频聚合服务可以调用这个结果向用户提供实时服务源推荐。 2.对前述测量系统测量到的数据进行了分析,并深入研究了在线视频的QoS指标和视频元数据之间的相关关系。本文中利用信息增益法分析了视频元数据和视频服务质量指标之间的关系。并且利用Wilcoxon秩和检验验证了按信息增益较高的元数据划分时,不同分类的视频服务质量分布情况不同。研究发现,服务质量和测量节点的网络位置的相关性最为显著,其他与服务质量相关性较为显著的元数据包括测量时间、视频分类和视频热度。 3.针对大规模测量的时间和带宽开销过大问题,提出了一种基于服务质量表现聚类的大规模视频服务测量方法。该算法中基于服务质量指标历史测量数据对视频进行聚类后测量,可以将单位时间内需要测量的视频内容数量降低至原有的30%以下的同时,保持测量精度不降低,即保持测量时的服务质量预测误差不上升。 4.针对在前述基于聚类的测量方法中尽可能的保持聚类精度问题,提出一种预测导向的时间序列距离度量方法F-measure。与现有方法比,F-measure可以更好的利用稀疏数据,不要求时间序列中相邻数据项的时间间隔相等,对两组数据变化规律在时间上的平移敏感,不要求两组时间序列数据采集时间对齐或数据长度相等。与欧氏距离相比,作为度量用于聚类时,F-measure对最终预测误差的影响更小。实验中,当测量数据被分为L类时,可以使用原测量数据的1/L数据进行预测,预测误差与不进行聚类时使用所有数据进行预测的预测误差大致相当。 5.提出了一种在视频分类的基础上预测大规模视频服务的服务质量的方法。该方法中,首先利用F-measure度量和层次聚类法,将在线视频服务分为几类,然后在分类的基础上,利用CRBM方法对在线视频服务质量进行预测。相较直接预测,这种服务质量预测方法可以有效的降低训练规模,减小对测量数据量的需求,进而减少了测量时间和带宽开销。