随着映客、斗鱼、虎牙等直播平台的兴起,直播视频的服务质量成为人们关注的重点。基于HTTP的动态自适应流媒体技术(Dynamic Adaptive Streaming over HTTP,DASH)能够根据外部环境自适应地切换码率,为用户提供动态、高质量的视频观看体验,但现有的码率选择算法多数针对点播场景而设计。直播场景下流媒体的实时性使得客户端无法缓冲较长时间的视频以应对网络的波动,并且现实生活中用户多在移动环境下观看视频,此场景下的网络波动情况更为复杂。因此,研究直播场景下的自适应码率选择策略,提升直播视频的服务质量,具有十分重要的意义。QoE(Quality of Experience)是一种常用的视频业务的评估方式,用于衡量用户的观看体验。本文主要研究直播场景下DASH视频服务质量优化问题,首先从数据驱动的角度分析不同时间维度的QoE(综合QoE和实时QoE)的特性,使用不同的方法对两种QoE进行建模,然后设计了一种基于强化学习的直播流媒体码率选择算法,将实时QoE融入到自适应码率选择策略的学习中。论文的主要研究工作如下:(1)对综合QoE和实时QoE进行深入分析。首先利用随机森林模型对综合QoE建模,得到的综合QoE模型可以对自适应码率选择算法进行评估,同时可以得到各QoE感知因素的重要程度。其次,针对实时QoE在时间维度的连续性,提取相关特征构建LSTM(长短时记忆神经网络)模型对实时QoE进行预测。结果表明LSTM_QoE模型能够捕获实时QoE和特征之间复杂的时间依赖关系,实现对实时QoE的准确预测。(2)针对直播场景下网络环境变化复杂的特点,提出基于强化学习的直播流媒体码率选择算法RL_LSTM_QoE。首先对直播场景下自适应码率选择的过程进行马尔可夫建模,选取合适的环境状态特征作为强化学习的状态空间,使其能够充分反映播放过程中外部环境的变化。针对奖励函数难以设计的问题,将实时QoE预测模型的输出作为当前动作的奖励函数,指导自适应码率选择模型的学习,提升模型的学习能力。(3)在LiveStreaming直播仿真平台上验证本文提出的算法的有效性。首先验证了不同的神经网络对算法的影响,实验结果表明使用LSTM训练的码率选择模型能够获得更高的奖励值。然后在公开的移动网络数据集下对比现有的几种码率选择算法,实验结果表明,本文提出的RL_LSTM_QoE码率选择算法在综合QoE、实时QoE以及其他性能评价指标上均高于对比的算法。本文针对直播流媒体的特性,设计一种基于强化学习的直播流媒体码率选择算法,最终训练完成的模型能够敏锐地根据外部环境的变化选择合适的码率,提升用户体验质量,并且随着网络数据集扩充,本文提出的算法能够学习不同网络环境下的码率选择策略。