随着互联网的发展以及网络娱乐产业的盛行,直播视频流应用变得日益瞩目。人们使用手机、电脑以及其他电子设备在任意时间、任意地点观看着诸如游戏直播、体育竞赛等各类直播应用,使得直播环境下的视频流传输异常艰难。如何在复杂的网络环境、多样的视频类型下传输高质量、低时延的稳定视频流已经成为实时流媒体领域里的重大挑战。针对上述挑战,本文基于强化学习理论提出了一种面向低时延直播流的码率自适应算法,主要工作包括:(1)针对以视频块为基本调度单位的传统算法无法有效降低时延的问题,本文将以视频帧作为基本调度单位构建算法并实现了对应的视频仿真器。(2)针对直播流下特有的低时延需求,本文确立了全新的针对直播流视频的用户体验质量模型。本文将时延作为评价用户体验质量的重要因素,并额外添加了缓冲阈值机制、收益限制机制以及跳帧惩罚机制等多种辅助机制。(3)针对视频帧率不相同引起的“码率决策不准确”以及“误学习”两个问题,本文提出了训练模式的概念,并构建了定点记忆策略。通过定向记录决策点与学习点的对应关系,成功提升了算法模型的训练效果。实验结果表明,定点记忆策略相对于其他训练模式提升了平均16%的算法效果。(4)针对算法训练过程中出现的收敛准确性问题,本文提出了动态奖励方法。根据每轮训练过程中产生的奖励值大小动态的改变奖励函数的计算方式,使算法模型收敛更迅速、准确。实验结果表明,动态奖励方法在定点记忆策略的基础上额外提升了 5%-10%的效果。最终,本文基于上述工作设计出了一种面向低时延直播流的码率自适应算法,与其他先进的码率自适应算法在多种评价模型下对比,算法提升了 15%-58%的效果。