基于深度强化学习的码率自适应算法研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:w818150
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着基于HTTP的视频流快速增长,观众对视频的质量需求也在逐渐上升,码率自适应(Adaptive Bitrate,ABR)算法是视频播放器用来提升用户体验质量(Quality of Experience,QoE)的一种有效工具。针对现有ABR算法存在频繁缓冲、视频卡顿、画质较低和网络吞吐量预测不准确等问题,本文利用深度强化学习(Deep Reinforce Learning,DRL)方法研究ABR算法的效率问题,主要工作如下:(1)针对现有DRL方法训练神经网络时奖励值的波动大、算法收敛慢且收敛困难等问题,提出了一种基于深度强化学习的ABR算法(NABR)。NABR通过限制新旧策略的更新幅度,避免更新幅度差异过大造成收敛困难;其次,NABR利用基线函数减少策略梯度方差;同时采用置信域方法找到最优ABR策略;最后NABR在策略网络中添加熵损失函数鼓励Agent随机探索以提高累计奖励。实验结果表明,相比于现有方法,NABR具有更快的收敛速度,鲁棒性更强,能进一步提升用户的QoE。(2)针对现有DRL方法需要大量的训练样本且不能快速收敛,导致学习得到的ABR算法泛化性较弱,不能适应不同的网络带宽;在计算策略梯度时会产生大量的策略梯度方差,造成收敛困难等问题。提出一种基于元学习的ABR算法(LABR),LABR利用元学习方法来训练RL的策略网络,采用少量样本学习到一个最佳的损失函数,使得LABR只需要少量任务样本就能快速收敛且更稳定,从而提高ABR算法的泛化性,进一步提高QoE。最后通过实验验证了LABR算法的有效性。(3)针对现有的ABR算法均是固定QoE的各项参数,DRL通过训练固定的奖励值来生成ABR算法模型,造成一项指标提高而另一项减少;例如提高视频质量的权重系数,会造成视频卡顿时间增加;提高卡顿时间的权重系数会降低视频质量等问题,提出一种基于约束贝叶斯优化方法的ABR算法(BABR),BABR利用约束贝叶斯方法来优化QoE的各项权重,提高视频质量,同时减少卡顿时长,使视频质量与卡顿时长等各项参数达到最佳组合。实验结果表明,BABR与现有的方法相比,QoE的各项指标权重能够取得较好的平衡,最终实现更高的QoE。(4)研究NABR、LABR和BABR算法在自适应流媒体系统的部署与应用方法。分别将NABR、LABR、BABR算法部署在视频播放器上,ABR算法通过HTTP协议请求存储在Linux服务器上的视频,验证算法的有效性。实验分别在4G与Wi Fi网络环境下进行评估,实验结果表明,NABR算法的QoE提高了3.8%-9.4%。
其他文献
知识型人才指那些能够熟练运用知识并利用知识创造价值,创新思想和自主能力较为突出,具备一定的方法学习、知识管理、规则遵守、合作交流能力的群体。从知识型人才个体发展的视角入手,能够从另一个互补的角度审视领导激励的理论与方法。“事务性工作过多、培养机制不完善、个人发展欠引导”是知识型人才创新活力主要的制约因素。组织的领导者在遵循“长期积累、协同共振、师承引导、自我实现”的人才成长规律基础上,可以从办公环
<正>伴随着经济的飞速发展,我国企业间的竞争也逐渐迈入白热化的阶段。传统的市场竞争也逐渐演变为创新的竞争,能否通过持续创新在市场中获得先机,成为企业发展过程中的关键。而创新活动的开展势必离不开人才的支撑,但从现状来看,现阶段大量知识型人才流失逐渐成为许多科技型企业面临的问题。本文针对科技型企业知识型人才流失问题进行研究,以期为相关人员带来一些参考。知识经济时代的到来意味着具备高新技术知识的人才逐渐
期刊
<正>在这个信息技术迅猛发展的时代,人力资源管理也迎来新的变革,以网络环境为基础,运用大数据进行人力资源管理已成为当今发展的主要趋势。在大数据时代,人力资源管理的方法和内容必须改进,从而适应企业调整的战略性目标。科学应用大数据技术开展人力资源管理工作,对帮助企业吸引、储备与培养人才具有重大意义。因此,在大数据时代下分析传统意义上人力资源管理存在的不足,提出人力资源管理创新的内容,最后提出针对性的人
期刊
目的:观察电热针结合输刺法治疗第三腰椎横突综合征(风寒阻络型)的临床疗效,进一步探讨电热针在治疗痛证方面的临床应用,且为针灸治疗第三腰椎横突综合征的临床应用和推广提供思路和依据。方法:选取2020年9月-2021年10月就诊于甘肃省中医院针灸科门诊,且符合纳入及排除标准的90例第三腰椎横突综合征(风寒阻络型)患者,按照随机数字表法随机分为治疗组和对照组,每组各45例,其中治疗组予以电热针结合输刺法
目的通过观察电热针三阴交对POI模型大鼠血清激素及卵巢组织GDF9表达的影响,探讨三阴交穴位的特异性功能及电热针三阴交对POI模型大鼠卵巢功能的影响,为三阴交穴在POI的临床应用中提供更科学依据。方法筛选40只具有规律动情周期的SPF级雌性SD大鼠,随机分成空白组10只和造模组30只。空白组以0.9%生理盐水进行灌胃,造模组以50mg/kg雷公藤多苷片混悬液进行灌胃,两组均一日一次,连续灌胃14天
码率自适应(Adaptive Bit-Rate, ABR)算法是提升流媒体服务质量的有效方法。传统的启发式算法基于固定的规则,难以应对多变的网络环境;基于深度强化学习的算法映射表达能力较好,但鲁棒性不佳,且可解释性差。针对上述问题,提出了基于模仿学习的决策树码率自适应算法ABRTree。针对帧级别直播传输系统设计有效的专家码率自适应算法,并对专家算法的时序经验数据进行离散化处理;采用分类回归树作为
目的:分析慢性浅表性胃炎(脾胃虚寒型)疾病特点,评价电热针治疗仪治疗对患者预后的积极影响。方法:选择本院诊治的慢性浅表性胃炎疾病患者(n=120),随机分为常规西药治疗、电热针治疗仪治疗的对照组和观察组,各60例。经医院伦理委员会批准,比较治疗后2组胃炎患者的治疗效果、症状积分情况。结果:治疗后,组间临床总有效率与胃镜总有效率比较,观察组对应占比率96.66%、98.33%均明显高于对照组的85.
提出了一种构造准循环低密度奇偶校验(QC-LDPC)码的方法,它利用一个环长(girth)较大的QC-LDPC码作为基准码,对其校验矩阵中的循环置换矩阵进行压缩和行合并,从而构造出不同码长码率的码字。分析和仿真结果表明,采用这种方法构造出的码字比采用传统的PEG(progressive edge-growth)算法构造出的码字具有优越的误码率性能和较低的实现复杂度。
报纸