基于强化学习的车载网络资源优化

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:Sherryduandian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动通信技术和车载网络的发展,越来越多的车载服务不断涌现,以提升司机和乘客的舒适性和便利性,然而,由于车辆的计算存储资源和电池容量有限,难以有效的支持用户对这些车载服务的越来越高的要求,因此需要合适的资源优化方案以充分利用车载网络中的通信、计算和缓存资源来提高用户体验。目前,车载网络中的资源优化问题存在着许多的挑战,例如车辆分布不均衡,车辆的高机动性导致信道变化过快,车载业务具有多样性和差异性等。除此之外,传统的资源管理方案往往被描述为优化问题,然而联合通信、计算和缓存资源的优化问题往往比较复杂,通常是NP-hard(Non-deterministic polynomial-hard)问题,并且很难找到全局最优解且算法复杂度较高,而强化学习作为应用于车载网络资源优化的一种新兴技术,具有决策速度快,能够通过学习解决复杂问题等特点,是应对车载网络面临的一系列挑战的有前途的方法。因此本文基于强化学习理论,研究车载网络中的资源优化方案,以提升车载网络的性能和收益。首先,论文针对车载网络资源优化中存在的挑战,讨论了车载网络资源优化中的强化学习技术,分析了目前相关的研究现状,调研并总结了强化学习技术在车载网络不同场景下的应用,以及不同强化学习算法分别适用于解决哪些车载网络中的资源优化问题。其次,论文针对车载网络中车辆分布不均匀导致的资源紧张和资源过剩问题,设计了一种利用车辆间的协助和路边单元(Road-Side Unit,RSU)间的协作来灵活调度车载网络中通信、计算和缓存资源的接入分配方案。在该方案中,基于软件定义网络(Software defined network,SDN)技术,提出了一种车-网协同的深度强化学习框架,以应对车载网络中信道变化过快情况下车辆用户的资源接入分配问题。同时,利用车辆历史反馈信息在不需要即时的车辆接收信噪比信息的条件下做出合适的资源接入决策,以最大程度的利用网络中的可用资源来提高不同车载应用的性能。仿真结果表明,相比于其他方案,所提出的方案能够获得更高的长期累积奖励,且能够根据不同需求做出不同的决策,合理充分地利用网络中的资源。然后,论文针对车载网络中业务多样性和差异性以及网络资源的有限性问题,研究了车载网络中面向业务的联合通信、计算和缓存资源管理问题。考虑到车辆的高移动性、网络资源的动态性以及车辆数目庞大带来的计算复杂度,提出了一个双尺度的深度强化学习框架,从而降低了资源管理的复杂度。进一步的,论文将原问题分解为两个不同尺度的子问题,从而解决业务类型多样和车辆数目繁多导致的动作空间过大的问题,并结合在线学习和离线学习的优势,使得网络运营商可以更灵活地的做出资源分配决策,在尽可能提高用户对不同业务的满意度的同时减小运营成本,提高网络收益。仿真结果表明,相比于其他方案,所提出的方案能够获得更高的运营商收益,且在车辆数目变化时具有较高的稳定性,且能根据不同业务的需求做出动态资源分配决策。最后,论文对全文进行了总结并对未来的工作提出了几点展望。
其他文献
辛亥革命是近代中国完全意义上的第一次资产阶级民族民主革命,是20世纪中国第一次历史性巨变。中华人民共和国成立后,党和国家定期召开辛亥革命纪念大会,继承和发展了孙中山先生振兴中华的夙愿,开辟了中国特色社会主义的道路,实现了中华民族从站起来、富起来到强起来的历史性飞跃。党和国家领导人在辛亥革命纪念大会上发表的重要讲话,逐步确立了辛亥革命周年纪念性话语体系,既是总结历史经验的需要,也是宣传党的路线方针政
猪鬃贸易是工业文明发展的产物,中国的猪鬃出口贸易则是在列强的侵略下产生并发展的。中国的猪鬃出口在清代咸丰年间有少量出口,同光年间不断发展,进入民国后增长十分迅猛。猪鬃全国皆有产出,长江流域是我国猪鬃的重要产区,其中四川、湖南所产的白猪鬃因其品质优良而世界闻名。猪鬃贸易的发展加深了内地农村与外界的联系,对农村经济的发展有重要促进作用,同时也使得内地农村受世界市场的影响加大。本文通过对海关资料及相关的
背景:癌症已逐渐成为世界范围内一种重大的疾病,全球范围内每年大约有70万人因肝癌去世,其中约55%发生在中国,仅次于肺癌。但通过手术、放化疗后容易再复发或不能取得理想的疗效以及传统抗癌药物普遍存在药效短、需要多次给药等问题使得肿瘤治疗遇到很多难题,而基因治疗的出现打破了这种局限性,为肝癌诊疗开拓了一种新的方法并有望提升肝癌患者的生存率。然而,缺乏肿瘤靶向性和目的基因在体表达比较低是传统肿瘤基因治疗
20世纪70年代以来,实体经济与虚拟经济的全球化发展对当前国际经济格局产生了重要影响,宏观来看,发达经济体虚拟经济的过度膨胀与新兴经济体虚拟经济的严重滞后是近些年来金融危机事件爆发的重要原因。当前,我国在经济增速换挡、动能转换、结构优化过程中“脱实向虚”问题尤其突出,实体经济与虚拟经济的结构性“脱节”已成为制约我国经济高质量发展的重要问题,也是金融市场不稳定的重要根源。在此背景下,赋予虚拟经济和实
本研究运用中国教育追踪调查数据(CEPS)中的2013-2014学年的基线调查和2014-2015学年的追踪调查的数据,采用描述性统计分析法和广义倾向得分匹配法进行分析得出相关研究结果并根据研究结果提出教学建议。本研究首先分析了我国八年级数学教师教学方式和教学媒体的使用情况,结果表明:在教学方式的使用方面,整体而言我国八年级数学教师采用“老师授课”和“师生互动讨论”进行教学的频率很高,我国八年级数
深度神经网络是人工智能领域的重要研究方向之一。随着深度神经网络的发展,网络的参数规模不断增大。虽然更大的参数规模带来了更好的性能,但是同时也使得网络更加难以训练和更容易产生过拟合,甚至因为过量的参数导致网络退化。为了解决这些问题,需要对网络内部的参数关系进行分析,并利用参数关系优化深度神经网络。本文的主要研究内容如下:第一,通过实验分析了深度卷积神经网络中多种参数关系对网络性能的影响。绝对值越大的
研究区磨溪地区灯影组是四川盆地重要的油气勘探开发层系,并不断取得突破,前人针对该区表生岩溶做了很多宏观工作,为进一步为开发提供支撑,目前还有待进行更为精细的储层时空分布规律及主控因素分析。本文以磨溪地区灯影组四段古岩溶储层为研究对象,结合前人研究成果,通过对研究区灯影组四段取心井的岩心、小波变换分析、成像测井、普通和铸体薄片等综合分析,在建立全区准层序(五级层序)级别等时格架基础上,以2m级的高精
双重救济,顾名思义,指的是在国际贸易中进口国行政机关对某些同类型进口商品在加收反补贴税的同时还加收了反倾销税,造成潜在的“重复计算”,因此对某些同类型商品使用了双反
随着网联自动驾驶、智慧城市、远程医疗等垂直行业的发展,网络运营商需要在有限的资源内为用户提供多样化定制化的服务,网络切片技术应运而生。然而,传统的网络切片由网络运营商各自独立端到端部署、运营和管理,在资源调度、资源利用上都不尽合理,尤其是不均衡的用户业务需求爆发时,用户高质量的服务保障受到影响。与传统的网络切片不同,多域网络切片是通过底层物理网络各个管理域和技术域的资源联合协作实现资源共享,解决了
政府财政信息的公开能够促进纳税人个人所得税税收遵从的意愿,政府自上而下式的财政透明在有效降低委托代理风险保证财政支出效率的同时,也保障了纳税人的合法权利,提高政府形象,促进了纳税人对税法的遵从。而个人所得税相比于其他税种,其纳税主体规模庞大,税收征管难度较大,财政透明作为现代国家治理的重要工具,政府应当积极加以善用。论文先从理论上讨论了财政透明提升个税税收遵从度的原因,并观察目前财政透明度与个税税