基于强化学习的非授权频谱无线接入研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:byekao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网、物联网等技术的迅猛发展,全球移动数据流量呈现指数级增长,稀缺的授权频谱资源已经无法满足当前的业务需求。为缓解授权频段网络的负载压力,3GPP国际标准组织在第四代移动通信系统长期演进(The Forth Generation Long Term Evolution,4G LTE)阶段中提出授权频谱辅助接入(Licensed Assisted Access,LAA)技术实现数据流量从授权频段到非授权频段上的迁移,并开展非授权频谱新空口(NR-Unlicensed,NR-U)技术的研究,探索非授权频谱在5G网络中的应用。由于非授权频谱是开放的,5G NR-U与LAA、Wi-Fi等多种网络共存,网络环境复杂且动态变化,为接入策略的设计和优化带来了极大的挑战。针对无线资源的动态特性和无线网络环境的复杂性,本文基于Q学习等强化学习理论对5G NR网络下非授权频谱的无线接入技术展开研究,主要的研究工作和创新点总结如下:1.针对NR-U网络环境的动态变化,本文在先听后说(Listen-Before-Talk,LBT)时间退避的基础上,引入动态信道选择机制,提出了一种在线学习分布式接入策略来提升网络容量。首先,基于长期容量期望,将用户的信道接入选择建模为非合作博弈模型,并证明了该博弈存在纯纳什均衡点。针对无线信道质量的时变特性,基于多臂赌博机(Multi-Armed Bandit,MAB)理论提出了一种在线学习分布式信道选择接入(Online Learning Distributed Channel Selection Access,OLDCSA)算法来优化用户的接入选择,并利用概率论推导出其性能损失上界。最后仿真结果表明,与随机接入相比,所提接入策略能够提升18%的网络容量,其性能表现接近于无穷搜索算法。2.从网络部署成本和灵活性的角度考虑,采用非授权频谱独立组建物联网具有强大的吸引力。针对非授权频谱传输过程中的拥塞和冲突碰撞问题,以及机器通信中不饱和业务随机到达的特点,本文构建了最小化网络长期丢包优化问题。基于时隙竞争传输模型,将该问题建模成为马尔科夫决策过程,提出了一种基于深度强化学习的动态频谱接入策略减少网络丢包,并通过占空比限制来保证网络公平地使用非授权频谱。仿真结果显示,所提策略造成的网络丢包相较于贪婪策略减少了约20%。同时,仿真结果也表明该策略在不了解周围环境的情况下也可以有效减少传输冲突碰撞,与其他异构网络高效共存。
其他文献
“特岗计划”自2006年颁布以来已实施十五年.在发展过程中,“特岗计划”先后经历了政策规范发展、政策规模化推广、政策优化转型三个阶段,为我国乡村教师队伍建设做出了巨大贡献,有效解决了乡村教师数量不足的问题.然而面对新时代我国乡村教育发展趋势由数量优先转变为质量优先,“特岗计划”政策的修订却跟不上新时代的要求,与乡村教师队伍建设强调质量发展之间存在现实矛盾.改进和完善“特岗计划”政策需要梳理十五年来我国在特岗教师队伍的形成发展方面所提出的相关政策,总结“特岗计划”的成效与问题,从严招聘、强化培训、扩大宣传,
随着人类社会的进步与城市现代化的发展,许多城市开始将传统的燃油出租车替换为电动出租车。虽然电动出租车具有节能环保的优点,但也给出租车司机和政府部门带来了困难。一方面,电动出租车自身存在充电时间长、充电频率高、高峰期排队等特性。另一方面,由于高额的成本以及稀缺的土地资源,使得充电站的建设难以落地。即使部署充足的充电站,空间分布不均仍会导致资源利用率低。因此,在实际应用和现实生活中,充电推荐方案相比于
《中等职业学校英语课程标准(2020年版)》在核心素养目标中明确了要培养中职生的自主学习能力.随着社会经济的飞速发展,企业对英语中高级技术人员的需求缺口越来越大.按现行的线下英语课堂教学课时与模式来安排英语实训课的教学,学生毕业后无法适应英语专业岗位要求,专业发展严重受挫.从往届毕业生的就业情况入手,分析当前中职生在英语实训实习过程中的突出问题,探索产教融合背景下中职生实训英语线上自主学习能力培养的策略,以期为中职生的专业发展与终身发展奠定良好的基础.
随着智能手机的广泛普及和移动互联网渗透率的不断提升,手机新闻客户端通过向用户提供新闻资讯及丰富有趣的视频类内容成为人们在碎片时间获取信息及休闲娱乐的重要工具。相较于国内新闻客户端领域巨头林立且竞争激烈,非洲、拉美等地区仍处于移动互联网发展的早期。若能开发一款面向这些国家地区用户的新闻客户端,并结合当地情况做相应推广,应该能够获取很好的经济效益。本文要实现的就是这样一款新闻客户端应用,主要向非洲、拉
随着我国经济水平的不断提升,汽车行业得以全面发展.现如今,汽车维修专业技术人才是最紧缺的人才类型之一,中职汽车维修专业面临全面的创新和改革,中职教师要明确教学重心,重点培养学生的职业技能、职业素养和创新能力,以此创设赛教融合的全新局面,为中职汽修教学注入活力.
德育在中职教育阶段是非常重要的,做好德育教学工作,对学生树立正确的世界观、人生观、价值观有着举足轻重的作用.简述了信息化背景下中职德育受到的挑战;结合教学工作经验,从走进网络,走近学生;更新理念,创新模式;严以律己,以身作则;家园合作,德育合力四个角度,浅谈信息化背景下中职德育应对挑战的策略.
借助AutoCAD软件的绘制功能绘制雷达图,能直观呈现评估各项指标优劣分布情况.借助近位线及远位线,又可以直观呈现评估指标中的短板项及特长项.通过AutoCAD软件的图形分析功能,可以测得雷达图的面积,通过面积数据可以对评估结果实现准确数据量化.
急救医学基础是医学专业的基础学科之一,急救医疗水平的高低集中性反映了一个医务人员的救治素质和救治水平.随着我国医疗水平的不断提高,各地已经建立起相对完善的急救医疗救治体系,但急救医疗救治的水平和医务人员的急救能力良莠不齐,其主要原因是急救知识的培训主要依靠卫生组织和医院的短期培训.因此,为培养更加优秀的急救医疗人才,促进我国急救医疗事业的发展,必须对急救医疗基础进行课程建设.通过课程优质资源的开发和配置,利用更加科学合理的教学资源,为急救医学人才提供更专业的培训.基于此,针对急救医学基础的相关内容展开课程
“立德树人是教育的根本任务”,是党的十八大以来一以贯之的高校教育指导思想,高校要推进“三全”育人,“把思想政治工作贯穿教育教学全过程”.中华优秀传统文化“融入”高校思想政治教育,推进课程思政教学与实践,改变思想政治教育和专业教育“两张皮”现象.广西地域文化是中华优秀传统文化在广西特定地域环境下的历史传承,深挖其蕴含的思政教育因子,使其“融入”高校课程思政,不仅有的放矢,而且增强时效性、趣味性、实践操作性.
随着互联网技术以及智能化技术的飞速发展,5G移动通信技术的广泛应用极大地提升了通信行业的服务质量,为用户带来了更加流畅,便捷,快速的通信体验[1]。然而,随着科技的不断进步,未来的移动通信网络将面临更加庞大的用户群体以及更加复杂的业务场景,从而为承载网络带来了海量数据传输以及超低时延通信等挑战。为了利用有限的网络资源创造更加优质的通信体验,亟需更加高效灵活的资源分配策略,实现高移动性,高时效性的业