基于强化学习的无人机辅助无线网络负载迁移技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:moshi122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
5G移动通信提出了万物互联的愿景,旨在为更多设备提供更多样化的业务服务。各类设备所承载的业务产生的时间空间不同,对通信、计算与存储资源的需求不同,无线网络中的通信与计算负载呈现总量增大但时空分布显著不均的特点,通过大量架设基站以力求实现资源的无缝覆盖成本巨大。在这一背景下,无人机辅助的无线网络被认为是一种对现有无线网络架构的有力补充。通过在无人机上部署通信、计算与存储资源,将一部分“用户-基础设施”链路的通信数据流迁移至“用户-无人机”链路,以及将一部分地面计算任务迁移至无人机上执行,能够平衡网络负载,实现资源的优化配置与高效利用。但与此同时,无人机的引入也带来了诸多挑战:首先,当空地节点距离较远而无人机高度较低时,空地信道全局信息未知,导致平均信道路径损耗恶化严重,业务传输成功率下降;其次,受平台不稳定特性的影响,可能发生某些无人机节点因不可抗力离网,使得网络拓扑不确定性增加,制约多机辅助负载迁移时用户数据速率的提升;接下来,无人机载荷能力有限,存在多维资源受限的约束,使得不同计算任务之间负载迁移策略耦合紧密,难以求解最优的计算与通信资源联合分配策略,导致计算任务完成时间增加。鉴于此,本文对无人机辅助无线网络中的数据和计算负载迁移问题展开研究,利用深度强化学习方法(Deep Reinforcement Learning,DRL),挖掘业务、信道、以及节点运动中存在的规律性,以应对场景中的未知性、动态性与资源约束,为无人机辅助无线网络提供更高效的负载分配方案、资源分配方案与无人机调度方案。本文的主要研究内容如下。针对传感器大规模接入的场景,本文研究了“无人机辅助信息采集中的数据流量迁移机制”,令无人机充当中继节点,将一部分重负载小区数据流量迁移至轻负载小区。本文构建基于业务初次传输成功率的无人机效用函数,并给出其关于接入点选择和无人机路径规划的优化问题。在接入点选择子问题中,通过设计势函数,证明了纳什均衡的存在性,然后设计算法以获得纳什均衡的解;无人机路径规划子问题由双层深度Q网络(Double Deep Q-Network,DDQN)算法求解,挖掘信道空间相关性规律,以应对全局信道条件未知性导致的路径损耗恶化和业务传输成功率降低的挑战,并在训练中通过基于优先级的采样方法以应对奖励的稀疏性。仿真结果表明,相比基于贪婪算法的接入点选择方案和无人机直接飞向目标区域的路径规划方案,本文所提出的方案能够提升13.2%的业务初次传输成功率,减小3.4dB的信道平均路径损耗。针对大量车载用户产生多媒体内容需求的场景,本文研究了“无人机辅助内容分发中的数据流量迁移机制”,令无人机主动缓存一部分内容,为车辆用户提供内容服务。本文构建了最大化用户平均数据速率关于用户连接管理和无人机调度的优化问题。用户连接管理是将车辆与通信资源匹配,由改进盖尔-沙普利匹配算法(Modified Gale-Shapley,MGS)求解,相比于经典匹配算法,提升了匹配的稳定性。无人机调度指的是通过不断更新无人机的位置与缓存内容以适应地面交通状况的变化,其中,缓存内容的更新由基于最大期望原则的算法求解,路径规划由平均场多智能体深度确定性策略梯度法(Mean-Field Multi-Agent Deep Deterministic Policy Gradient,MF-MADDPG)求解,挖掘不同数量的无人机对车流量与缓存内容变化规律的适应性,以应对网络拓扑不确定性制约用户数据速率提升的挑战。仿真结果表明,相比基于经典匹配算法的用户连接管理机制和基于经典学习算法的无人机路径规划方案,本文所提出的方案能够提升5.3%~16.0%的用户数据速率。针对蜂窝网内连续产生复杂计算任务的场景,本文研究了“无人机辅助边缘计算中的计算任务迁移机制”,令多架无人机组成边缘云,帮助地面基站承担部分计算任务。本文考虑了计算任务间的复杂逻辑关系,构建了计算任务的排队、传输和处理模型。为了将计算与通信资源分配进行解耦评价,本文令这两个维度的决策通过两个智能体进行,并基于反事实多智能体思想为每个智能体分别设计各自的评价函数,提出了两种多演员-评论家算法(Multi-Actors-Critic,MAC;Off-Policy Multi-Actors-Critic,OP-MAC),挖掘计算与通信资源分配策略的相互影响,以应对多维资源受限导致的任务负载迁移策略耦合紧密和任务完成时间增加的挑战。仿真结果表明,相比基于单智能体学习算法和基于贪婪算法的计算任务迁移方案,本文所提出的方案能够分别减小40.8%与24.2%的计算任务完成时间。
其他文献
电力设备中广泛应用的绝缘气体介质六氟化硫(SF6)具有强温室效应,研制环保型绝缘替代气体对于推动实现我国“碳达峰、碳中和”战略目标具有重要意义。目前,由于环保型绝缘气体液化温度较高,必须与缓冲气体混合后才能在电力设备中应用。研究三元混合SF6替代气体的绝缘性能和协同效应,可为替代气体绝缘介质的选取提供理论支撑,进而得到既满足电力设备绝缘和运行温度要求又环保安全的替代方案。论文通过玻尔兹曼方程计算了
学位
基于视觉的行为理解是一个重要的人工智能问题,但即使在蓬勃发展的深度学习时代,视觉系统理解行为的能力还远达不到应用需求。因此,研究视觉智能以实现高效、鲁棒的行为理解具有巨大的价值。不同于传统的深度学习范式,在本文中,我们旨在通过基于知识驱动的视觉推理来改善行为理解。首先,我们着重研究人-物交互(Human-Object Interaction,HOI)的检测。HOI 是一个组合学习问题,其长尾数据分
学位
高清视频等新型数据业务的兴起导致了数据中心相关的流量大幅增长,因此数据中心之间的短距光互联场景需要高速率和低成本的传输方案。相干传输系统受限于激光器难以集成的问题短期内无法有效降低成本,而直接检测系统无需接收端激光器,适应于硅基光子集成的趋势。因此,本文选择直接检测系统作为研究对象。针对高速率、低成本和高性能的直接检测系统这一目标,本文研究了如何使用数字信号处理(DSP)技术来实现高速复值信号的低
学位
网络信息的爆炸式增长加重了读者的阅读负担,想要便捷地找到需要信息变得十分困难。如何提炼文本的要点,帮助用户快速筛选所需信息成为一个重要而富有挑战性的研究课题。自动文本摘要(Auto-matic Text Summarization)技术作为自然语言处理领域的一个重要方向,旨在实现自动化地提炼文本的主要信息,生成简洁流畅的摘要来帮助读者快速了解文本的主要内容。近年来,随着大规模标注语料库的构建以及深
学位
5G/B5G无线通信系统以sub-6 GHz与毫米波为通信频段,通过配置大规模天线和密集基站应对无线信号的路径损耗。毫米波使能的大规模多输入多输出(Massive Multiple-input Multiple-output,Massive MIMO)与超密集组网技术为无线信号传输带来丰富的空域资源,允许用户空分多址接入以实现能效的“绿色通信”。高度的时频资源复用导致严重的多用户干扰问题,5G/B
学位
肠道诊查微型仿生机器人凭借能够在肠道内主动运动、可诊查部位广等优势将逐渐成为胃肠道诊查中的热门解决方案,具有重要的科学研究价值和应用前景。本文依托国家自然科学基金项目(No.81971767)、上海市科研项目(No.19441910600,No.19441913800,No.19142203800)、上海闵行区产学研合作计划项目(No.2019MHC053)、上海交通大学医疗机器人研究院项目(No
学位
可拉伸电子器件在可穿戴电子设备、电子皮肤、可拉伸显示、人机交互、智能医疗等领域有着广泛的应用。可拉伸电子器件的实现方法包括通过本征可拉伸电子材料和通过结构设计。目前,可拉伸电子器件还面临着诸多的挑战,例如界面应力集中效应、材料集成工艺、大面积均一性涂布、高精度图形化、阵列系统集成、电路接口设计、系统模块兼容性等,因此还没有被大规模商业化应用。本文的研究将对可拉伸电子器件在可拉伸电子系统集成中面临的
学位
大型铸锻件是制造领域重大装备的核心部件,而铸锭是大型锻件的母坯,其质量直接影响后续加工工序选择以及产品的质量和服役寿命。由于合金凝固的本征特性,大型铸锭凝固后将不可避免地出现成分偏析、缩松、缩孔、夹杂物等不同类型和尺度的缺陷。在计算机技术快速发展、算力及存储能力倍增的背景下,构建铸锭凝固过程中多组分、多相演化模型,从而模拟大型铸锭的凝固过程是该领域的重要手段。目前已发表的模型大都只能针对单一缺陷如
学位
为了使光电子器件不断趋向微型化和集成化,研究者们在硅基半导体的基础上不断拓展对新型材料的研究,而低维材料由于其独特的光电磁热力等性能,逐渐成为当今科学研究的前沿。石墨烯作为二维材料的典型代表,其具有的可调控性、超高载流子迁移率、双极性行为、量子霍尔效应、超导和范霍夫奇异等特点,使其成为未来纳米光电器件的热门备选材料之一。目前尽管基于石墨烯的光电子器件种类繁多,如场效应晶体管、光电探测器、气体传感器
学位
少光子成像在极端光照条件下具有重要应用价值,如遥感测绘,海洋探测,天文观测,生物医学探测,粒子物理学研究等。在极弱光探测应用场景中回波信号光特别微弱,甚至只包含了几个或单个光子,随着新型光电探测技术发展,具有单个光子灵敏度级别的探测器被广泛研究并应用于极微弱的信号探测和单光子成像领域。然而就算是用具有时间分辨能力的单光子探测器,传统的单光子成像技术通常需要每像素使用10~3-10~5个光子来抑制光
学位