基于深度强化学习的频谱分配研究

来源 :广东工业大学 | 被引量 : 3次 | 上传用户:langya925
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无线通信技术的高速发展使认知用户的数量与类型都在不断快速增加,频谱资源日益紧张。为提升频谱的利用率,认知无线电技术的提出使得无线个人移动设备和高度智能的无线网络环境可以根据用户需求计算无线资源,为用户提供最满足其通信需求无线资源与服务。认知无线网络庞大而结构复杂,准确建立频谱分配的数学模型比较困难;在通过认知无线网络实现频谱的合理分配的过程中,为减少次用户对认知环境的干扰与接收端的能量消耗,需根据相应的约束条件严格控制其发送功率,或准确判断用户接入及离开信道的时间,以此减少用户间的相互影响并提升空闲频谱的利用空间。本文采用将认知无线电技术与深度强化学习相结合的频谱分配方法,利用强化学习算法的无模型控制的特点,以解决复杂认知环境中的频谱分配问题。同时由于深度学习可以弥补强化学习在处理复杂问题以及高维度数据时的不足之处,因此将深度强化学习相关算法应用于频谱分配问题中,实现对于用户发射功率的智能控制及智能信道分配,并有效解决认知无线网络中的建模难、网络环境复杂等问题。本文的主要工作包括以下几点:首先研究分析了使用深度强化学习解决用户传输时的功率控制问题,提出将社会关系网络与物理传输网络相结合的功率控制方法,根据用户间的社会关系选择辅助用户实现频谱共享。其次进一步研究了用户位置快速变化、周围环境更为复杂的车联网环境中的频谱分配问题。根据车辆行驶的特性及快速变化的拓扑结构提出“基于车辆移动性的多跳转发协议”,并将RNN网络能够处理时间序列输入的特性与深度Q网络算法相结合,改变传统强化学习中的奖励方式,提出“全局优化奖励累积算法”。最后仿真结果表明,在无线认知网络中,使用深度强化学习控制算法并结合用户间社会关系,可以有效提高了信息传输的成功率与信息可靠度。在车联网环境中,本文所提出的转发协议与信道分配算法在减少网络拥堵的同时提升了信道的利用率。
其他文献
目的本实验用Lewis肺癌细胞造小鼠非小细胞性肺癌的模型,唑来膦酸(ZoL)去巨噬细胞后用anti-mouse-PD-1单克隆抗体药来治疗荷瘤小鼠,评价anti-mouse-PD-1单克隆抗体药的抑瘤效果。方法将60只C57BL/6小鼠随机分为六组即对照组给PBS,实验组分别给Control anti-mouse antibody(Control Ab),anti-mouse-PD-1 antib
第一部分山羊冠状动脉微循环障碍模型的制备目的:以单分散聚苯乙烯微球为栓塞剂,采用经皮微导管介入方法建立可存活的萨能奶山羊冠状动脉微循环障碍模型,探讨建立慢性心肌缺血动物模型的方法。方法:实验用萨能奶山羊10只,雌雄不限,5-8月龄挑选实验动物。麻醉后经股动脉选择性插管,于不同分支冠状动脉远端缓慢注入相同浓度不同剂量单分散聚苯乙烯微球,于术后第7天后采用空气栓塞处死实验动物,取出心脏冰冻后自心尖到心
目的:血吸虫感染后,虫卵沉积于肝血窦,多种炎性细胞被募集到虫卵周围,参与炎症反应并释放多种细胞因子,这些细胞因子在肝星状细胞活化增殖和肝纤维化发生发展的过程中发挥了重要作用。HIPPO信号通路是由一系列保守的蛋白激酶和转录因子组成的激酶链,与细胞增殖、极化、转分化和凋亡等过程密切相关。HIPPO信号可能通过影响肝非实质细胞的转分化、增殖和凋亡,从而影响肝纤维化的发生和进展,而HIPPO信号通路在血
沙尘暴包括沙暴和尘暴,常伴随着土地荒漠化而发生。其指的是一种不稳定强气流卷起地表的沙尘导致能见度降低的天气现象,具有突发性和危害性。沙尘暴在我国西北和华北地区多有
本文研究橡胶钢纤维混凝土强度的预测,随着科研需求的提高,传统的预测方法在准确度和批量处理上不能满足现实的需要,所以神经网络应用越来越广。但是单一的BP神经网络因其随
三维目标检测(3D Object Detection)在自动驾驶领域中发挥着至关重要的作用,智能车辆中精确的建图与定位、安全的避障与规划等任务,都离不开精确的检测结果。在大尺度场景环
在回归分析中缺少协变量数据是很常见的。关于这个问题有很多原因,也有很多方法来解决它。本文采用经典的逆概率加权估计方法。在随机缺失的情况下,我们选取转换模型,通过似然和鞅得到两个得分方程。接着,采用核估计方法计算了各参数的权重。此外,根据不同的初始值、样本量、删失率和具体模型,我们进行了四组数值模拟实验。最后,通过一个真实的数据集来说明所提出的方法。主要内容组织如下:第二章:一些理论的基本知识。首先
本文主要通过理论推演与实证分析,研究当前市民群体的邻避风险感知方式与邻避态度的生成过程,以及现有环境下市民群体的邻避行为偏好。研究结果表明,在邻避态度方面,最大限度
教师专业素养的提升是新课改下的强化要求,需要所有教师都应当达成相应的标准。小学语文教师不仅要用心钻研本学科的专业知识和教育理论,还要不断更新自己的语文知识体系,提
目的:细胞分裂周期蛋白磷酸酶14(cell division cycle protein phosphatase14,Cdc14)属于高度保守的丝、苏氨酸双特异性磷酸酶家族,能够下调CDK(Cyclin dependant kinase,周期素依赖性激酶)的活性,是重要的细胞周期调节蛋白,在真核生物细胞中广泛表达。Cdc25B(细胞分裂周期同源25B)是一种双重磷酸酶,可使Cdc2(Cdk1))的