基于强化学习的物联网通信中继选择策略研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:c543217896chenjia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物联网作为第五代移动通信系统的三大应用场景之一,已经渗透到人们日常生活的方方面面。由于物联网中的传感器节点设备简单、数量众多、功率受限等原因,不适合远距离传输,无法构建全面覆盖的物联网通信系统达到万物互联的目的。因此,本文将中继协作网络运用到物联网通信系统中,并且提出利用强化学习在众多中继候选节点中选择一个或者多个信道条件较好的节点参与协作传输,在保证系统性能的前提下,可以节省系统开销相对延长了中继设备的使用寿命,同时避免多个中继节点同时传输所带来的功率浪费、同步等问题,满足了无线物联网系统对低功耗、高可靠传输以及增大有效通信覆盖面积的要求。相对于传统的中继选择技术,强化学习的算法复杂度不会随着中继节点数量增加而增加,且对于不同的通信标准往往只需设计不同的回报值,无需大量的理论推导,在算法的设计上具有简单和普适的特点。本文的主要工作如下:1、面向物联网中的中继协作传输场景,分别针对放大转发协议和解码转发协议两种协议,提出了基于Q-learning单中继和多中继选择两种策略。首先对强化学习中的动作集、状态集、状态转移函数、动作选择策略等要素进行了定义和选择并且将目的端的接收信噪比作为立即回报值,接着利用时间差分方法的Q-learning算法来寻找出最佳中继策略。仿真结果表明:对于最优单中继选择,Q-learning算法所获得的系统吞吐量明显优于随机中继选择算法且随着中继节点数量的增加性能优势更加明显;对于多中继选择,在目的端的接收信噪比大于10d B的条件下,Q-learning算法相对于随机中继选择算法,需要的中继节点个数可以平均减少两个以上。2、针对物联网中的协作传输场景,提出了分布式波束成形与中继选择相结合的方案,建立以接收端信噪比最大为准则的目标优化问题,首先采用Q-learning算法选择出多个中继用于协作传输,为了降低Q-learning算法的计算复杂度,本文采用拟牛顿法来快速求解出接收端最大信噪比的上界值,并将该值作为立即回报值用于指导Q-learning算法计算出最佳选择策略。其次,当被选中继确定后,该优化问题变为一个单目标的非凸优化问题,在基于半正定松弛的条件下使其变为凸优化的问题,再结合二分法和内点法求解出最优权值及接收端的最大信噪比。仿真结果表明,基于Q-learning的多中继选择算法能获得接近于最佳的性能且明显优于随机多中继选择方案。
其他文献
本文设计的一个新的住院病床安排方案,可用来取代传统的FCFS(先到先得)规则。患者在等候队列中的优先级将基于病情和手术的紧急程度。本文把患者的入住情况转化为经典的M/M/N排
对藏医学中药用毛茛科植物在我国现行药材标准中的品种收载与质量标准情况进行分析整理。结果表明,相关文献记载的藏医学药用毛茛科植物约17属126种(含种下等级);在《部颁标
随着工程机械行业的发展,客户的需求更加层级化和个性化,故为了满足不同客户的需求,同品种多系列的产品不断上市,然而每增加一种规格的产品,就应该增加相应的工艺装备,因此,
对于一个企业来说,薪酬并不是单单指资本以工资的形式,按照工人所付出的劳动以及创造的价值的多少,支付给员工的酬劳,而且还包括了企业内部薪酬管理制度的制定,尤其是如何通
目前国内大部分软面层聚氨酯板材连续生产线的放卷装置都存在笨重、故障多、效率低等缺点。主要介绍一种新型的恒力矩放卷装置,希望对聚氨酯板材设备制造厂家、聚氨酯板材生
本文应用近似因子模型以及因子增广的向量自回归模型,考察了1995~2009年间美国的经济冲击对我国经济的传播渠道。本文发现出口和消费者信息指数比进口以及金融市场对美国的经
《西游记》作为我国古代神魔小说的经典之作,为世人所呈现的是光怪陆离、神奇绚丽的世界。而它展现出的女性世界同样是斑驳复杂的,其中,女妖形象丰盈饱满在整个故事中起着点染、
对全电刹车系统在大型民航飞机上的应用进行了研究,分析了全电刹车系统的组成和工作原理,参考了某大型民航飞机的基本数据对全电刹车系统的各组成部分建立了数学模型;在控制
犬髋关节发育不良(Canine hip dysplasia,CHD)是一种常见的骨科疾病,受环境和遗传等因素的影响,可发生在任何品种、不同体型大小的犬,以2~6月龄的中大型犬最易发病,其患病率
遥感技术的发展,为科学研究带来很多便利。但随着遥感影像光谱和几何等属性更加丰富带来的数据量增加,增加了影像处理的难度。相比于传统应用在遥感数据处理的方法,人工智能