【摘 要】
：
针对多跳空中传感器网络(Aerial Sensor Network,ASN)中的负载不均衡问题,提出了强化学习(Reinforcement Learning,RL)理论辅助的队列高效地理路由(Reinforcement-Learning Based Queue-Efficient Geographic Routing,RLQE-GR)协议.RLQE GR协议首先将ASN路由问题抽象为强化学习(RL)任务,其中每个无人机抽象为一个RL状态,而数据包的每跳成功转发则抽象为一个RL动作.其次,RLQE-GR协议
【机 构】
：
陆军工程大学通信工程学院天基信息系统教研室 南京210007
论文部分内容阅读
针对多跳空中传感器网络(Aerial Sensor Network,ASN)中的负载不均衡问题,提出了强化学习(Reinforcement Learning,RL)理论辅助的队列高效地理路由(Reinforcement-Learning Based Queue-Efficient Geographic Routing,RLQE-GR)协议.RLQE GR协议首先将ASN路由问题抽象为强化学习(RL)任务,其中每个无人机抽象为一个RL状态,而数据包的每跳成功转发则抽象为一个RL动作.其次,RLQE-GR协议中引入了新的奖赏函数来评估每次动作,该奖赏函数的值不仅与无人机节点地理位置和每跳链路质量相关,而且与无人机节点的可用路由队列长度密切相关.然后,根据所设计的奖赏函数,RLQE-GR协议利用Q函数分布式地更新每个动作的长期累积奖赏值(Q值),并使得每个节点根据本地Q值的大小采用贪婪策略转发数据包.最后,为了使全网的Q值快速收敛且最小化收敛过程中造成的路由性能损失,RLQE GR采用周期性信标机制对Q值进行迭代更新.当Q值收敛时,RLQE-GR协议能够实现可靠有效的多跳数据传输性能.与现有地理路由协议相比,所提协议在转发数据包的同时考虑了节点之间的相对距离、每跳链路质量和中间节点路由队列利用率.这使得RLQE-GR协议能够在保证路由跳数以及数据包重传次数的限制下,实现ASN的负载均衡.此外,利用强化学习理论,所提协议可以实现近乎最优的路由性能.
其他文献
长链非编码RNA (long non-coding RNA,lncRNA)在各种人类复杂疾病中起着重要作用.采用计算方法推断ln cRNA-疾病间的潜在关联关系不仅有助于理解疾病的致病机理,还有助于疾病诊断、预防和治疗.文中提出了一种基于集成回归决策树的lncRNA-疾病关联预测方法.首先,利用已知的lncRNA-疾病关联信息分别构建lncRNA、疾病相似矩阵、lncRNA-疾病关联矩阵;其次,基于lncRNA、疾病相似矩阵、lncRNA-疾病关联矩阵,从不同视角进一步构建lncRNA、疾病特征向量;然后
随着图神经网络技术在自然语言处理领域中的广泛应用,基于图神经网络的文本分类研究受到了越来越多的关注,文本构图是图神经网络应用到文本分类中的一项重要研究任务,已有方法在构图时通常不能有效捕获句子中远距离词语的依赖关系.短文本分类是待分类文本中普遍较短的一类特殊文本分类任务,传统的文本表示通常比较稀疏且缺乏丰富的语义信息.基于此,文中提出了一种融入远距离词语依赖关系进行构图的图卷积短文本分类方法.首先结合词语共现关系、文档和词语之间的包含关系、远距离词语依赖关系为整个文本语料库构建一个文本图;然后将文本图输入
核小体定位指DNA双螺旋相对于组蛋白的位置,并在DNA的转录阶段起着重要的调节作用.依靠生物实验的手段测得核小体定位会消耗大量的时间和资源,因此基于计算方法利用DNA序列进行核小体定位预测成为了一个重要的研究方向.针对核小体定位预测中单一模型和单一编码在DNA序列特征表示和学习方面的不足,文中提出了一种端到端的集成深度学习模型FuseENup,利用3种编码方式从多个维度表示DNA数据,利用不同的模型从不同维度提取数据中隐含的关键特征,构造了一种全新的DNA序列表征模型.在4种数据集上进行20倍交叉验证,相
问题自动生成是自然语言处理领域的一个研究热点,旨在从文本中生成自然问句.随着电子商务的不断发展,网络上产生了大量关于产品的评论.面对海量的评价信息,如何快速挖掘产品信息相关的关键评价,从而生成与产品各个层面息息相关的问答数据具有极大的研究价值,这对商家和顾客都具有极大的意义.现有的问题生成模型大多针对阅读理解类型等长文本语料,采用端到端序列化生成模型.然而,针对基于产品评论等短文本的问题生成任务,现有的模型无法将用户和商家重点关注的商品特性纳入学习过程.为了使生成的问题更加符合商品的特性,文中提出了基于产
前向纠错编码是一种在网络传输中应对丢包的技术.在传输过程中加入冗余数据,使接收端在丢包场景下可通过冗余数据直接恢复出原始数据.在丢包多、时延大的场景下,适当加入前向纠错编码可以大量节省超时重传的等待时间,从而提高网络传输的服务质量.过多地添加冗余会造成带宽的浪费,而过少地添加冗余会导致服务器端接收到的数据不足以恢复在传输过程中丢失的数据,因此实际应用前向纠错编码的难点在于恰当地控制冗余数据的比例.目前,前向纠错编码研究大多基于传统网络协议.而随着QUIC (Quick UDP Internet Conne
在移动边缘计算(MEC)与非正交多路接入(NOMA)技术相结合的车联网系统中,针对用户处理计算密集型和时延敏感型任务时面临的高时延问题,提出了一种基于博弈论和Q学习的任务卸载、迁移与缓存优化策略.首先,对基于NOMA-MEC的车联网任务卸载时延、迁移时延与缓存时延进行建模;其次,采用合作博弈算法获得最优用户分组,以实现卸载时延优化;最后,为避免出现局部最优,通过Q学习算法优化用户分组中的迁移缓存联合时延.仿真结果表明,所提方案相比对比方案,能有效提升卸载效率并降低约22％～43％的任务时延.
作为一种新型计算范式,边缘计算已成为解决大规模科学应用程序的重要途径.针对边缘环境下的科学工作流调度问题,考虑到任务计算过程中的服务器执行性能波动和数据传输过程中的带宽波动造成的不确定性,文中基于模糊理论,使用三角模糊数表示任务计算时间和数据传输时间,同时提出一种基于遗传算法算子的自适应离散模糊粒子群优化算法(Adaptive Discrete Fuzzy GA-based Particle Swarm Optimization,ADFGA-PSO),目的 是在满足工作流截止日期约束的前提下,降低其模糊执
软件定义网络(Software Defined Network,SDN)是由美国斯坦福大学Clean Slate课题组提出的一种新型网络体系架构,该架构通过解耦控制平面和转发平面的功能来实现网络流量的灵活转发.但是,由于经济开销和技术条件的限制,互联网服务提供商的骨干网必定长期处于传统设备和SDN设备共存的混合SDN状态.因此,在混合SDN网络中研究应对单节点故障情形的路由保护方法是一个关键的科学问题.文中首先描述了混合SDN网络中应对单节点故障情形时需要解决的问题,然后通过两种启发式方法来解决该问题,最
为了解决校园网中应用的BBR(Bottleneck Bandwidth and Round-Trip Time)拥塞控制算法在STARTUP阶段由于未收到ACK(Acknowledge Character)而引起的时延振荡和空窗问题,提出了BBR单边适应算法.该算法只运行在发送端,不受网络协议和上层应用的限制.通过改善时延估计器的加权系数,设计时延瞬时平均偏差估计器,将估算结果作为时延估计器的振荡平滑因子,提高时延估计器应对时延剧烈抖动的能力.为了尽可能解决不可避免的空窗问题和序号回绕,在发送端设计了流量
分布式星载多RTs(Remote Terminal)系统的任务主要基于功能进行分配,而数据处理任务的突发性往往会使不同计算机之间负载不均衡.运用灵活的负载调度机制,可以有效调节不同计算机间的负载差异,从而在一定程度上提升计算机系统的整体性能.文中提出了一种基于机器学习的分布式星载RTs系统负载调度算法,包含样本采集、任务吞吐率预测模型构建、吞吐率预测和负载调度等4个步骤.在构建任务吞吐率预测模型环节,通过机器学习的线性回归正规方程获取模型权重,缩短了构建模型消耗的时间.在负载调度环节,若RTs的吞吐率之和