基于强化学习的容迟网络路由算法的研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:a683999700
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
容迟网络(Delay Tolerant Networks,DTNs)是一种节点稀疏、端到端不存在连续通信路径的新型无线传感器网络,通信路径的间歇性和不确定性使得消息路由转发成为巨大的挑战。因此,为容迟网络设计出一个高效的路由算法成为重要的研究内容。研究者们根据节点相遇概率、节点缓存空间、节点移动方式提出众多路由算法,而这些路由算法的出发点、适用场景各不相同。本文针对容迟网络结构是动态变化的特性,并依据“存储-携带-转发”的路由机制,开展基于强化学习的容迟网络路由算法的研究。本文首先研究了容迟网络的相关理论知识和关键技术,重点分析了当前容迟网络路由算法的研究现状,然后对强化学习算法和容迟网络仿真工具进行了详细的描述。为容迟网络路由算法的设计和仿真奠定了基础。根据容迟网络中的动态拓扑特性,本文建立了基于强化学习的容迟网络模型,为了解决Q-Learning算法对下一动作奖励产生“过高估问题”,提出了基于Double Q-Learning算法的容迟网络路由算法(Double Q-Learning Routing,DQLR),并设计了中间值机制以计算通过中间节点传递消息的累积奖励,为潜在下一跳节点提供更好的奖励基础。同时提出有效的动态奖励机制,基于消息转发至目的节点的跳数,区分不同转发路径的奖励级别。仿真结果表明,DQLR算法可以提高消息传输成功率,并减小传输开销。进一步,考虑到容迟网络中节点和网络属性的复杂性、动态性和不确定性,引入模糊逻辑理论,提出基于模糊逻辑和Double Q-Learning算法的容迟网络路由算法(Fuzzy logic based Double Q-Learning Routing,FDQLR),采用模糊逻辑算法综合评估节点的活跃度、相遇间隔和移动速度,并将得到的模糊值作为下一跳节点的即时奖励模糊系数。该算法还考虑到目的节点移动的特殊性,将一定时间范围内与目的节点相遇过的其他节点贴上“热区”节点的标签,使得消息转发更具有目的性,有效地提升消息投递率。此外,为了更好地管理节点的缓存空间,提出了丢弃机制,使节点有足够的缓存空间接收新的消息副本。仿真实验表明,FDQLR相比于DQLR路由算法有效地提升了容迟网络消息传输的性能。本论文的研究成果可以为容迟网络路由算法的研究提供思路,也可以用于车载容迟网络和社交容迟网络等实际应用场景中,具有较好的理论价值和应用场景。
其他文献
近年来社会公众对传统历史文化的关注度不断提升,各种历史题材的纪录片也随之在网络及各电视频道上呈现出了热播趋势,然而由于国内对历史题材纪录片的相关理论研究较少,所以
2015年国家继续在小麦主产区实行最低收购价政策,2015年生产的小麦(三等)最低收购价为每50千克118元,保持2014年水平不变。据了解,2004年,我国全面放开粮食收购市场和收购价格,粮食
黑杨类杨树苗木培育有多种方法,其中扦插育苗是最经济、简便、快速,且可实现大规模育苗的一种方法,一般规格苗当年可出圃。其主要技术措施有以下几点:  一、苗圃地选择  应选择土层深厚、土壤养分含量高、地块平整、向阳避风、有水源的半砂质壤土地块建圃育苗。对苗圃地全面深耕细作,施足底肥(1000~2000千克/亩)并撒施辛拌磷等颗粒杀虫剂防治地下害虫,在此基础上南北向做畦,一般畦宽1.4~2.1米,平整畦
混合像元问题是定量遥感中的热点问题之一,为了改进从遥感数据中提取定量信息,人们建立了各种混合光谱分解技术,其中线性光谱混合模型和神经网络模型就是两种比较成熟的方法。以陕西省横山地区的高光谱Hyperion数据为研究基础,通过最小噪声变换(MNF)、像元纯度指数(PPI)转换和RMS误差分析的迭代方法相结合提取影像中的纯净像元作为终端端元。分别运用神经网络模型和线性光谱混合模型对影像进行光谱分解,得
羔羊食毛症常发生于冬季和初春,山羊和绵羊都会发病,呈群发性,主要特征是舍饲的哺乳羔羊舔食母羊身上的被毛,或羔羊之间相互舔食被毛,导致膨气腹痛、胃肠道堵塞等,严重的病羊会死亡,成年羊极少发生此病。   一、病因和病症   1. 病因。饲料中缺乏铜、锰、钴、磷、钙等矿物元素和维生素、含硫氨基酸等,会诱发此病。冬季和早春母羊常采食枯草、麦草、酒糟等营养不全的饲粮,此时如不及时补充多种维生素和无机盐,
激光扫描系统获取的数据中包含了大量背景信息,给信息提取和表面重建工作带来严重影响,需要有效滤除。依据空间点与平面的位置关系,提出了针对车载激光扫描点云图像背景信息滤除的有效方法,并以OpenGL为工具,开发了一系列点云数据处理工具,能快速、直观、准确地滤除无用背景信息,完整地保留有用的前景信息,从而为大规模三维场景快速重建提供保障。
<正>~~
许多中小型肉种鸡场由于没有环境控制系统,在低温条件下,往往只重视保温而忽视通风,这样舍内有害气体易蓄积,空气中还会出现大量携带病毒的微生物尘埃,导致鸡只的抵抗力下降。当舍内温度骤降产生冷应激时,就会破坏鸡只免疫系统原有的平衡状态,一旦侵入机体的病毒株发生变异,原有的疫苗免疫就会失败,疫情自然迅速蔓延。由此可见,冬季肉种鸡鸡舍的环境控制尤为重要。  一、保持适宜的温度  温度不仅影响肉种鸡的产蛋率,
根据实测气象资料和蒸散发量资料,对几种蒸散发量计算模式进行了对比分析,提出不同气候区计算模式的适用性.以彭曼-蒙蒂斯公式计算的蒸散发量作为参考值,得出φ20蒸发皿换算
【正】 农业劳动力再生产费用,是农业活劳动消耗的补偿价值。在农产品成本中表现为“劳动日工价”。它与物化劳动消耗(即物质费用)共同构成农产品成本。但与物化劳动消耗的补