基于强化学习的路由选择协议优化

来源 :上海电力大学 | 被引量 : 0次 | 上传用户:dillydally
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
路由选择是网络数据传输的关键技术之一。对路由选择协议进行优化,有助于减少拥塞状况,提升网络吞吐量。在大流量传输和突发流量传输场景中,传统启发式路由协议无法从历史决策中汲取经验提升网络吞吐量,也无法根据网络变化情况动态调整路由策略以满足服务质量需求;现有基于强化学习(Reinforcement Learning,RL)思想的路由协议尽管可以克服上述问题,但在平衡动作探索与利用以及模型自适应方面仍有提升空间。针对现有RL算法未能较好权衡动作的探索和利用的问题,提出一种基于环境感知的自适应深度强化学习路由算法(deep Q network with priority experience replay and self-adaptability,DQNPES),可依据智能体经验回放时的平均误差,动态调整ε-greedy策略以平衡探索和利用,引入启发式规则对探索进行限制,积累正向经验;使用优先经验回放机制加速模型收敛,提升网络吞吐量和数据交付率。仿真实验表明,部署了本自适应深度强化学习路由算法的网络环境吞吐量和数据交付率均高于其他基准算法。针对现有RL算法无法一如既往地保证网络吞吐量的问题,提出一种基于先验知识指导的安全强化学习路由算法(a safe reinforcement network routing algorithm based on knowledge guidence approach,PKG-DDQNS),把先验知识引入深度强化学习模型的动作选择,结合ε-greedy策略,根据网络情况对下一跳进行评估和约束,必要时提供更优动作选择,避免无效动作选择。实验证明,算法在负载较重的网络场景中使网络保持较高的吞吐量,网络吞吐量波动可稳定在较小的范围,模型收敛速度也可显著提升。
其他文献
近年来,榛子油作为一种新型食用油受到广泛关注与研究。它营养价值丰富,具有特殊坚果风味,但其质量受加工方式和贮藏过程的影响很大。迄今为止,针对加工方式或贮藏期对榛子油脂质组成的影响尚未见全面分析的报道。在本研究中,利用基于高分辨率质谱的脂质组学技术分析脂质内在变化规律,实现了对榛子油中脂质的全面表征。明确了冷榨法,有机溶剂法和水酶法对榛子油脂质组成的影响。动态监测了加速贮藏过程中脂质及其氧化产物的变
学位
链置换反应是研究DNA计算的一种不可或缺的技术。由于它满足碱基互补配对原则,具有序列可预测性的优势。在过去的二十多年里,链置换反应被广泛研究,在室温下被用于设计纳米级机器和构建复杂的计算电路。直到今天,链置换反应用于系统地构建各种逻辑电路、信号放大器、振荡器甚至是神经网络。基于链置换反应这一原理,各种各样的计算模型层出不穷,这使得链置换反应在生物计算领域具有广阔的应用前景。受到专家们研究成果的启发
学位
目前,超级计算机正朝着百亿亿次时代迈进,超级计算机对于性能的需求在日益增加。而高性能计算系统性能的持续改善源于系统规模的扩大和单节点性能的提高,无论是哪种方式的改善,都将以更高的功耗为代价,这就带来了不可避免的能耗问题以及成本问题。因此,功耗限制是超级计算机目前面临的最大的挑战之一。在摩尔定律的指导下,处理器通过增加晶体管密度来实现性能的显著提升,随着越来越多的晶体管被装入芯片中,芯片的质量问题变
学位
随着“工业4.0”概念的提出,电网也向着数字化、智能化的方向发展,以往内部的设备、数据等逐渐接入了互联网,改变了以往相对封闭的局面。由于软件、协议设计缺陷或者工作人员安全意识缺乏等原因,数据、设备的安全问题也随之而来,使得电网时刻面临着不同程度的威胁。电网业务系统主要包括营销管理、生产管理等自动化管理系统,业务系统的稳定运行是电力系统安全稳定运行的基础。本文针对电网业务系统的特点以及对异常流量检测
学位
随着《全民健身计划2021-2025》和《“健康中国2030”规划纲要》的实施,广场舞作为大众喜闻乐见的一种健身形式,以其独有的健身价值、多元的艺术价值和广泛的适应性越来越受到人们关注和喜爱。“中国广场舞大赛”作为目前国内最高级别的广场舞赛事,自2015年起,本赛事连续三年入选《体育画报》(国家体育总局主管、中国体育报业总社主办)中刊载的《最具赞助价值体育赛事TOP100(不含马拉松赛事)》排行榜
学位
目的本文旨在运用统计学方法,将收集的杨功旭教授治疗膝骨关节炎的病案进行描述性统计及关联、聚类分析,同时,总结杨功旭教授运用六经辨证理论治疗膝骨关节炎的学术经验及选方用药的规律,并举隅典型病例。通过研究,更好地继承和发扬杨功旭教授的临床学术经验,为临床治疗膝骨关节炎拓展思路。方法1.通过分析杨功旭教授门诊治疗膝骨关节炎的病案,深入研究典型病例,联系相关的中医经典、著作、文献,详细分析和总结本病的病因
学位
我国是对外出口贸易大国,劳动密集型行业一直是我国对外出口的重要支柱行业。纺织业作为传统劳动密集型行业的代表,是我国对外贸易的重要行业之一。它的经历了改革开放后的高速增长期,行业规模迅速扩大,对外出口额增速迅猛,对我国的经济增长、增加就业、提高国民收入等方面都发挥了十分重要的作用。而随着新一轮的经济周期的开始,我国近几年正在进入经济增长放缓,行业压力增加,经济结构转型的关键时期。纺织行业也面临着前所
学位
天然气水合物资源被誉为21世纪最具开发价值和应用前景的新型能源,可望有效解决能源短缺问题。水合物开采分解极易导致海床不均匀变形、开采井结构失稳等工程灾害,深入探索含水合物沉积物的物理力学特性,建立模型对其强度和变形等特征进行模拟对保障水合物安全开采具有重要意义。含水合物沉积物的力学特性与水合物的填充和黏结效应及沉积物的各向异性有关,本文通过考虑以上影响因素,在CASM框架下建立了含水合物沉积物弹塑
学位
随着“两化融合”进程不断推进,工业控制网络原本封闭的环境变得开放,接入互联网意味着工控系统内的联网设备面临着更多风险。基于主动探测的设备识别技术并不适用于工控网络环境,也不符合未来的发展要求,所以本文基于被动监测的网络流量分析技术实现对特定环境下的网络设备识别,并且在这个环境内建立网络设备指纹库,及时获取接入到本环境网络中的设备信息,进行有效的网络设备资产管理。通过获取到的网络设备拓扑图全面了解本
学位
近三十年以来,我国建筑行业发展迅猛。但传统建筑行业仍然存在劳动力短缺、作业环境高危、环境污染严重、建筑质量参差、工人效率低下等问题,建筑工业化是我国建筑行业发展的必然之路。本文将根据建筑行业中室内建筑抹灰机器人的应用场景及具体施工要求,设计并研发了一套适合于室内建筑抹灰机器人的智能导航系统。其主要内容如下:(1)提出了一种适用于室内建筑机器人对未知场景认知的模型——“建筑信息模型(Building
学位