基于强化学习的SDN路由优化研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:liongliong494
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断进步,机器学习早已成为现代信息化生产的必要辅助。强化学习是机器学习的重要分支,在网络路径管理领域有着广泛的应用。传统互联网结构要承担大量而种类繁多的网络数据流。为了改善计算机网络在应对多样网络需求时的表现,在软件定义网络技术框架下,利用强化学习技术手段来处理网络多种数据流的路由转发,是近年来主流的研究方向。软件定义网络作为未来网络的发展趋势,其控制功能与转发系统的分离可编程设计,为设计新型路由转发算法提供了便利条件,也吸引了大量的学者来进行SDN(Software Defined Network)的路由转发功能设计与研究。强化学习通过它在动作决策学习上的强大优势,非常适合应用在网络转发路径的选择上,以尽可能少的改动硬件设备为前提,优化网络的路由转发处理能力,具有现实的研究意义。本文进行强化学习领域的SARSA(State-Action-Reward-State-Action)Learning算法在软件定义网络架构下的应用研究,SARSA Learning是一种典型的强化学习算法。通过对网络环境的探索和学习,可以在变化的网络环境下得出优化路由的策略,用于网络数据流的路径选择与转发控制。针对基于强化学习的路由转发策略选择,本文设计了SDN系统方案与仿真网络拓扑结构,同时改进了基于SARSA的在策略(On-Policy)路径选择算法,通过SARSA-Learning的学习矩阵来动态寻找网络链路中当前表现最好的网络链路,将其用于网络数据的转发,有效地提高了网络的性能。本文改进了ε-贪婪策略值算法(V-G算法)的参数设计,以可变参数的方式进行路由优化策略计算。V-G路由算法将ε-贪婪函数中引入可变因子,同时结合模拟退火系数进行概率计算。改进的算法保持了SARSA Learning的学习效率,同时加速了各网络节点中路由策略模型的收敛速度。研究通过动态计算链路状态反馈奖励的方式,解决SDN网络的最优路由选择问题,降低了SDN数据包等待延迟,减少了网络的拥塞,提高网络链路传输速度。仿真实验证明,可变贪婪函数使SARSA算法更适合SDN环境,V-G路由算法取得了较好的优化效果。
其他文献
电站锅炉是大型电力设备,属于技术密集型和资金密集型。电站锅炉科研项目的特征是资金投入大、风险高、研发周期长。目前对电站锅炉科研项目的知识产权管理仅仅停留在表面的
目的:以豚鼠作为动物模型研究VIP(vasoactive intestinal peptides,血管活性肠肽)与视觉发育可塑性的联系及单眼形觉剥夺对VIP在视皮质中的动态变化研究。方法:将30只3-4周龄健康三色豚鼠随机分为两组:正常对照组15只、单眼形觉剥夺组15只,眼罩缝合遮盖右眼,两组均饲养在相同自然光线环境中,12h:12h昼夜循环饲养。分别在干预前、干预后1周、干预后2周行体重、屈光度
在智能交通中,如何从车辆轨迹中提取有效信息,进而做出短时精准的预测,是当前研究的一个热点问题。由于轨迹具有多样性、稀疏性以及道路拓扑存在复杂性,给实现轨迹的精准预测
作为电力电子变换器核心之一的功率半导体器件,其每次更新都会使变换器性能得到提升。第三代宽禁带半导体器件以GaN为代表,与Si器件相比更适合工作于高频、高温、高效率环境
研究背景及目的:精液中的精浆大部分来自精囊,精囊分泌物的量是反映精囊功能的主要指标,但其定量研究较少,其在生长发育过程中的变化的研究更是缺乏。本文拟用从小到老的大鼠,定量研究精囊内分泌物和其他主要形态结构的总量。材料与方法:从同一群正常雄性Sprague-Dawley大鼠中,分别在1、2、3、4、5、6、12、18、24和36月龄随机抽选7-9只动物,取出一侧完整的精囊(包含紧密附着的凝固腺——大
水稻是最重要的粮食作物,也是基础研究的模式生物。在水稻的生命周期中往往会遭受多种生物与非生物逆境的胁迫。为了应对环境变化造成的胁迫,水稻自身发展了抵抗逆境的机制。促分裂原活化蛋白激酶(Mitogen activated protein kinase,MAPK)属于真核生物蛋白激酶超家族,级联途径中的MAPK基因在抵御逆境的过程中具有重要的作用。水稻OsMPK17蛋白质在逆境胁迫中的表达特征及功能研
跨海大桥的变形受众多因素的影响,例如风力以及波浪力等等。在变形监测工作中,我们不仅要对该类桥梁的变形情况做到实时监测,同时还要对大桥可能发生的变形情况进行研究,因此,本文选取某跨海大桥某处的变形点进行变形的预测分析。介绍了桥体的背景以及对大桥变形状况的数据采集工作,分别布设水平控制网和高程控制网,对水平及沉降变形进行监测,获得大桥的变形时间序列数据,选取QSC30点的沉降序列进行变形分析的研究;由
时间和人类生产生活息息相关,时间计量手段的精确程度,极大地影响了各行各业的发展。近年来围绕时间计量工具--中性原子钟展开的研究越来越多,使得中性原子光钟的不确定度和
我国的优势传统产业“丝绸业”在国际上占据着重要的地位,其中桑树作为家蚕饲料发挥着不可或缺的作用。格鲁桑主要分布于我国山西省,是黄土高原最具代表性的一个桑树种群,也是我国桑树种质资源的重要组成部分。本研究在桑树表型研究的基础上,对格鲁桑种质资源重要农艺性状与分子标记进行关联分析,从而寻找与其表型相关的优异基因,从分子水平解释桑树表型性状的遗传变异规律,对桑树种质资源重要功能基因的克隆与挖掘以及桑树遗
秀丽隐杆线虫(Caenorhabditis elegans,C.elegans)是现在生物学领域的研究中主要的模式生物之一。线虫通常生活在许多微生物中,细菌是线虫的主要食物,并且多数微生物都是病原体的危险来源。铜绿假单胞杆菌(Pseudomonasaeruginosa)是一种常见于土壤和水的细菌,是一种机会性人类病原体,通常在免疫受损的个体或创伤中引起疾病。目前研究已经证明,在实验室条件下,铜绿假