SDN下基于强化学习的智能路由算法

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:Y2J986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的互联网结构采用TCP/IP体系,构成分布式网络,难以满足数据中心急剧增加的数据量和业务,无法应对更大规模的流量传输和服务质量保障。SDN网络的核心是分离控制和转发,同时具有结构透明、可编程、转发高效的特性。目前的SDN网络仍采用传统的最短路径算法,面对大规模的流量传输时常常会引起拥塞,造成带宽利用率的下降和丢包。本文提出一种采用强化学习的路由算法,它能够高效地为流量找到合适的转发路径,有效提高Fat Tree拓扑下的SDN网络的吞吐量、平均带宽利用率,降低转发过程中的丢包率。首先,本文详细介绍了SDN网络的结构及Open Flow协议的工作原理,并使用虚拟网络仿真软件Mininet和远程SDN控制器Ryu实现了SDN网络的搭建。在此基础上,本文设计了多个Ryu APP模块来实现SDN网络的控制、转发功能,并完成了多种路由算法的部署。除此之外,本文设计了一种适用于SDN的环路处理方法,有效避免ARP包和IPv包洪泛造成的网络瘫痪。然后,本文以Q-learning算法为基础设计了一种适用于SDN网络的QR路由算法。该算法对传统的强化学习算法进行了改进,设计了动态变化的探索率并引入了效用迹,并设计了奖赏函数以满足不同需求。在Fat Tree拓扑下进行的仿真结果表明该算法能够准确地为流量找到合适的转发路径,相比于传统路由算法能够有效提高网络吞吐量和平均带宽利用率,并降低平均丢包率。最后,本文实现了以pica8可编程SDN交换机为基础设计的硬件SDN网络平台,以树莓派作为主控设备,在上层部署应用层相关应用实现网络的发现、维护、路由功能,通过串口发送指令使硬件交换机中完成动态拓扑构建。本文搭建的硬件SDN网络平台可实现自定义动态拓扑变化,并保证终端设备的数据传输。
其他文献
随着社会的发展和经济水平的提升,人们对于地震作用的关注点已从生命安全上升至综合经济损失。基于性态的抗震设计理论突破了传统抗震设计以“保证生命安全”为主要设防目标的局限,以有效控制人员伤亡和经济损失、保障结构使用功能为目标。同时,基于位移的抗震设计方法被认为是实现基于性态的抗震设计理论最有效的途径之一。如加速度设计谱在基于力的抗震设计中的重要作用,位移设计谱是基于位移的抗震设计方法中确定地震作用的重
目前我国存在大量的偏瘫患者,但由于康复资源分配不均与康复医师严重短缺等原因,多数患者没有得到及时的康复治疗,因此设计一款适合偏瘫康复的机器人是亟待解决的问题。在此背景下,本文基于膝关节康复机器人对控制策略与控制系统等方面展开了研究,主要工作如下:首先进行了控制方案设计。简述偏瘫的特征与治疗方法,表明偏瘫患者在不同的康复阶段应采取不同的运动模式;对下肢运动展开了分析,并建立了膝关节运动学模型;提出了
由于多智能体系统具有广大应用前景,事件触发控制拥有节省通信资源等优势,因此,本文基于事件触发控制研究了多智能体系统的一致性问题很有价值和意义,主要的研究内容主要包含以下几个方面:首先,本文考虑当通信拓扑为无向连通图时,研究具有一阶积分器模型的线性多智能体系统的事件触发一致性问题。为了减少智能体之间的连续通信,对每个智能体采用了分布式事件触发算法。由给定的触发条件决定是否更新控制器并向邻居智能体传递
近些年我国在航天领域捷报频传,航天科技是当今世界最复杂、最庞大、最具风险的领域。由于航天活动的特殊性,在技术研发过程中,必须要在地面进行核心关键技术的仿真与验证。气浮台控制系统由于其制造成本较低、工作时间较长、模拟精度较高、引入扰动较小、实验平台较大等突出优势,可以被用来有效地模拟航天器姿轨控制、交会对接等重要实验。然而,现实气浮台控制系统中普遍存在执行器饱和的限制,在气浮台控制系统设计时,如果不
从上世纪末起,智能无人武器在全球范围内几次重大的局部性战争中可谓出尽了风头,而随着本世纪初人工智能技术的又一次爆发增长,人工智能技术赋能未来战场的呼声日渐高涨。的确,随着人工智能、群体智能的高速发展,智能无人武器领域出现一个新的契机:智能无人武器的集群化应用,这将给各层次对抗提供更多的战略及战术选择,也将对未来战场产生颠覆性的巨大影响。本文基于此背景,针对异构多智能体对抗问题在应用强化学习技术时存
目标检测作为计算机视觉领域经典任务之一,广泛应用于视频监控、智慧交通、目标跟踪等领域。目前基于深度学习的目标检测方法主要包括anchor-based检测方法和anchor-free检测方法。Anchor-based检测方法使用锚框内的全局信息用于分类和边框回归,具有较高的分类准确度,然而,锚框的设置依赖于先验知识,对于一些小目标和细长目标检测效果不佳。Anchor-free方法将目标检测转化为关键
随着系统网络化、集成化程度不断加强,分布式系统日益庞大,如何保证众多设备组成一个时间统一系统越发受到关注。IEEE 1588标准可以实现亚微妙级别的时间同步,同时具备较强的适应性与移植性,结构灵活成本较低,得到了广泛的应用。IEEE 1588v2版本的发布,解决了跨交换节点时间同步的问题,使其更加适合分布式系统,具有广泛的应用前景。本课题以“网络信号源”项目为背景,在现有网络时间同步设备的基础上,
随着当今世界数字化变革,企业要处理的业务量越来越大,同时为了提高处理业务的系统的可用性,分布式架构应运而生。为了解决本地计算资源的缺陷,往往将算力不足的本地机器部署到分布式架构中,利用分布式架构中的其他计算节点执行复杂的计算任务。分布式架构还可以提供系统的稳定性,在单点出现故障时,不影响整个系统的业务处理能力。华为鸿蒙操作系统实现基于局域网内的分布式操作系统,实现快速部署连接在同一局域网下的操作端
随着人机对话技术的发展,越来越多的企业推出了他们的认知型服务类产品,比如VPA、智能音箱、导购机器人等。但这些实际应用中机器大多只能被动响应用户表达,缺失对用户偏好的认知且不具备自主对话的意识。因此如何使得机器主动且自然的引导对话方向进行服务推荐从而满足用户需求至关重要。为解决缺失用户认知、无法引导对话和回复生成异常等问题,机器需要规划对话目标序列,并据此融合外部知识生成恰当回复。因此本文主要研究
随着特种设备技术的不断发展,多足机器人广泛应用在资源勘探、灾后救援以及军事设备等方面,通常机器人行驶在崎岖复杂的路面上,机器人自身因机械故障、驱动电机故障或者受外部环境干扰发生故障的几率很大,本文针对机器人发生腿部关节锁定故障的情况进行容错步态规划,并提出越障的适应性足端轨迹,对于发生腿部关节故障后的六足机器人能够在崎岖路面上稳定行走具有重要意义。对六足机器人的结构参数进行分析,搭建了六足机器人的