论文部分内容阅读
自“智慧海事”提出以来,海事信息管理系统向着自动化与智能化方向飞速发展。然而,为海洋用户提供可靠、高质量的网络服务质量(Qualityof Service,QoS)却成为了限制海上通信发展的瓶颈。在大量异构网络共存的海洋环境中,传统路由算法对于QoS的优化目标是单一的,并且需要反复建立模型、调整参数,不能满足大多数业务的QoS和在线信息获取需求。在处理多目标QoS优化问题(即时延,丢包率,能耗等),由于问题的高复杂度使传统方法无法有效解决。因此,本文在多目标QoS约束下,针对海上无线网络的选路优化问题和资源高效分配问题进行相关研究:(1)针对海上通信网络的异构性,本文提出了一种软件定义的海事通信网络架构。该架构集成空、天、地、海的网络部署,并运用软件定义网络(Software Defined Network,SDN)打破了开放系统互联(Open System Interconnection,OSI)模型的垂直结构,实现了控制与转发的分离,简化了网络的运维管理过程。其次,通过其统一的Openflow标准实现数据集中式调度,解决了海洋异构网络中的通信问题,从而实现高效传输。(2)针对所提出的SDN架构中选路优化问题,本文提出了一种基于马尔可夫决策过程(Markov Decision Processes,MDPs)的最优链路选择方案。该方案综合考虑海上通信环境中的信道状态、节点的缓存状态与能耗问题,并建立系统评价模型评价节点、链路质量。该方案将数据传输过程建模为MDPs,SDN控制器通过Agent自主探索系统环境,对外部环境状态的转移信息进行学习并获取最优策略。当Agent获取经验后,系统进行动态选路优化,做出最优链路选择方案。(3)为在实现快速分配的同时,保障业务信息在多节点间的QoS,即保障网络的时延、总吞吐量、链路可靠性等性能指标,本文提出了一种基于深度强化学习(Deep Reinforcement Learning,DRL)的多目标QoS优化机制。该机制引用DRL算法于SDN路由决策元层,依靠前期所提出的最优链路方案离线获得最优路径,将相应的节点集输入到路径数据库中,并利用库中的节点集作为样本标签来训练DRL模型。在训练完成最佳模型后,面对新的连接请求时,仅通过与模型内部已知权重参数的简单计算来获取最优路径,大大提升了选路效率,从而实现网络资源的快速分配。(4)通过仿真实验对所提方案和机制在拟定的复杂海上通信环境下的可行性与优越性进行验证。与现有方法进行横向对比分析表明,所提方案可有效做出最优决策,所提机制大大提高了数据传输时的选路效率,并保障了吞吐量、丢包率、能耗等性能指标。