【摘 要】
：
随着移动互联网以及物联网规模和网络应用的不断增加,网络拥塞现象日益显著,网络拥塞已成为制约网络快速发展的重要问题。网络系统本身具有复杂、时变和不确定性等特征,在物理层面对其进行改进不切实际。在面对网络变化时,传统的拥塞控制协议因其固有的规则机制只能做出固定的动作,既未充分利用链路带宽,也未充分利用历史网络数据,并且在发生拥塞时带宽恢复所用时间较长。因此,研究网络拥塞问题对提高网络性能和质量有着深远
论文部分内容阅读
随着移动互联网以及物联网规模和网络应用的不断增加,网络拥塞现象日益显著,网络拥塞已成为制约网络快速发展的重要问题。网络系统本身具有复杂、时变和不确定性等特征,在物理层面对其进行改进不切实际。在面对网络变化时,传统的拥塞控制协议因其固有的规则机制只能做出固定的动作,既未充分利用链路带宽,也未充分利用历史网络数据,并且在发生拥塞时带宽恢复所用时间较长。因此,研究网络拥塞问题对提高网络性能和质量有着深远的意义。本文主要对TCP New Reno协议进行了研究,以及如何将深度强化学习方法引入网络拥塞控制当中。为解决网络环境中的噪音,动态多变的网络环境等问题,本文的主要工作有如下三部分:（1）本文提出一种基于深度强化学习方法的TCP拥塞控制方案。基于该方法控制拥塞窗口大小变化,以实现对发送数据的速率进行控制。同时,基于学习过程中存在的延迟,本文对迭代更新的Q函数进行了修改,以更好地解释网络环境。（2）基于网络中过往的历史数据对未来网络规划存在潜在的影响。本文基于时序卷积网络提取网络中某段时间内历史数据的隐式因果关系,再结合强化学习方法实现较智能的拥塞控制。同时分析了历史数据选取量对网络情况的影响,发现历史数据选取量在一定范围内时,可以达到更好的效果。（3）本文提出一种基于图结构的强化学习拥塞控制方案。图注意力网络处理网络拓扑图时,也需考虑到链路对网络的重要性。因此,本文在图注意力网络结构的基础之上增加了边注意力网络模块。图注意力网络的主要目的是提取中间节点和链路的特征。这些特征和网络参数可以作为强化学习方法的输入。实验表明图注意力网络在处理变化的网络拓扑时具有一定泛化能力。本文通过大量的实验证明此方案的可行性和有效性,并与已有的模型方法进行比较,验证了本文提出的模型在吞吐量和传输时延等方面有着显著提升。在面对复杂多变的网络时,本文提出的方案也能得到具有竞争力的结果,从而打破了传统网络拥塞控制的局限性。
其他文献
我国是茶叶的生产大国,茶种植区的监测工作对我国经济发展具有重要意义。然而传统的人工野外勘测方法需要耗费大量的人力物力,时效性差,精度低,不能及时有效地获取茶种植区空间分布信息,同时也有着比较高的误差。遥感技术具有准确、及时获取信息的天然优势,因此使用遥感监测的方法实现对茶种植区的自动提取是可行的,但同时由于茶树在光谱特征上与其它农作物种植区的相似性,导致目前的茶提取算法难以达到良好的效果。本文以遥
基于光谱特征结合机器学习方法准确提取湿地信息并研究其动态变化,对于湿地环境监测和保护具有重要价值。随着人口增加,城乡建设快速发展,围垦、埋填、占用湿地,有害物质排放进入湿地,破坏了湿地生态环境,湿地的面积日益减少。因此,急需一种新的分类手段,以利于湿地的动态监测,湿地环境保护和合理的开发建设。城市建筑物分割是高分辨率遥感的热门研究领域。然而,高分辨率遥感图像的各种外观和复杂的背景使得城市建筑物的精
系统的状态估计问题广泛存在于自动驾驶、数据传输、故障诊断等领域,由于环境影响、模型参数不当选取、测量设备故障等原因,系统状态方程和测量方程中往往含有未知输入。而未知输入的存在使得上述状态估计问题的研究变得非常复杂。因此,本文考虑含有未知输入的线性系统和非线性系统,研究系统状态和未知输入的估计问题。首先,针对未知输入直接馈通到线性系统测量方程的情况,提出新的扩展递归三步滤波器,同时估计未知输入和线性
海岸线变化监测对海岸带的科学管理和保护具有重要意义。随着高分辨率遥感图像的快速积累,自动提取高分辨率遥感图像中的水边线（海陆分割线）是实现海岸线变化监测的重要手段。但高分辨遥感图像中地物细节复杂,陆地上临近封闭内水区域的边界极易被误识别为海陆分割线;另一方面,由于水边线本身类型多样（包括人工、砂质、淤泥质等）且易受附近地物遮挡,提取的水边线极易存在断点不连续的情况,因此,研究基于高分辨率遥感图像的
随着互联网技术的迅猛发展和众多无线智能设备的普及,越来越多的移动用户趋向于使用移动设备下载内容、浏览新闻视频等。用户的这些行为导致了移动数据需求量的爆炸性增长,给移动蜂窝网络运营商造成了巨大的数据流量负载和网络拥塞。目前,大部分工作或针对激励机制,或针对用户合作参与D2D分流,而忽略了CT的自私与不合作属性,考虑不够全面。基于设备到设备的机会通信辅助移动数据分流,并激励用户积极参与,实现内容传输用
随着社会就业压力不断增加,以及2020年以来受新冠疫情影响,精神疾病的患病率不断提高。然而,我国目前精神疾病患者选择到相关门诊就医的人数不到十分之一,若得不到及时地确诊和医治可能引发其他相关疾病。因此,一套高效简捷的人格检测工具对国民精神疾病筛查非常必要。明尼苏达多项人格检测量表（Minnesota Multiphasic Personality Inventory,MMPI）是世界上使用最普遍的
水下滑翔机是一类特殊的水下采样机器人,具有制造成本低,续航里程长等优点,适用于大尺度范围、长工作周期的水下观测任务,符合人类多样化探索海洋的实际需要。由于水下滑翔机特殊的工作原理和运动方式,在实际应用中,对环境因素更加敏感,因此对水下滑翔机进行路径规划方面的研究是保障其能够顺利完成海洋观测任务的关键技术之一。本文以混合驱动水下滑翔机为研究对象,为提升水下滑翔机运行特性,在建立其动力学模型的基础上,
自然界中的微生物大多以“微生物群落（菌群）”的形式存在,微生物群落的结构和功能与其共生环境的状态息息相关。宏基因组测序可以获取微生物群落详细的基因组信息和高分辨率的分类学信息。大规模宏基因组样本的beta多样性可以在样本的结构、功能特征与其元数据（如环境状况或健康状态）之间建立联系,精确、全面地计算宏基因组样本之间的距离对于理解宏基因组的beta多样性起着至关重要的作用。然而,目前针对宏基因组样本
机械臂是一种强耦合、高度非线性、多入多出的复杂被控系统,并且存在模型不确定性和外界干扰,对其实现快速准确的轨迹跟踪一直是机械臂领域的难点,也是研究热点。本文在研究串联机械臂运动学和动力学的基础上,考虑到机械臂的模型不确定性以及外界干扰的存在,对基于滑模变结构的机械臂轨迹跟踪控制策略进行研究,主要工作有以下几点:1.以RBT-6T/S03S机械臂为研究对象,用标准D-H参数法对其进行运动学建模,推导
日常捕获的图像通常包含多种不必要的模糊,包括对象运动模糊、相机抖动模糊、场景深度变化等。图像去模糊的目标,旨在从模糊的图像中恢复出清晰的图像,这是一个具有挑战性的计算机低层视觉任务,因为问题本身具有高度的病态性。现有的技术在图像去模糊问题上还存在一定局限性,包括对图像的特征信息提取不充分、速度慢、卷积核的局部依赖性、模糊数据集的采集等问题。近几年深度学习得到了快速的发展,基于卷积神经网络（CNN）