由于新兴互联网时间敏感业务的出现以及服务质量要求由带宽敏感型向时延敏感型的转变,网络时延控制在保障业务时延性能上发挥着关键作用。依据业务传送过程中时延因素主要来源分为:光传送层、IP层及TCP层。在光传送层上网络、业务规模巨大,性能协调难;在IP层上,范围广、设备多、协议丰富,观测状态难;IP以上面临动态业务分布,网络队列与TCP协议协同难。在通信系统中建立泛在、智能和协同的时延控制机制,降低业务时延,成为时延控制的关键研究课题。当前时延控制存在以下主要挑战:性能协调时,特征因素空间过大;缺乏时延因素的完备观测;忽略业务分布不确定性。多时延因素,多性能协调,多业务分布等时延时延不确定因素汇聚于业务路径,外在表现为路径动态性不同。另外,时延控制还存在计算复杂、网络状态变化快的难点。在业务路径上,针对时延因素的层次划分建立泛在、智能和协同时延控制是时延控制机制的重要目标。结合面临的时延控制不确定因素、挑战和目标,本文特征化时延不确定性,以概率图模型分析各问题对应的特征因素,用强化学习克服控制难点,构建“不确定性学习+控制策略学习”,实现泛在、智能和协同的时延控制机制,设计时延控制策略,增强动态业务分布的时延控制。针对主要挑战,结合“服务边缘化,互联密集化”的研究趋势,本文的主要研究内容和创新点聚焦在以下方面:1、在光传送层,提出了一种对业务分布敏感的光网络前摄时延优化算法。针对光网络互联中“低时延光路径有限,性能要求不同而协调难”,本文分析了业务和时延、能量等性能的关系,构建有限低时延光路径,依代价设计疏导策略,通过隐式强化学习求解时延优化问题,选择较低时延光路径,降低业务时延。相较于其他算法而言,本文所提出的算法以路径期望使用率作为代价函数,能对业务请求集进行前摄控制。仿真显示,在本文设定的条件和业务分布下,算法能够实时、高效建立业务分布描述,选择低时延、能量效率相当的光路径;相较于不使用时延优化的疏导算法,本文所提出的算法保持网络能量效率不受影响,协同选择更低时延路径的概率提高了约14%。2、在IP层,提出了一种分布式路径时延优化算法。针对IP接入过程中“路径动态性高,时延不确定因素多而观测不完备”,本文以强化学习为框架,度量汇聚于传送路径上多时延不确定因素,利用逆强化学习追踪环境状态,优化奖励函数,提出在线分布式路径时延优化算法。相较于其他静态路由、离线更新算法,该算法优化了系统对环境状态的感知和追踪能力,算法智能、实时地降低业务路径时延,提高稳定性和效率。在设备具有高移动性无人机网仿真环境中,本文比较该算法与其他算法(GPSR、QGeo等)在不同数据频率下的路径时延、稳定性和效率,并以端到端时延、包送达率和重传开销分别进行衡量。仿真结果表明,算法在本文设定的条件下能够实时收集系统状态并追踪环境状态,选择低时延的路径;相较于GPSR和QGeo,减少了传送过程中约5%的时延,提高了最多7%的包送达率和降低了最多20%业务重传产生的开销。3、在IP层以上,提出了一种对业务分布敏感的队列时延优化算法。针对路径基本固定,“业务动态分布,网络队列与TCP协议协同难”,本文分析了业务分布与网络队列之间的相关性,以深度强化学习为框架,学习业务工作点分布、转换关系并应用到主动队列管理的时延控制中。对比业务分布不敏感的算法,该算法能够动态探测业务工作点分布,提高网络队列“目标一致的多步协同时延控制”的规划能力,保持队列低时延、高吞吐率的稳定状态。仿真验证了该算法在不同拓扑状态和业务分布下的时延控制能力和规划能力。仿真结果显示,在本文设定的条件下算法能够实时降低网络队列时延,保持网络队列长期处于高吞吐率状态,相较于主动队列管理算法CoDel而言,降低约12%的队列时延而仅牺牲约1%的吞吐率。