在软件定义数据中心网络中,存在混合流传输的情况。没有截止期限需求的、占用带宽流量多的大象流和具有严格截止期限的、时延敏感的老鼠流相互竞争着网络有限的资源。因此,有效地调度混合流成为极具挑战性的问题。本文的主要工作如下:（1）本文结合软件定义网络（Software Defined Network,SDN）技术,提出了一种基于专用链路和深度强化学习（Deep Reinforcement Learning,DRL）的混合流调度方案（DRL-PLink）。DRL-PLink通过对网络中的链路进行切分,为不同类型的流建立相应的专用链路,将不同类型的流隔离开来,从而减少不同类型流之间的竞争。DRL-PLink利用深度强化学习为专用链路自适应地分配带宽资源,实现调度智能化。DRL-PLink在DDPG算法的基础上引入裁剪双Q学习来解决算法上的价值估计过高的问题,优化训练得到的调度策略。本文在Ryu+Mininet模拟数据中心网络环境下进行实验,在实际数据中心网络流量负载（Web搜索和数据挖掘负载）下的仿真结果表明,DRL-PLink在保持与p Fabric和Karuna相似的高截止期满足率（>97%）。与ECMP和p Fabric相比,DRL-PLink的平均流完成时间在数据挖掘流量分布负载中分别减少了65.6%和57.12%。（2）为了增加算法的收敛速度和克服训练中探索能力不足的缺点,本文在DDPG-裁剪双Q学习算法中引入优先级经验重放缓冲区机制和Noisy Net机制。优先级经验重放缓冲区机制旨在优化模型的输入数据,通过对缓冲区中的数据进行优先级标记,使深度神经网络模型的每次训练都学习到更优价值的数据,加速深度神经网络的学习效率。Noisy Net机制则优化模型的探索效率,通过在神经网络的权重上引入噪声参数,增加了算法探索动作的扰动性,利于模型探索最优动作。实验结果表明,改善算法后的方案在性能上比先前的方案对比,老鼠流的DMR提高了0.2%左右,而大象流的平均FCT提高了17.3%左右。同时,DRL-PLink的开销也较小,内存利用率在1.5%到1.7%之间,而CPU利用率低于1.7%。（3）为了降低流调度策略模型的复杂性,实现在边缘设备上的部署开销。本文提出了利用模仿学习的方法将复杂的深度神经网络模型进行压缩提取,设计教授模型和学生模型,然后利用DAgger算法将教授模型的策略进行提取成决策树模型。基于仿真模型的实验表明,学生模型的占用空大小比教授模型降低60%左右,老鼠流的DMR有97%左右。