随着云计算的飞速发展,大规模动态虚拟机调度的重要性日益提高。云服务提供商购买大量物理主机服务器,建立数据中心,再将服务器的计算资源用创建虚拟机的形式分割出租并从中获利。设计一个优秀的动态虚拟机调度系统可以为云服务提供商节省大量成本支出,因而成为了近年来的研究热点。在动态虚拟机调度过程中,最困难的问题在于其随机性,即创建请求和删除请求通常是不定期地随机出现的。现有的调度算法通常将动态虚拟机调度问题建模成动态矢量装箱问题,但没有明确考虑使用非统一内存访问架构的服务器体系结构。事实上,为了可以提供更大规格的虚拟机,非统一内存访问架构的服务器已被云服务提供商所广泛使用。这一特殊的主机架构带来了新的虚拟机调度机制,从而为虚拟机调度问题带来新的挑战,亟需新的调度系统进行解决。此外,现有的动态调度算法存在求解效率不足、仅基于局部信息、容易陷入局部最优、无法利用历史数据等问题。针对上述研究现状及存在的问题,本文工作如下:1、对基于非统一内存访问架构的动态虚拟机调度问题进行形式化建模。现有工作均未涉及到非统一内存访问架构,因而该问题尚未有明确的数学表达形式。本论文对该问题的逻辑进行梳理,使用形式化的方式,将其表述为带约束的组合优化问题,以对其进行建模。2、提出了一种基于深度Q网络的单智能体动态虚拟机调度算法。事实上,直接求解所提出的带约束的组合优化问题具有十分大的难度。本论文从单智能体视角出发,将其重构为马尔可夫过程,并提出了基于双深度Q网络的强化学习调度算法Sched RL进行近似求解。考虑到朴素建模中会存在稀疏奖励带来的低效率采样问题,本论文针对性地设计了特殊的差值奖励函数及场景驱动的高效采样机制。3、提出了一种基于值分解网络的多智能体动态虚拟机调度算法。随着问题规模的上升,使用单智能体的方法会导致状态空间与动作空间爆炸的问题。因而进一步地,本论文再次从多智能体的角度出发,对原问题进行马尔可夫过程重构,并提出了基于值分解网络的强化学习调度算法Sched MARL进行近似求解。在此过程中,同样使用了特殊奖励函数及高效采样机制。为了训练与合理评估本论文所提出的算法,本论文对基于非统一内存访问架构的动态虚拟机调度过程进行了仿真系统开发,并设计了仅创建场景与普通场景两种实验方式。在两种不同的场景下,本论文在微软云的公共数据集上对提出的算法进行了评估,包括基线测试、奖励函数研究、及采样策略消融实验。Sched RL与传统的贪心算法相比,在两种场景下均性能更佳。Sched MARL在仅创建场景下能获得更快的收敛速度,但不适用于普通场景。奖励函数研究展示了本文所提出的差值奖励函数的优越性。采样策略消融实验则启发了采样参数的设计思路。