云计算是一种新的网络技术。从广义上说,云计算是与信息技术、软件和互联网相关的一种服务。得益于虚拟化功能,云数据中心正加速成为一种新的IT资源供应方式。云环境的动态性与复杂性对任务调度策略提出了要求,既要保证服务质量,也要实现云数据中心的低能耗。关于节能与负载均衡的任务调度问题在一般情况下是NP完全问题,鉴于其NP复杂性,仍然需要进一步深入探索。本文重点关注并研究了云数据中心的任务完成时间调度问题,针对总能耗优化和特定场景Spark中的负载均衡进行了深入研究,论文的主要研究工作及成果如下:（1）研究了云数据中心的资源节能调度问题。合理地调度虚拟机任务可以提高任务的执行效率,缩短任务的执行时间,从而减小运行服务器的数量以降低系统总能耗。本文将任务调度问题抽象为虚拟机部署问题,主要关注CPU密集型任务,目的是在满足物理机总容量及运行时间限制的情况下对虚拟机请求进行非抢占式调度以便最小化所有物理机的总能耗（Minimize total energy,Min TE）。针对此问题,论文首先研究了云数据中心的能耗模型,针对任务容量配置可划分（SDC）的特殊情形,从理论上分析了在该条件下物理机总能耗的最优解（下限）。然后针对任务容量配置不可分割的一般情形,提出了一种自适应的节能调度算法SAVE,该方法基于本地信息,利用概率函数对虚拟机的分配和迁移进行决策并能保证充分使用服务器上的可用资源。最后,将SAVE算法应用于仿真和真实环境并将其与DRS和eco Cloud两个调度算法相比,测试结果表明,SAVE算法实现了显著的节能,在仿真环境中相对于两个业界较优算法而言SAVE算法平均节能29.32%,17.76%,并且在真实场景中,SAVE算法比DRS算法节能1.53%。（2）研究了云数据中心的任务完成时间优化调度问题。本文提出了一种基于深度强化学习的解决方案称为Deep RM＿Online,通过设置不同的奖励函数以有效地解决调度目标不同的云资源管理问题。该方法首先可视化数据中心的资源使用状态,利用卷积神经网络（Convolutional Neural Networks,CNN）来获取资源管理模型。随后根据事先设定好的专家策略利用模仿学习来减小强化学习的探索步数以缩短最优策略的训练时间。最后进行深度强化学习过程,根据不同的调度目标设定不同的奖励函数,利用强化学习的策略梯度算法（Policy Gradient,PG）求解优化策略。本文设置了两个调度目标并将Deep RM＿Online与启发式算法和深度强化学习算法Deep RM进行对比测试,实验结果说明Deep RM＿Online和Deep RM在两个调度目标上均优于启发式算法,并且Deep RM＿Online与Deep RM相比,在收敛速度方面提升了37.5%,并将任务的延时参数和平均周转时间分别减少了51.85%和11.51%。（3）研究了Spark平台的任务总完工时间优化问题。Spark计算引擎解决了传统Map Reduce编程框架在迭代计算中由于频繁读写驻留磁盘的Map任务输出所引入的性能损耗,但由于源数据的不均匀分布和自带分区算法的不均衡划分方式,数据倾斜现象在Spark中依旧非常突出,导致应用程序总完工时间较大。为此,针对Spark平台在Reduce过程出现的数据倾斜现象,本文提出了一种名为Resplit Reduce的算法对数据进行均匀划分并分配。该算法首先将整群抽样算法应用在Map任务输出的中间数据进行其键值分布情况的预估。其次,改进Spark默认分区函数,使得数据能被均匀地划分为多个分区,促使Reduce阶段的负载均衡,从而更加充分地利用集群资源。同时算法还考虑了集群的异构情况,根据各Executor之间计算能力的不同,Resplit Reduce采用贪心策略将每个任务分配给拥有最高性能因子的Executor。最后,在Spark独立异构集群上,通过Word Count、Sort以及Pagerank基准测试将Resplit Reduce与基准算法进行了比较分析。实验结果表明,本论文所提出的算法在三种基准测试集上平均减少总完工时间47.76%、32.13%、14.47%,在集群的平均资源利用率指标上平均提高了19.67%、30.5%、37.03%。