云计算是一种虚拟化计算机资源池并按需提供服务的商业计算模型,在当今万物互联数据爆炸的时代发挥着非常重要的作用。云计算平台不断为科技、教育、医疗等行业的技术提供服务,同时也在不断改变着未来技术服务的发展模式与方向。在云计算平台中,影响平台性能的因素很多而任务调度的效率是最直接最重要的因素。现在的任务调策略基本是基于Map/Reduce框架开发的,由此可见Map/Reduce下任务调度效率的高低成为制约云计算平台性能的关键因素。由于Map/Reduce框架中的节点采用并行的方式处理用户提交的任务,对于具有依赖关系的多个子任务组成的复杂任务的处理效率较低,而传统的任务调度算法没有合理考虑节点的计算能力,导致整体的任务调度效率偏低。针对上述提出的问题,若要提高Map/Reduce下任务调度的效率,需要从如何处理用户提出的复杂任务,以及充分考虑计算机节点的计算能力和节点对不同任务的处理能力作为切入点,以提高任务调度的效率和资源的使用率作为目标进行研究,其中主要内容有以下几点:第一,改进Map/Reduce框架:在Map节点前增加Work节点,并将这些Work节点用于处理复杂任务,提高Map/Reduce的兼容性。通过增加具有先后执行顺序的Work节点,对应具有依赖关系的子任务来处理复杂任务。第二,通过将复杂任务的子任务转化为AOV网,通过对AOV网进行最佳拓扑排序的方式获得子任务的执行顺序,然后根据剪枝算法得到任务调度方案,并按照子任务执行顺序依次交由Work节点进行处理,实现对复杂任务的调度。第三,采用差值矩阵算法实现对简单任务的调度分配,提高任务调度的效率。通过抽样法获得节点处理任务的预测时间,将预测时间与节点计算能力的比值,作为每个任务在每个节点的处理“时间”进行量化建模,建立任务和处理“时间”的度量矩阵,依据差值矩阵算法采用先获得局部最优解到全局最优解的方式,获得对任务进行分配的最佳方案,提高任务调度整体效率和资源使用率。最后,使用Hadoop平台对复杂任务的预处理进行实验验证,主要从任务的响应时间,任务的执行时间等方面将剪枝算法与Fair Scheduling Algorithm和Genetic Algorithm进行对比,实验表明复杂任务的预处理能明显提高对复杂任务的处理效率和任务整体调度的准确率;通过使用Cloud Sim云仿真软件对差值矩阵算法进行实验验证,从任务调度的整体效率与集群资源的使用率两个角度,将差值矩阵算法与Fair Scheduling Algorithm、Genetic Algorithm对比验证。实验结果表明,差值算法能明显提高任务调度的整体效率和集群资源使用率。