云计算技术使中小型企业不必组建自己的数据中心,采用“用时付费”的方式,也能获取需要的计算和存储服务。云计算系统背后是强大的并行计算和分布式存储技术。Map-Reduce是现有的云系统采用的并行编程模型和调度方式,在异构环境下,传统的Map-Reduce调度器效率低下,浪费系统资源,任务响应时间长,吞吐率低。本文首先简要地介绍了云计算的定义、发展、应用场景、核心技术、以及改进的Map-Reduce调度器:LATE调度器。本文的主要工作是:提出了自适应的Map-Reduce调度方式,针对传统Map-Reduce调度方式和LATE调度器的缺点和不足,提出了改进方法。即通过历史信息动态调整Map和Reduce任务各阶段的时间比例。并将节点进一步分类,从而能够在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源。本文分析了提出的改进方式的理论基础,以及其他调度方式缺点。另外,通过具体实验,验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间。论文的创新性在于:(1)首次将历史信息引入到Map-Reduce调度器中,综合历史信息动态调整Map和Reduce任务各阶段的时间比例。(2)考虑Map任务的两阶段特性。(3)将在LATE调度器中提出的慢节点进一步分为Map慢的节点和Reduce慢的节点。(4)每个节点独自地收集运行任务的运行信息,并更新历史信息。