在云计算快速发展的背景下,大数据技术与云平台的结合也日趋紧密。大多云服务系统的资源都具有动态性、异构性、不确定性,这些特性会降低系统资源利用率、影响任务执行效率,导致系统的服务质量低于预期。Hadoop是主流的大数据处理框架,调度算法是Hadoop框架的核心,但目前Hadoop的资源调度框架和调度算法未能很好的应用在异构资源集群。本论文探究异构云环境中资源的动态性,分析当前Hadoop的YARN资源管理框架及调度算法存在的不足,改进调度策略及算法,设计资源质量分级策略和动态评估算法。(1)提出了基于动态联合熵的资源质量分级策略JECS。该策略利用资源动态变化属性间的联合熵将资源划分为不同等级,改善现有调度算法资源调度优先级。通过JECS策略改进FAIR调度算法和Entropy4Cloud调度算法,在异构环境中进行仿真实验,结果表明该策略能够显著提升调度算法稳定性。(2)提出基于熵权法的动态评估调度算法EWS。该算法利用熵权法改进Entropy4Cloud调度算法,根据资源综合评估结果决定资源调度次序。对比EWS、FAIR和Entropy4Cloud调度算法性能,结果表明EWS在效率方面有更好的表现。结合EWS算法与JECS策略构造JE-EWS两级调度算法,在仿真工具中对比JE-EWS与EWS的性能,结果表明JE-EWS具有更高作业执行效率和稳定性。(3)改进Hadoop的YARN资源管理框架,添加资源信息采集和资源状态评估模块,并优化FAIR资源调度器。基于OpenStack平台构建异构的虚拟机集群,将改进了 YARN的Hadoop框架部署在集群中。测试结果表明,改进后的YARN框架改善了 Hadoop集群的资源利用情况,有效提高了作业任务执行效率及稳定性。