论文部分内容阅读
当今云计算环境下，Hadoop已经成为大数据处理的事实标准；然而云计算具有大规模、高复杂和动态性的特点，容易导致故障的发生，影响Hadoop上运行的作业；虽然Hadoop具有内置的故障检测和恢复机制，但云环境中不同节点负载大小的变化，被调度的作业仍然导致失败；针对此问题提出自响应故障感知的检测调度方法，对异构环境负载能力的不同，而做出服务器快节点和慢节点的判断，把作业分配调度到合适的节点上执行，调整任务决策来尽可能的防止任务失败的发生；最后在Hadoop框架下与基本调度器进行实验性能比较，结果显示该方法减