Hadoop集群作为云计算、大数据技术的处理平台被广泛的应用于各种各样的领域,Hadoop集群无论在商用或是科学研究方面都具有重要的价值。Hadoop集群可以由若干台服务器构成不同的规模,以达到其低成本高性能的目的。但是,服务器节点机在连续长时间执行任务的过程中,会出现节点失效、网络阻塞、任务异常和任务执行时间过长等集群故障。集群故障会对集群造成不同程度的冲击与损害,造成故障概率频繁、集群利用率不合理、性能下降甚至集群寿命降低等现象。本文从降低集群故障的角度,提出了一种基于马尔可夫过程的Hadoop集群性能预估优化模型POH(Prediction Optimization Hadoop)。针对开源Hadoop集群连续执行任务后节点机器易发故障现象,采取提前预估集群故障状态,根据集群故障趋势及时做出优化调整的策略。通过预判信息库收集节点有效信息,利用Markov链预估Hadoop集群性能。按照预估结果从集群的任务并行度、HDFS数据块复制数和Name Node备份周期三个角度对Hadoop集群进行优化调整。经实验结果对比表明,采用POH综合算法进行优化后,节点任务执行时间超长现象明显降低,故障次数大大减少。在相同任务量下,由于POH模型的任务平均读写速度得到提升,集群的平均资源利用率高于开源Hadoop集群;集群故障时间和总任务执行时间均明显减少,也使得Hadoop集群拥有较高的高可用性。优秀的Hadoop集群应该拥有更加持久的集群平均寿命。因此,集群平均寿命可以作为Hadoop集群性能的重要评价标准。本文针对该问题提出了一种基于Poisson过程的Hadoop集群平均寿命预测方法。通过预测计算,及时对集群进行调整优化,使系统性能保持在正常状态。同时在三种不同特征类型的Hadoop集群的实验中观察集群在任务执行过程中平均寿命的变化。实验结果表明,该方法能有效地判断Hadoop集群故障发生的频率,预测出集群的平均寿命,对集群性能优劣进行评价。其预测结果也可以作为Hadoop集群性能参数深度优化调整的有力根据。