云计算的出现给信息行业带来了一场前所未有的技术革命,Hadoop集成了云技术的多种内容,成为一个综合性的云计算服务平台,展现了可伸展性、容错性和高效率的特点。不断扩大的Hadoop应用领域提高了人们对Hadoop的性能要求。研究人员在分析Hadoop系统的实现框架、工作机制的基础上,从数据存储策略、调度算法、参数配置等多方面提出了性能优化措施。本文从配置参数、调度算法两方面进行优化策略研究,力求提高Hadoop集群的整体性能。Map Reduce、HDFS两个组件,共同组成了Hadoop,此两个组件的参数配置,对于集群性能来说,可以产生较大的作用。Hadoop平台上运行的作业类型很多,需要根据实际情况给出不同的参数配置方案,才能取得良好的运行效果。本文的研究重点是基于HDFS和Map Reduce的配置参数对高I/O负载和高CPU负载作业的影响,提出相应的优化方法。为了解决HDFS的参数最优问题,将模拟退火方法、遗传算法相结合,提出遗传模拟退火算法,确保遗传算法在全局空间中能够找到最优解。使用遗传模拟退火算法可以为高I/O负载作业选择合适的配置参数,提高作业的执行速度。实验表明,本文提出的基于遗传模拟退火算法的HDFS参数优化方法有效减少了作业的完成时间,为高I/O负载作业在Hadoop集群中的高效执行奠定了基础。针对Map Reduce的参数优化,基于传统PCM算法性能差、对初始矩阵值敏感的问题,本文对粒子群初始化方法进行改进,提出PSO-PCM算法。利用进化状态判定法来优化适应度值,提出双粒子群算法,通过每次迭代后改变聚类中心的值,生成多个聚类结果。最后,将提出的PSO–PCM算法应用于Map Reduce参数优化,通过实验证明基于PSO–PCM算法的Map Reduce参数优化方法能够提高高CPU负载作业在Hadoop集群中的执行效率。大量的研究表明,蜂群算法实现Hadoop作业调度时,比传统的先进先出调度、公平调度、计算能力调度策略具有明显优势,有效解决了云计算系统中的任务调度时间问题。由于蜂群算法具有早熟、收敛缓慢的特点,所以本文提出了一种改进的蜂群算法,将蜂群算法与K-means算法结合起来,提出K-means蜂群算法。实验证明,使用K-means蜂群算法实现作业调度,在减少作业完成时间、均衡负载等层面,体现出的优势较为明显。为了优化Hadoop任务调度中集中式批处理调度模型的任务超时率、系统能耗和自适应能力,本文提出了一种基于分层负载均衡算法的Hadoop任务调度模型。根据服务器的功能类型和性能,将调度系统划分为多个调度层。然后,通过使用最简单的调度策略来优化系统能耗,尽可能减少调度时间。实验证明,与基于模拟退火算法的Hadoop任务调度模型相比,基于分层负载均衡算法的Hadoop任务调度模型在负载均衡、任务超时率、系统能耗和自适应能力等方面具有更好的性能。