大数据时代,分析海量数据并从中提取出具有价值的信息受到越来越多企业的关注。海量数据分析技术蓬勃发展的趋势下,Map Reduce模型被提出并得到了广泛应用,其为科研人员和数据分析人员提供了有效地分析大数据的方法。而对于不擅长编程的用户,利用Hive这样基于类SQL语句执行Map Reduce任务的数据仓库,可以进一步降低使用Map Reduce的难度。为了获得更好的执行效率,在执行Map Reduce任务时,合理地设定运行参数至关重要。类似地,Hive也存在着许多动态可调节的性能参数。人们往往需要依经验进行参数的设定,这给数据分析人员增加了额外的工作。若能让这一过程对用户透明化,让用户更关注业务本身,这将显著地提高数据分析的生产力。本课题提出了基于工作流相似性的办法来自动化地设定最优的Hive任务参数,解决基于经验设置参数而导致的性能问题,提升集群效率。课题中第一部分依据Hive任务的执行计划将任务抽象并转化为由许多基本操作所构成的多叉树。接着使用编辑距离计算任务之间的结构相似性,并结合与操作相关的元数据信息计算任务之间的数据相似性,最终定量地计算出任务之间的相似度。在此基础上,第二部分中基于任务的相似性将任务进行聚类,对于每一个类别的任务分别构建参数与执行时间的回归模型。第三部分中,依据得到的最佳回归模型,在有限的参数空间内进行搜索,寻找使得运行时间最少的参数解。基于相似度的任务聚类可以有效地提高优化方法的适用范围,同时加快任务积累的速度,便于更快地进行模型的构建和优化参数的搜寻。通过实验,相似度度量方法成功地定量分析了不同任务之间的相似程度,并通过对比测试与交叉验证构建了最佳的回归模型。最后使用全局优化算法寻找对于某一类任务的最佳参数设定。使用此最佳参数设定进行任务运行的对比实验,最终取得了5%-15%之间的性能提升。