随着互联网信息的快速发展,互联网中产生了大量的数据。如何快速、有效的从这些数据中清洗、挖掘出有价值的信息已成为现代社会的迫切需求。在此背景下,各种大数据处理平台应运而生。Hadoop的出现使人们关注到MapReduce这一计算模式,Spark通过引入RDD的数据模型和基于内存的优势,能够更好的处理大数据,并且在迭代计算方面也优于Hadoop。用户使用Spark时,需要学习Spark相关的专业知识。同时,有的企业在Spark集群硬件资源方面存在差异,集群异构性比较明显,而Spark默认的两种任务调度算法未考虑异构Spark集群下节点的能力差异。因此,论文提出并实现了一个基于Spark的大数据处理可视化工具,采用B/S的设计模式,并提出了 Spark的异构任务调度算法。论文的研究工作包含两个部分:(1)提出了一种基于Spark大数据处理的可视化工具,将数据处理流程化,设计和实现了基于Web的数据处理的流程,用户通过拖拽图片来创建数据处理的逻辑过程,包括数据源的定义、数据处理的计算算子或者Spark SQL语句、数据结果的存储,完成数据处理的流程设计。同时,针对Web上生成的流程文件,设计和实现了基于Spark的计算引擎Jar包,用来解析该文件。(2)提出了 Spark的异构集群任务调度算法,考虑到Spark集群的异构性,将Spark任务和节点抽象为一个二分图,根据任务和节点的延迟参考匈牙利的二分图算法,实现Spark的异构集群任务调度。论文对基于Spark的大数据处理可视化工具进行了实验,对系统从功能、性能和算法有效性等方面进行了相关测试。结果表明,论文提出的基于Spark的大数据处理可视化工具能够满足用户的基本需求。