互联网的发展产生了大量数据,基于大数据的数据分析和数据挖掘技术逐渐发展。传统的数据数据量小,数据格式单一,一般采用单台服务器进行数据的挖掘或计算。而随着互联网数据量的和数据格式的迅速增多,传统数据处理系统并不能高效快速针对多种数据进行处理,缺乏一个较为通用的分布式数据处理平台。因此如何设计一个针对不同的数据格式进行海量数据处理并包含计算和存储功能的基础分布式数据处理平台成为一个值得研究的问题。本文设计了一个基于图计算的分布式海量数据计算平台,能够针对包含图数据在内的多种格式的数据进行分布式计算和存储,能完成用户自定义的多种数据和任务的抽象和处理,完成任务解析,任务执行,任务调度,数据存储等功能。主要工作如下:(1)设计并实现了分布式并行海量数据处理平台,GraphMaster节点负责系统任务调度和资源管理,GraphSlave执行节点和GraphWorker计算节点负责任务执行和资源统计。(2)设计了一种分布式系统的控制信息数据管理模型,通过用户自定义编写的动态链接库和图数据执行流拓扑结构文件定义整个图计算过程,将具体的业务代码和计算平台系统解耦,实现数据处理平台通用化。设计一致性哈希磁盘存储协议模型为系统提供一个高效通用的分布式存储引擎。设计主备节点一致性协议提高系统GraphMaster节点可靠性。(3)设计了一种资源分配调度算法模型,该模型包含系统初始化资源感知调度算法,系统运行中资源重新配置调度算法以及系统灾备调度算法等重要调度算法。该算法模型能根据系统硬件资源使用情况进行任务动态调度,检测系统服务器或任务执行异常并进行系统灾备调度。(4)对整个分布式系统进行系统搭建和测试,对整个系统所有关键模块进行功能测试和性能测试,并对测试结果进行详细分析。本文提供了一个包含图数据在内的通用的多种类型数据分布式处理平台,具有容错性能好,资源调度合理,网络吞吐量大和通用性强等特点,为多种类型海量数据的计算和存储提供了一种设计方案和解决思路。