水上交通数据来源复杂多样,不仅体量极大而且数据结构复杂,因此数据处理过程较为复杂、效率以及自动化程度较低已经成为了当前水上交通信息研究的几大痛点。本文主要是研究如何提高水上交通数据的处理性能,并且在复杂多样的数据结构下能够灵活、多维、准确地对数据进行分析统计,并采用可视化的形式展示数据分析统计的结果,帮助水上交通信息研究人员做出更好的决策。水上交通数据来源主要分为设备采集的AIS数据以及各水上交通单位提报的业务数据,因此本文针对这两大类数据来源制定了不同的处理方案,分别处理后在系统中进行统一的分析展示。研究工作主要有以下几点:1.针对设备自动采集的AIS结构化实时数据的分析工作:采用Scala语言对数据进行解析预处理后,使用非关系型文档数据库Hbase进行数据的存储,本文重点研究了断面维度的船舶流量统计算法,使用该算法结合基于Hadoop分布式系统的spark计算引擎对预处理的AIS数据进行计算,最终将计算结果存储到关系型数据库中,并且在系统中实现地图形式的可视化展示。2.针对关系型数据的分析工作:由于不同交通单位提报的数据结构差异较大、复杂多变而且最终需要进行联合统计分析,因此对业务数据使用关系型数据库SqlServer进行存储。面对数据结构差距较大的情况,本文采用了元数据引擎作为数据的访问入口,对数据进行整体驱动。同时对海量历史数据以及AIS数据计算得来的断面数据进行多维分析,达成了数据的全面、快速、可视化的分析统计要求。3.在上述两种数据处理方案的基础上,结合调研所得到的需求进行分析,设计了数据管理、数据处理、规则管理以及数据分析统计等模块,最终实现了基于B/S架构的数据处理分析系统。因此,本文所研究的大数据环境下的水上交通数据分析系统可以更加高效、准确地获取交通信息,满足了水上交通信息研究人员对于数据分析全面、快速、多维的要求。