航运在全球大宗商品贸易中占据着最重要的地位,80%以上的大宗商品贸易都要通过航运来进行运输。船舶自动识别系统(Automatic Identification System,简称AIS系统),每天都能产生数以亿计的航行数据。通过对于航行数据的分析,可以实时掌握各种货物的流量和流向,以及各港口泊位的变化情况。将这类信息运用于实际的商品贸易中,无疑会为用户带来巨大的经济利益。本文的内容是设计并实现基于大数据的船舶行为分析系统,并解决系统出现的研究型问题。该系统的目的是将铁矿石、煤炭、LNG等货物的航运信息进行一系列的分析,以直观,智能,便捷的方式呈现给用户,使得用户能掌握及时,客观,有效的贸易和航运信息。本文主要使用下述方式进行船舶行为的分析:1.设计并使用AIS数据预处理的算法。本文使用的船舶位置的数据量十分庞大,涉及到的船舶有几十万条,总体的AIS数据历时五年以上,条目超过了千亿。本文通过查询航运相关的资料,针对AIS原始的数据,分析其数据项是否缺失以及其合法性,设计基于Spark的分布式数据预处理算法。通过给船舶设计唯一的字段编码,综合考虑了船舶MMSI的历史变化,设计分区Partition算法,按船舶分区用Spark进行并行计算,大大提升了数据预处理的效率和精度。2.设计并优化泊位的聚类算法及确认算法。由于AIS数据量过于庞大,即使单独抽取铁矿石、煤炭、液化天然气(LNG)的船舶进行分析,也有超过10亿条的数据量;再加上聚类算法本身就比较吃计算资源,因此,如果单进程进行泊位的聚类,运算时长会是一个让人难以接受的数字(以年计)。针对这个问题,本文设计了基于Spark的分布式带权重的DBSCAN算法,用于进行不同期货货物泊位的聚类。人所共知,DBSCAN是一个基于密度的聚类算法,而AIS数据的分布在来源和地理位置分布上并不是均匀的。例如,基站数据的信号密度远远大于卫星数据;中国沿海的信号强度远远强于印度。为了解决这一问题,本文对不同地理位置分布的AIS信号采取不同的DBSCAN聚类参数阈值。同时由于在海上避风等也会产生静态数据的情况,以及考虑到世界上的港口分布情况,本文设计并优化了对泊位进行确认的算法,来对可靠性高的泊位进行确认。3.设计并完善获取船舶航次的算法。航次,是指船舶在营运中完成一次运输生产任务的周期。在实际工作中,一般从船舶在出发港装(卸)货完完毕时起,驶至目的港卸(装)货完毕时止作为一个航次,称为满(空)载航次。对于期货商品贸易的分析,依赖于船舶的运力,而运力的统计则与航次的划分息息相关。本文利用进行过预处理的AIS数据,设计并完善船舶航次抽取算法,先进行船舶航行过程中的停泊点抽取,进而合并停泊点信息获得停泊流水,再获取航次。4.设计并优化船舶航次预测及检验的算法。目前已有的船舶航行轨迹预测算法,大多都是针对近港的航次,无法做到对海上航行航次的准确预测。本文基于上述的航次抽取算法,利用道格拉斯-普克算法抽取航段,综合利用当前AIS数据信息和历史航行轨迹,设计船舶航次的预测算法;同时设计了预测航次的检验算法,来不断对预测航次的算法准确度进行优化,来实现各期货贸易商品船舶航次的准确预测。以上述四部分的算法为中心,设计并实现了下述船舶行为分析系统的功能点:1.数据存储设计:按数据量级及使用场景,区分了存储AIS原始数据的HBase数据库的设计,以及存储爬虫数据及分析结果数据的MySQL数据库的设计。2.数据研发架构设计:基于航运业务的需求,设计并实现了 AIS数据预处理、泊位聚类及确认、船舶航次抽取、船舶实时航次预测等功能模块。