【摘 要】
：
随着大数据时代的到来,数据信息逐渐成为了一种举足轻重的资源。港口,作为全球运输网络的中转站,货物的流通日渐频繁,这就意味着海量数据信息的产生。这些数据信息贯穿着交易,物流,监管和支付等一系列服务流程。然而这些数据都是碎片化的,也就是所谓的信息孤岛,它们之间没有建立起相应的联系,也缺乏对数据的有效整合与运用。在这个日新月异的大数据时代,无疑是一种信息资源的浪费。因此越来越多的港口意识到数据的重要性,
论文部分内容阅读
随着大数据时代的到来,数据信息逐渐成为了一种举足轻重的资源。港口,作为全球运输网络的中转站,货物的流通日渐频繁,这就意味着海量数据信息的产生。这些数据信息贯穿着交易,物流,监管和支付等一系列服务流程。然而这些数据都是碎片化的,也就是所谓的信息孤岛,它们之间没有建立起相应的联系,也缺乏对数据的有效整合与运用。在这个日新月异的大数据时代,无疑是一种信息资源的浪费。因此越来越多的港口意识到数据的重要性,纷纷向智慧化,数据化港口转型。希望通过海量的数据分析,引导船舶进行更为合理有序的停靠,缓解停泊压力。也希望通过大量的数据对港口吞吐量进行预测,从而对港口装卸货物进行合理调度分配,增强港口运营效率,进一步提高我国港口在国际航运中的核心竞争力。从港口数据仓库建模,港口数据仓库架构设计,港口数据仓库应用三个方面入手,研究利用大数据平台搭建港口数据仓库,并测试港口数据传输过程。1.港口数据仓库建模:以港口的业务和数据仓库的需求为目标,搭建港口数据仓库。按照港口不同的业务部门,根据实际应用建立不同的数据主题和数据纬度表,明确数据颗粒度。2.港口数据仓库架构设计:对于此次港口数据仓库的搭建,在数据采集方面,使用Kafka,Flume和Sqoop传输框架;数据存储采用Hadoop版本下的HDFS分布式存储结构;对于数据的计算框架,选择Hive作为离线数据的计算框架;最后使用E-chart进行数据呈现。3.港口数据仓库应用:建立一个港口数据仓库的可视化KPI分析系统,利用数据采集技术,批量计算处理技术,分布式存储结构技术将这些系统中的孤岛数据进行关联分析。根据业务需求的KPI指标进行模型设计,将需要的数据进行抽取,清洗,转化,挖掘,并使用可视化技术展示,为港口的判断与决策提供科学的参考依据。
其他文献
我国江浙沿海地区多次发生超过海堤设计标准的台风灾害,使海堤因波浪越顶发生越浪而造成其严重破坏。海堤作为海岸防护的工程结构,是抵御极端波浪和风暴潮灾害十分重要的屏障,但海堤设计使其完全不发生越浪是不符合客观现实情况的,要综合考虑海岸地基安全性及施工经济性、时效性的前提下,目前我国海堤设计标准采用允许部分越浪的解决办法。因此,在海堤建设中对允许越浪量计算成为海堤设计的必要环节。斜坡堤作为海堤中最常见的
自从2004年石墨烯被发现以来,科学家一直在二维晶体上进行深入探索。具有与石墨烯相似六角蜂巢结构的二维晶体引起了研究人员越来越多的关注。六角氮化硼（hBN）和过渡金属硫族化合物（TMD）就是其中的典型代表。石墨烯为半金属,hBN是绝缘体,TMD是半导体。此外,不同于为非极性晶体的石墨烯,hBN和TMD都是极性晶体。体材料的过渡金属硫化物在自然中储量丰富,可以通过剥离、溶解或化学气相沉积方法获得他们
21世纪以来,海洋资源被世界各国大量开发利用并用于开拓海洋产业和引领海洋经济,是海洋资源得到充分利用的新世纪。我国沿海地区也开始大规模开展围填海工程,向海洋要地。虽然围填海工程能够促进当地的经济发展,但是对于工程区域的海域环境以及生态平衡等都造成了一定的负面影响。严格管控围海填海工程,改善海洋生态环境,加强对海岸线的保护,对于我国建设海洋生态文明、可持续开发利用海洋资源有着重要的作用,因此开展围填
BaMnO4作为一种性能优异的材料,常被用在有机化学反应中做氧化剂或催化剂;同时,由于Mn O42-含有较高的氧化还原电位,BaMnO4也被用在碱性干电池领域。压力作为独立于温度和化学组分的热力学参量,为物质研究提供了新的维度。在压力作用下,物质中原子的间距会减小,晶格结构会发生转变,物理和化学性质也会发生意想不到的改变,产生常压下不存在的奇异现象,因此,压力是新物质、新理论、新概念创造的源泉。在
管道运输与铁路运输、公路运输、水运、航空运输并列为五大运输方式之一。管道运输受气候影响小,可实现全天候运输,对于流体和气体的运输有着得天独厚的优势。但天然气管道具有输送压力大、直径大、距离长、分布广等特点,也为管道的运行带来了潜在的风险。以工程施工,人为破坏等因素导致的管道的第三方破坏已成为影响天然气管道安全运行的重要风险因素。一旦天然气管道受到破坏导致管道破损,高压的气流泄漏,可能导致起火和爆炸
近年来,以“工业4.0”为背景,我国交通运输业倾向于多学科综合发展。船舶是海上交通运输的主要载体,随着计算机技术高速迭代和大数据时代的来临,智能船舶相关技术在海事领域的应用也引起了学界和商界极大的关注,人们纷纷对其开展研究。本文在国内外学者研究的基础上,针对船载设备所采集的数据多样性、复杂性、以及工作人员不能直观高效的利用和分析数据信息等问题,设计并实现了船载设备信息采集与可视化平台。在该研究中主
机舱作为船舶的“心脏”为其提供各种动力,狭小的空间集中诸多动力设备和电气装置,在能量转化和传输的过程中会产生热量。通常情况下,机舱采用通风系统进行通风换热,这一过程需要消耗大量能源且散热效果不佳,而且高温环境不利于船员身心健康,所以需要更为高效的机舱热管理。相变控温技术可以通过吸收环境中的热能,达到降低周围环境温度的目的。近年来,相变控温技术因其结构简单紧凑、控温和储热性好而被广泛应用在在建筑和交
经济增长促使海上贸易往来愈发频繁,在有限的水域范围内交通运输需求不断增加,船舶数量的增多以及船舶向大型化高速化发展,必然导致海上交通安全隐患增多。随着AIS设备的普及,在大数据飞速发展的时代背景下,对AIS数据进行处理、分析及应用成为了航运业的新挑战。结合数据可视化技术,可以充分利用船舶的动态信息特征,为主管机关快速识别海上交通态势、提髙海上运输安全提供基于理论依据的技术支撑。本文首先选用基于模糊
探索新型高能量密度材料（High Energy Density Material,HEDM）是凝聚态物理学的长期研究热点。因为氮氮单键或氮氮双键与氮氮三键之间有着很大的能量差距,所以高含能富氮化合物分解时会产生出巨大的能量,是一种重要的新型高能量密度材料。并且富氮化合物还是一种环境友好型的材料,在航天、国防和新能源等方面具有重要的发展前景,其合成研究已经成为高能密度材料的前沿领域。将高压条件、剪切
随着科学技术进步,车辆拥有了多种多样的动力燃料,新能源汽车的数目及比重逐年增加,为配合动力燃料品种转变,支持新能源汽车发展,发展油气氢电等新能源综合动力加注站是大势所趋,因此能够提供多种供能服务的综合供能站开始进入大家的视野。综合供能站作为城市的关键设施,是新能源汽车发展推广中的关键部分,如何科学进行综合供能站布局优化是急需解决的问题。本文首先概述了综合供能站布局的研究背景及研究意义,整理了国内外