基于大数据技术的挖泥船疏浚性能评估研究

来源 :江苏科技大学 | 被引量 : 0次 | 上传用户:huangqianqian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
疏浚装备越来越发展成为大国角力,提升我国远海岛礁建设、海洋维权、港口航道、填海造陆和海洋工程建设能力的国之重器,更是贯彻落实国家“交通强国”、“海洋强国战略”和“一带一路”倡议的重要保障。疏浚装备的升级使得挖泥船疏浚作业数据呈现爆炸式地增长,存储疏浚数据所需要占用的磁盘空间越来越多。来自船载服务器与岸端船舶管理平台中存储的海量历史数据,数据量可达数TB,甚至PB,如何高效存储、提取和处理这些宝贵的疏浚数据成为了疏浚大数据分析利用需要解决的问题,目前海量的疏浚施工数据没有得到有效的分析和利用。我国作为疏浚大国,急需在疏浚大数据分析方面取得进展,为安全、高效和智能的疏浚提供支持。为此,本文提出了基于Hadoop技术的挖泥船大数据平台架构,构建了挖泥船大数据平台的采集模块、存储模块和分析模块,并在此基础上,利用Hadoop生态系统的机器学习技术Mahout对疏浚数据进行数据挖掘,并根据聚类结果进行了挖泥船疏浚性能评估。本文主要研究工作如下:(1)基于Hadoop技术对挖泥船大数据平台的架构进行了设计,完成了挖泥船大数据平台的分布式集群搭建。(2)研究了挖泥船施工作业时疏浚数据的采集过程。针对存储到岸端服务器中的疏浚数据,通过Sqoop大数据接入技术构建了挖泥船大数据平台采集模块的异源数据库历史数据采集系统,完成了疏浚大数据的采集任务。(3)基于数据仓库Hive技术和分布式数据库Hbase技术构建挖泥船大数据平台存储模块,设计实现了多维疏浚数据存储模型。通过Hive/HBase架构优化了存储模块的效率,完成了疏浚大数据的存储、查询分析任务。(4)基于机器学习技术Mahout对于经过Hive预处理提取出的疏浚工艺点进行数据挖掘,通过使用K-Means聚类算法及结合了Canopy算法的K-Means算法对于疏浚工艺点进行了聚类分析,并根据聚类结果得到的簇及工艺点分布情况进行疏浚性能评估。
其他文献
《草原组画》系列创作是以内蒙古草原风景为题材,展现内蒙古草原独特的地域性特色和审美内涵;并挖掘其丰富人文价值和精神魅力。文章分四个部分来阐述《草原组画》系列创作研究。第一部分绪论,介绍《草原组画》系列创作的缘起、背景及意义,生于草原的我,内心一直怀有描绘草原题材的强烈愿望;第二部分谈论《草原组画》系列创作的思路,在查阅书籍和观看展览的过程中,思考创作的方式,在研读画家妥木斯、朝戈的作品中汲取营养,
芳基化合物作为一类重要的有机结构,在生物医药、高分子材料、合成化学等各个领域扮演着重要的角色。其中苄位在研究中被证实具有较好的活性,对于苄位C(sp3)-H键氧化官能化的研
清真食品的发展引人注目,逐渐从西北民族地区走向全国,甚至进入国际市场,清真食品出现了前所未有的繁荣场面。但随即产生了对清真饮食习俗的不尊重,是对有清真饮食习俗的民族
目的:本研究针对冠心病心力衰竭痰瘀互结证偏痰与偏瘀组患者,对比研究心功能状况、理化指标与生活质量的差异,为冠心病心力衰竭的中医药干预治疗提供依据。方法:将120例符合纳排标准的冠心病心力衰竭痰瘀互结证患者依据中医辨证分型标准分为两组,偏瘀组与偏痰组各60例,参照纽约心功能分级,比较两组患者心功能状况、心绞痛严重程度、理化指标及生活质量差异。结果:1、两组间一般资料比较:两组患者年龄、身高、体重、B
近年来,使用发光二极管(Light-emitting Diode,LED)作为光源的可见光通信(Visible Light Communication,VLC)由于它在频谱资源、保密性及能耗方面的独特优势,迅速受到广泛关注。本文从可行性层面入手,针对室内VLC调制技术,研究基于差分混沌移位键控(Differential Chaos Shift Keying,DCSK)的室内VLC调制方案。主要工作
混沌作为自然界中普遍存在的现象,其丰富的动力学特性,特别是对初始条件微小变化的高度敏感性、不稳定性和不可预测性引起了人们广泛的关注。超混沌系统由混沌系统发展而来,
螺烯因独特的螺旋结构及螺旋手性在不对称催化、圆偏振发光和手性识别等领域获得应用。作为杂螺烯重要组成部分的噻吩螺烯,近年来已取得了长足的进展。基于分子结构决定性能
在当前经济增速下行,产业面临转型升级的情况下,为企业减负,提高企业的竞争力成为备受关注的热点话题。我国经济总量虽然十分可观,但需要转变思路,开拓视野,积累更多的经验来
由于连续流技术具有工艺安全性高、可精确控制反应条件、能方便地实现自动化控制等优点,其在有机合成中的应用越来越广泛。本文研究了在连续流系统中,以手性双噁唑啉金属配合
在互联网高速发展的今天,网络技术的提升与丰富使得越来越多的网站开始以Web应用的形式提供服务,从而导致基于Web的应用呈现倍数级的增长。而Java Script作为一种具有完备功能的语言,被广泛地应用于Web应用的前端开发之中。虽然为用户带来了诸多便利和良好的交互体验,但与此同时也给Web用户终端带来了不少威胁与风险。为了应对Java Script恶意代码所带来的网络安全问题,学术界已然提出过一些