基于多源异构的海洋要素数据服务平台研究与实现

来源 :桂林理工大学 | 被引量 : 0次 | 上传用户:wangpeng532
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着计算机科学与大数据技术的不断发展,人类社会逐渐迈入数据科学迅猛发展的新时代。在这一时代背景下,基于大数据技术的海洋数据科学能够实现对现有资源的整合和再利用,提高行业运行效率,挖掘产业巨大潜力。但是海洋环境要素数据多源异构的特性使其很难实现有效组织和管理,传统海洋要素数据共享方式也存在可视化度较低、用户交互方式单一等问题,无法充分发挥数据所包含的经济与社会价值,极大地影响了远洋渔业等海洋数据相关产业的发展。本文针对异构海洋要素数据的特点,结合现有的数据集成技术,提出一种基于ETL(Extract-Transform-Load)的海洋要素数据集成方案,并对预处理过程中的异常数据检测算法进行分析和改进,实现了基于Web GIS技术的海洋要素数据可视化服务。本文的主要工作如下:(1)针对海洋环境要素异构数据源做了详细的分析,设计了一种兼容性强的数据标准,提出一种多源异构海洋环境要素数据集成服务方案。基于数据集成的需求设计实现了异构海洋要素数据集成模块,可以通过统一的数据访问接口完成数据采集、转换、上报作业的工作。此外,通过后台管理模块的Web界面实现对数据集成任务、基础元数据、映射元数据、ETL元数据的实时监控和管理。模块通过源数据结构与数据标准结构的映射实现不同数据源于目标数据间的统一格式转换。最后利用图像重采样算法对海洋要素数据集成的结果做了验证。(2)传统异常数据检测算法存在对全局孤立点不敏感,最佳初始聚类中心不易选择等缺陷,无法适应海洋要素数据量日益剧增的特点。为了提高算法对海洋要素数据异常点检测的效率,首先使用自适应步长因子以及禁忌表对狼群算法作出改进,然后使用改进后的狼群算法选择出最优的初始聚类中心,从而改进K-means算法的性能。经过实验证明,改进后的算法能够更好地对海洋要素数据集进行处理,在异常点检测的全面性上有了较大提高。(3)通过对系统的实际需求分析,结合数据服务平台的基础架构研究,设计并实现了基于多源异构的海洋要素数据服务平台,平台基于JAVA语言以及Web GIS、Redis、Spring Boot等技术开发,包括海洋要素数据集成模块、海洋数据后管模块(后台管理模块)、海洋要素展示模块。实现了多源异构海洋要素数据集成、数据集成任务管理、海洋环境要素数据可视化研究,满足了不同用户的实际业务需求。
其他文献
探究电离层延迟误差的产生,为GNSS信号处理和短期的震前探测提供理论和数据依据,是提升GNSS定位导航精度的一种重要方法。本文基于经典经验模态分解、排列熵、向量机与长短时神经网络的相关理论对中国地区2013年全年电离层变化以及震区短时异常构建模型,进行了全面分析与测算,并从时空维度分析了电离层变化规律性与异质性进程,主要对如下内容进行了分析总结:(1)详细介绍了电离层产品的详细内容,并利用IGS国
云计算作为新时代的技术产物,具备大容量存储以及高性能计算的特点,允许用户通过互联网设备随时随地进行数据操作,极大地减轻了用户的存储和计算压力。因此,外包数据到云服务器成为当今时代一大热潮。在云环境中,由于实现对明文数据的搜索会带来隐私担忧,因此数据须在外包之前进行加密处理,这使得传统的基于明文检索方法变得不可行。尽管现有的隐私保护多关键字搜索方案在可搜索加密技术上做了许多研究,但是由于计算复杂度很
随着计算机技术和分布式计算的快速发展,云计算作为一种成熟的技术被广泛应用于生活的各个领域。云计算强大的资源存储能力和计算能力为个人和企业带来了极大的便利,但也吸引了更多的黑客。黑客的攻击会对云计算平台的安全性和可用性造成损害,同时也会损害云计算平台用户的利益,因此,加强云计算平台的安全防护,确保用户数据不被窃取或恶意破坏,成为当下的研究重点。目前有许多保障云计算平台安全的手段,其中入侵检测技术备受
随着互联网+的提出,人工智能时代的到来,互联网中产生了越来越多的数据,这些数据就像待开发的宝藏,挖掘得当可以为从业者带来巨大收益。大数据挖掘技术也日益成为计算机学科的研究重点,这其中最热门的研究方向之一就是推荐算法的优化研究,目前各大app,如抖音、淘宝等的推荐技术保证了其app的客户忠诚度。针对物品推荐领域,先前研究人员已经做了大量工作,比如基础算法的提出,但是算法总有缺陷,该领域的数据稀疏性、
制造业作为我国实体经济的重要产业,面对经济与科技发展所提出的新常态要求,将信息转化成数据,通过互联网共享并实现媒体感知功能作为转型升级的发展方向已是必然趋势。为打破“制造孤岛”的现象,提升制造资源利用效率,结合云计算强大的数据处理能力和物联网等信息技术构建出云制造这一新兴制造模式。云制造使得用户能够随时随地按需获取制造全生命周期的服务,实现了资源高度共享,服务增值增效,是推动中国从制造大国迈向制造
行人检测技术是计算机视觉领域研究的热点,多光谱行人检测技术是行人检测中令研究者们较为关注的问题,在辅助驾驶、智能监控、机器人等领域具有广泛的应用和发展前景。多光谱行人检测技术是融合可见光与热红外图像的行人检测技术,目的是为了能够同时聚合可见光图像与热红外图像的特征,提高行人检测器的检测准确度和降低漏检率。可见光行人器在光线昏暗、雨雪天气存在图像成像效果较差的问题,热红外图像行人检测器存在纹理细节少
移动视频监控技术的出现极大的提高了视频监控的实时性、便捷性,该技术应用十分广泛。以智能手机实现的移动视频监控作为典型应用场景,仍存在很多问题。如监控场景数量较多而手机屏幕较小,导致无法清晰、全面的监视每一个场景,需要通过不断的手动切换监控画面的方式来达到对每一个场景的监控;在进行多画面监控时监控人员需要将精力分散到每一个监控画面上,没有监控的重心,无法实时、快速的捕获监控场景中出现的突发事件,导致
背景减除技术是视频监控领域的重要技术之一,其从视频中减去背景,从而提取运动前景。近年来,鲁棒主成分分析(Robust Principal Component Analysis,RPCA)在背景减除领域得到了较好的发展,因此,本文在RPCA的基础上进行研究,同时对推广到高维RPCA的背景减除算法进行探讨,成果如下:(1)提出了一种基于对数秩函数与结构稀疏的背景减除模型。该模型利用分割和索引树动态处理
目前,人脸识别技术已经成为人工智能领域应用最广泛的特征识别方式之一,因其普适性而受到社会的广泛关注。而随着深度学习的发展以及各种高性能计算设备的出现,使得人脸识别技术应用于各式各样的设备成为了可能。手持稳定器作为一种最早起源于无人机航拍的辅助摄像工具,目前已经广泛应用到我们日常生活的辅助拍摄过程中。本文将Improved-YOLOv3-tiny人脸识别网络模型应用到手持稳定器中,并利用该模型应用到
现如今在科学技术的发展下,各国尤其是发达国家对海洋事业领域的重视日渐明显,海洋信息化可能会成为新的科技革命。我国的经济实力日渐雄厚,但由于我国科学技术的发展方面起步较晚,很多技术还不够成熟,为了早日实现海洋强国战略,我国目前正加大对海洋资源、海洋信息数据、海洋科技上的投入力度。要发展海洋科技,就需要有效地利用好海洋数据资源,但由于海洋数据多源异构的特点,要做到百分百的利用几乎是不太现实的事情,在对