【摘 要】
:
数据挖掘作为当今各大企业和研究机构的一个主要的热门领域,正在飞速发展着,而海量数据的存取服务问题属于数据挖掘众多热门的研究分支之一。对于数据管理人员来说,大数据的
论文部分内容阅读
数据挖掘作为当今各大企业和研究机构的一个主要的热门领域,正在飞速发展着,而海量数据的存取服务问题属于数据挖掘众多热门的研究分支之一。对于数据管理人员来说,大数据的处理是分为数据存储和数据分析两个方面。对于大数据存储管理和分析,业内一致的焦点都放在了怎么样才能高效地处理海量数据,同时兼顾安全性、可靠性、一致性和完整性。分布式数据存储管理系统作为海量数据存储管理系统的新贵,自然受到了多方关注研究。但作为一个海量数据处理领域的空间信息数据的存储处理,分布式数据存储管理系统的应用研究到现在还算是一个比较新的研究课题。因此本文主要以航运信息管理数据的存储、计算以及服务流程为代表来分析了三种分布式存储管理系统。同时重点介绍了以Google Bigtable为蓝本的开源分布式数据库Hypertable以及Google相关技术组件。同时也介绍了业内争议不休的行存储模式和列存储模式,并最终选取了行存储模式设计了航运信息管理系统中的港口监控部分。并针对行存储模式中关于读取数据效率不高的问题,将航运信息管理系统查询数据频繁的部分设计分割出来。最终确定了以Hypertable+MySQL+SQLite为最终存储方案。本文的主要工作如下:1)分布式数据存储系统技术架构分析研究,其中文件系统以Google File System,分布式锁服务以Chubby为例做了深入的研究分析和介绍。2)分析比较了行存储模式和列存储模式的优缺点。3)针对AIS数据的特点以及航运系统管理平台的需求设计了数据存储管理流程以及计算处理流程。针对具体的服务特点设计了较为适合的数据存储服务方案。
其他文献
低压电器是工业、农业及家庭等用电部门中不可或缺的电器元件和设备。近年来,低压电器的发展非常迅速,同时,智能电网的建设也给它提供了一个发展契机。在低压电器在运行时,其现场参量反映了电器的当前状态,采集现场参量并进行分析,对及时发现故障、电网维护和用电安全有很大的帮助。目前现场参量采集大都采用有线传输,在一些环境复杂不方便布线的用电场所,给现场参量采集的布线带来了困难。本文设计研究基于ZigBee无线
该文的目的是研究一种通用操作系统中检查点系统的设计方法,并基于该设计在Linux中实现一个原型系统,然后在该原型之上进一步改进和完善系统,将它作为并行检查点系统的低层支
在日常工作和生活中,大量信息是用图的形式来表现的。人们常常指着图上的某个对象询问其名称或属性,针对图上某个对象到正文中查阅有关的段落,或是针对正文中的某个词语到图中查
本文首先介绍了课题来源、背景,由于数据文件在各系统中的格式不同,不同数据库中的存贮格式不同,而常常需要对系统中的各种数据提供一个统一管理界面,从而引出了数据库和程序语言
人脸图象识别是当前模式识别和人工智能领域的一个研究热点,该文通过研究分析国内外在人脸图象识别方面的研究情况,探讨了基于代数特征抽取的人脸图象识别方法.该文的出发点
该文介绍了Java语言功能特点及其发展前景,并且简单介绍了Java的内核——虚拟机.文章还分析了当前Java发展的趋势以及嵌入式系统领域对Java潜在需求.
该文主要研究了极指数栅格视觉在测距中的应用.获取空间三维场景的距离信息是计算机视觉中最基础的内容,双目视觉(立体视觉)是计算机视觉测距方法中最重要的距离感知技术.在
该文针对原有的计算机信息系统中异构数据库系统并存的现实状况,提出了构建一个异构数据库上网集成平台,用来集成异构数据库中的数据,把它们方便地送到互连网上.该文详细地比
随着网络技术的发展,人们在享受网络开放性带来便利的同时也受到网络安全问题的威胁.身份认证是网络安全的第一步,传统的认证有两种方式:对称密码体制和非对称密码体制,二者
该论文将从理论上和实践上介绍了一种完全不同于传统压缩技术的压缩思想:基于演经算法和分形理论的黑白图像压缩方法.分形图像压缩的本质是由于现实图像中人有高度的自相似自