非结构化数据通用管理平台MyBUD存储管理器的设计与实现

来源 :中国人民大学 | 被引量 : 0次 | 上传用户:chenpeixin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的飞速发展和企业信息数量规模的日益增大,当前的数据在规模和组成类型上都发生了巨大变化,一个显著的特点是非结构化数据所占比重日益增加。传统的结构化数据管理策略和数据处理技术已经不能很好的应对非结构化数据管理领域的需求。学术界和产业界提出多种针对非结构化数据的管理框架以及存储方法,一些数据库产品也添加了支持非结构化数据处理的功能,然而尚无基于关系数据库的非结构化数据统一管理标准。  BUD参考模型是一个管理非结构化数据的体系模型,它基于自由表模型来表示和组织系统内的非结构化数据。作为BUD的原型实例,MyBUD系统能够对不同种类的非结构化数据进行统一管理,并通过扩展,实现对新增非结构化数据类型的管理。本文介绍了MyBUD系统中的事务性存储管理层TSM的设计与实现,TSM介于查询处理器和存储介质之间,对查询处理器提供非结构化数据的统一存取接口;对非结构化数据进行存储管理、版本维护、元数据管理以及索引管理等。本文以数据库关系的方法对TSM进行设计,系统具有良好的扩展性,首先将TSM中各种对象之间的关系通过系统表的方式进行组织,其次对外部非结构化数据类型提供了统一的注册接口。借鉴开源数据库管理系统PostgreSQL在文本对象和二进制大对象上的机制,在PostgreSQL8.3.7版本之上,实现了MyBUD1.0原型系统。以TSM为存储管理层的MyBUD1.0系统,能够完成文本对象和视频大对象上的统一存取操作、文本对象上的关键词查找和相似度匹配操作、视频对象上的截取子片段操作、视频对象上的获取关键帧操作等一系列核心操作。本文设计的MyBUD存储管理器TSM的功能,通过MyBUD1.0原型系统得到基本验证,为进一步研究基于关系数据库的非结构化数据管理提供了良好的技术支持。
其他文献
物联网(Internet of Things,IoT)是一个物理对象无缝集成接入构成的信息网络世界,包括了人、机、物构成的巨大信息通信网络。随着物联网技术和应用的迅速发展,巨量的设备广泛应
RFID (Radio Frequency Identification)射频识别技术,是一种非接触式的自动识别技术,它通过射频信号自动识别目标对象并获取相关的数据。在RFID技术构成的系统中,中间件扮演
当今即时消息的主流协议SIMPLE是基于对SIP协议的扩展,SIP协议具有灵活、简单和扩展性好等优点,并且已经成为构建即时通信系统的主流信令协议。然而传统的SIP服务是基于客户
随着软件的发展,软件的质量显得越来越重要。因此,有效的软件质量保证就成为软件工程中越来越重要的环节。而软件测试是保证软件质量的最有效的方法。根据测试过程中是否执行
近年来,随着互联网技术的迅速发展,IP多媒体系统支持的服务类型越来越多,用户可选择空间随之增大。然而,虽然服务类型的多样化和服务的大量涌现很大程度丰富了人们的生活、满
随着信息化程度不断提高,数据量的不断增大,软件产品的更新换代也成为了比较常见的现象。一些软件项目没有很好的按照软件开发模型来进行,需求的满足程度和软件的扩展能力都不是
近年来,随着时代的发展,计算机从单核变成多核,计算能力大大增强,如何高效利用多核处理器的性能优势来提高模型检测算法和工具的效率已成为模型检测领域的一个热门课题。时间自动
语义Web服务是Web服务和语义网的融合,它通过语义Web标记语言来描述Web服务的语义,使计算机可以理解Web服务,从而实现Web服务的自动发现和组合。单个Web服务功能有限,往往难
分布式拒绝服务(Distributed Denial of Service,DDoS)攻击由于其容易实施、难以防范、难以追踪等特点成为最难解决的网络安全问题之一,给网络社会带来了极大的危害。当前的DDo
企业车间生产调度MES系统可以实现生产计划编制、生产统计和设备能力等管理的一体化,达到车间生产作业的优化调度和制造资源的合理配置,从而为企业缩短制造周期、降低生产成