存储系统中多维元数据在线查询方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xz376004565
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的发展导致了数据爆炸式的增长,存储系统的规模达到了EB级,文件的个数也高达几十亿个。这就使得在大规模存储系统中查找和管理文件变得异常困难,因此复杂元数据查询需求不断增长。而现有的基于层次目录树的存储系统不提供复杂元数据查询的功能,也不能够满足数据爆炸式增长的扩展。设计并实现了一个多维元数据在线查询系统,称它为RCube (R-tree based Cube)。它提供复杂元数据查询功能,并对一些复杂查询(range-sum查询和range-max查询)能够做出快速响应,这能够帮助用户和管理者更好的查找和管理文件。RCube的主要想法是把文件的多维元数据看作多维的数据立方体,对于一些复杂查询,通过对数据立方体的全部或部分预计算,节省了在线计算时间,大大缩短查询延迟。RCube采用R树来作为它的索引结构,它是一棵高度平衡的树,是一种多维的索引结构,非常适用于对文件元数据建立多维索引,能够快速的返回预计算结果,提高查询效率。针对range-sum和range-max这两种范围查询,对多维元数据立方体进行预计算,利用对元数据建立的多维索引来快速缩小查询范围,返回预计算结果并得到最终结果。RCube的更新思想是采用自底向上的更新算法,只对受到影响的分支进行更新计算,尽可能的减少计算量,提高更新效率。实验结果表明,在大规模存储系统中RCube能够很好的实现复杂元数据查询,查询迟延非常低,而且可扩展性好。对于range-sum和range-max查询,性能优于现有的采用数据库来索引元数据的方法。
其他文献
随着我国道路的发展以及汽车保有量的增加,交通需求不断增长,道路压力日趋严重。在影响道路交通运行的重要因素中,除了人、车、路因素,环境因素也是影响交通的重要因素。近几
对等网络(Peer-to-Peer,P2P)是Internet网上的覆盖网络,网络中节点彼此处于对等地位,既可作为客户机也可作为服务器,节点间借助一定搜索机制搜索资源并建立直接连接,交换共享
作为一种社会网络,科研合作网络中的实体关系就是两个作者之间合作发表一篇论文。科研合作网络的一个重要问题就是预测两个作者之间的合作发表论文的情况,在数据挖掘中,这一
网络附属存储(Network Attached Storage)和存储区域网络(Storage Area Network)是当前网络存储设备使用的主流技术。NAS主要基于以太网技术,使用TCP/IP协议簇,提供文件级数
移动代理技术在分布式系统,无线网络,电子商务等领域已经得到应用,其优点是可以让智能Agent在Internet上自主移动和执行,并完成用户指定的任务。移动代理所具有的移动性、自
在数据量以指数级增长的互联网时代,数字视频作为人们获取信息的重要途径,呈现多元化和实时性的特点。高效视频编码作为新一代编码标准,对编码结构和环路滤波等进行了改进和
NVD(Next-generation Versatile Disc)是具有自主知识产权的红光高清光盘技术,具有成本低、不受国外专利制约的优点,有很大的市场需求。NVD节目光盘的制作由NVD编著系统完成
随着经济的急速发展和通信技术的快速进步,无线视频监控系统由于其便利和高效的优点,已经成为应用和研究的热点。   本课题来源于学院与国家海洋局东海信息中心联合开发的东
学位
随着互联网上数据的增长,通用的搜索引擎无法满足不同背景用户对于不同主题查全率的需求,垂直搜索引擎能够聚焦于特定的主题,更全面地抓取和检索与主题相关的网页。垂直搜索
实时系统的能耗问题一直是研究的热点。节能可以通过软件和硬件的手段来实现。到目前为止,大部分的软件节能都是基于动态电压调整DVS(Dynamic Voltage Scaled)。不过,最近的