基于元数据关联特征的分布式查询方法研究

被引量 : 0次 | 上传用户:Vercetti
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的不断发展对信息存储高容量,高性能提出更高的要求,云存储应运而生。大规模存储系统的应用越来越广泛,存储容量从以前的TB(Terabyte)级上升到PB(Petabyte)级甚至EB(Exabyte)级。用户在使用海量存储空间的同时,也发现数据的查找和管理变得越来越困难。现有的元数据管理方法存在可扩展性弱、查询效率低、实时性差等缺点。针对上述缺点,提出了一种基于关联特征的元数据查询方法,可以充分利用多维元数据的关联特征来提高查询效率。系统在局部灵敏哈希(LSH)聚集数据的基础上建立分布式索引。全局索引划分采用LSH哈希表桶内划分的方式来提升系统的扩展性,可以避免大量的数据迁移。索引的维护采用分层架构,每层独立配置,同时具有较好的可扩展性,方便系统管理。为了快速更新分布式索引,系统的索引采用文件存储,并基于版本批量更新。在这种架构下,查询请求采用基于代理的处理模式,每个请求都会分配一台查询服务器作为代理,代理节点负责转发查询请求、收集查询结果并返回给客户端。通过测试,这种查询方法相对于传统的基于一维索引的方式查询效率有了显著的提高,并且系统的响应时间随着数据规模的增大而呈拟线性增长。同时,系统提出的基于版本的批量更新策略,使得系统的索引更新效率相对于MySQL数据库提升10倍左右。
其他文献
宁波作为经济较发达的沿海开放城市,经过改革开放30多年快速发展,已经进入由基本实现全面小康向基本实现现代化迈进的新阶段。无论是经济发展,还是文化建设,地理标志都在其中体现
南宋是我国丈学史上一个特殊的时期,词这一艺术形式在这个时期得以发展成熟。随着词的发展和普及,社会上涌现出一批有知识、有才情的女词人。她们的出现,成了中国文学史上的
<正>今年,河南省因降雨量不足,严重影响庄稼生长,禹州市政府积极协调资金用于新打机井、水泵配套、沟渠衬砌等有利于缓解旱情的建设项目。市审计局及时跟进,专门组织力量对涉
在社会主义市场经济体制改革不断深化与要求社会管理体制创新的大好趋势下,完善我国职业足球联盟管理机制的机遇已经到来,职业足球联盟的建立是解决当前我国足球产业职业化所产
文化馆是我国公共文化服务体系建设的重要途径,但是长久以来我国文化馆发展步履维艰,究其根源在于人们对公共文化服务的实质缺乏科学认知。北京市朝阳区文化馆的具体实践论证
操作风险管理是银行业风险管理的最重要内容之一。在操作风险管理方面我国农村信用社与商业银行相比,不论是从理论研究上还是在实践经验上,都存在着较大的差距。在此背景下,本文
高校日语专业低年级文化类课程“日本概况”具有信息量大、知识点多等特征,在多媒体网络环境下,其教学可以依据课内外相结合的原则,课前建设好相关资源数据库、课内外划分好
超人系列电影七十多年长盛不衰,已经成为现代美国社会的神话。超人作为一个孤独的超级英雄,满足了观众的白日梦,体现了以个人主义为核心的美国精神。超人作为外星人,他在地球
阐述了太阳能干燥的国内外应用概况,指出太阳能干燥的优势、局限性与影响推广的原因。分析了我国太阳能干燥技术的应用前景,建议我国政府对太阳能干燥给予政策上的鼓励与扶持
产业园区作为地方经济发展的主要推动引擎,近年来,随着宏观经济转型升级,逐渐摆脱以往只注重单一物质空间规划的模式,加强了产业规划研究,呈现出明显的双重路径,形成以产业遴