分布式环境下XML编码检索技术的研究与实现

被引量 : 0次 | 上传用户:hnaylz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着IT技术、互联网技术的迅猛发展,信息作为人类文明的载体,在现代人类生活中扮演者”双刃剑“的角色。一方面由于互联网的普及,人类可以随时随地得到各种信息;另一方面,从广阔的信息海洋中迅捷地提取有价值的内容,变得十分不容易。XML(可扩展标记语言)作为信息交互的标准之一,以其简单性、结构性、扩展性、开放性等,在数据库、Web技术、物联网等项目中被广泛的应用。随着XML的广泛应用,如何分布式的并行处理XML成为了目前的热点研究项目。目前,处理XML数据主要有三种成熟的方案,将XML置于XML原生数据库(如existdb)中处理,或者将XML以某种形式存入关系型数据库(如SQL Server)后再处理,又或者把XML直接当成文件在文件管理系统中读取处理。但随着XML数据量的增长与XML数据结构的升级变更,这三种方案均无法满足大规模高效集中式管理XML数据的要求。本文结合目前流行的云计算技术,研究与实现了分布式环境下对XML的编码与检索。具体的说,针对XML在物联网上的广泛应用,从存储、检索、数据挖掘等方面多维度的系统的处理海量小XML文件。首先,针对XML与HBase数据库存储结构的特点,利用MapReduce并行编码,巧妙的在HBase上存储了XML的整体模式结构与各个节点信息。然后,部分翻译了XPath相关常用语法,调用HBase数据库的API执行并行检索以及数据挖掘。最后,利用科学样本数据,验证了设计的正确性和相关查询性能。值得一提的是,本文相关设计的存储和查询均建立在Hadoop的开源组织架构上,使用Hadoop可以很容易地开发分布式应用,集群可以由廉价计算机组成,Hadoop框架保证了整套平台的高可用性与高效性,从而使得本文重心在算法和平台架构上,而不是在分布式系统的任务分配调度与节点消息传递上。
其他文献
<正> 痴呆患者都存在学习、记忆、语言、思维等多种认知功能损害,同时伴有多种精神行为症状,认知和精神行为异常最终可导致患者社会活动能力减退或完全丧失。神经心理学测验
<正>桃树黄叶病又称黄化病、缺铁症,属桃树的一种生理性病害。近年来该病在邯郸桃产区有加重蔓延趋势,有的单株发黄,有的成片发生,甚至全园发病,给桃树的正常生长发育带来不
<正> 乌头赤石脂丸是一个古老的方剂,在金匮要略医宗金鉴中均有收载。含有乌头、附子、蜀椒(川椒)、赤石脂及干姜五种成分。在历代收载的文献中除川椒的用量略有变化外其它用
<正> 下肢深静脉血栓形成(LDVT)是临床常见的静脉回流障碍性疾病。它是以下肢肿胀疼痛及浅静脉扩张为主要临床表现的周围血管疾患之一。在美国有2000万病人,在我国虽无统计,
我国股指期货即将推出,采取何种监管模式十分重要。文章通过对美国、英国、日本三国股指期货市场监管模式的比较和分析,从中得出三点启示,即依法监管是股指期货市场健康发展
在分析已有的消费文化和旅游消费文化概念的基础上总结和发展性地提出新的旅游消费文化概念,探讨了旅游消费文化的特点和发展趋势。
配合交通部路桥过渡段基础研究项目,本文仔细地讨论了地基沉降试验台的设计、制造、使用过程中可能出现的各种问题,并给出了试验台活动面板系统、支撑升降系统及其控制系统的合
当代中国社会处于极具的变革之中,各种信息思想碰撞交融,当代工笔人物画自然而然地就受到多元文化的影响,不同工笔人物画家们"可谓百花齐放,百家争鸣",其表现共同促成了当代
<正>(2014年9月25日)各位领导,同志们、朋友们:非常高兴参加经济日报主办的"中国消费品质量安全论坛",与各位领导、专家学者围绕"法制、质量、责任、民生"主题共话消费品质量
<正>社区团购浪潮中涌现出十亿、百亿的独角兽是没有问题的,社区团购,是一种更容易嵌入中国社会生活,也容易产生大量重复购买的汇集顾客需求的方式,一个C2B模式下的新富矿从