基于协处理器机制的HBase检索速度改进研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:hezefgj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据处理领域,Hadoop与HBase构建的开源处理框架的应用越来越广泛,HBase作为分布式、列式存储的海量数据库,被应用于各种海量结构化数据的存储与计算中,以替代传统数据库弥补其无法应对海量数据挑战的缺陷。HBase的分布式、面向列存储的特性,使得HBase本身很难建立如传统数据库中的非主键索引(二级索引)。HBase的数据记录由Rowkey唯一标识,访问数据也只能通过Rowkey来进行。为了提高HBase的检索速度,业界广泛开展了对HBase二级索引的研究工作。受限于HBase所提供的服务端功能扩展较少,早期的索引方案只能在HBase集群之外构建索引组件,索引与数据相分离,导致索引效率低下。随着HBase协处理器机制的推出,这一问题得到改善。协处理器机制允许客户端远程调用服务端代码,制定服务端处理逻辑。这样一来就可以将索引化的工作迁移到服务端,将数据与索引方案协同构建,可以大大提高索引性能。针对HBase没有二级索引功能、各种索引方案缺陷繁多的现状,本文深入研究HBase的内部机制,结合各种索引方案的优点和缺陷,提出了两种基于协处理器的索引化方案。1.本文提出了基于协处理器的索引表方案。利用协处理器机制和HBas e数据表的特性,在HBase集群中构建一个与数据表对应的索引表,使用协处理器制定索引更新和查询逻辑。完善了服务端的二次查表过程,从而实现HBase的索引。2.本文提出了基于协处理器的缓存索引方案,在索引表方案的基础上进一步改进,将索引构建在协处理器的内存对象中,利用内存的高效读写性能,进一步提高了HBase索引效率,改进了HBase的检索速度。综上所述本文完成了基于协处理器机制的HBase索引化方案设计与实现,有效提高了HBase的检索速度和索引设计策略。通过实验验证了索引方案对HBase检索速度的提升效果。证明了利用协处理器机制构建HBase索引来进行检索速度的优化是行之有效的。
其他文献
为了降低云计算的运营成本,近年来对于数据中心的节能研究提出了不少方法,从早期的网络体系结构到资源分配方案以及虚拟机的放置和流调度等方法。这些研究在一定程度上能够降
随着信息技术的快速发展和经济领域的巨大变革,以大数据等技术为支撑的互联网正在对人们的生活产生各种各样的影响。其中,互联网技术使得个人信贷业务不再仅仅局限于传统的商业银行,而是挖掘了更多的潜在用户,扩大了个人信贷业务总量。然而,由于客户量巨大且分散,单笔金额交易量较小,消费总次数多等特点对市场监管造成了诸多不便,带来用户无法按时还款,恶意透支信用等问题,导致金融市场乱象纷起。因此,如何筛选个人信用评
目前,大量已建、在建的水电站多采用地下洞室结构。地下洞室在施工过程中,由于地质条件难以预测,施工技术复杂,成本影响因素多,导致地下洞室施工成本控制难度大,不少项目出现了成本失控的现象。因此,有必要研究地下洞室施工成本控制问题。现有的成本控制方法较为传统,在解决成本影响因素间动态反馈、交叉影响的问题时存在缺陷,而系统动力学善于描述多个变量之间复杂的反馈信息,因此本文利用系统动力学方法来研究地下洞室施
“银烛秋光冷画屏,轻罗小扇扑流萤”,萤火虫因为其独特的发光行为,而具有良好的观赏价值,自古以来就是人类文学和艺术创作灵感的来源,拥有丰富、悠远的历史人文价值、环境教育价值、旅游观赏价值及资源经济价值。同时,水生萤火虫的生存与自然生境、非生境环境息息相关,受生态系统的传输介质、水体物质与岸坡基质以及生境结构影响,对水污染、光污染、基质污染都非常的敏感,具有非常重要的生态环境指示作用。江西省的地形特征
近年来,创新已成为世界各国关注的焦点,我国力争在2020年进入创新型国家行列,提高技术创新水平对于我国今后经济的高效发展起到了至关重要的作用。国家创新水平的提高依赖于企业的创新投入和产出,然而当前我国还有很多企业由于融资约束问题而导致技术创新活动难以开展,发达的金融体系能够为企业提供一个良好的融资环境,近年来随着我国金融发展规模不断扩大,金融结构也在持续优化,因此在此背景下研究我国金融发展对企业技
近年来,随着网络技术的不断发展,催生了众多的“互联网+传统行业”的新兴业态。在此背景下,网络餐饮服务行业如雨后春笋般得到了迅速的发展,网络餐饮服务行业的兴盛为公众的生活带来了极大的便利,但网络餐饮服务行业蓬勃发展的同时也暴露出诸多食品安全隐患。承担起食品安全监管重任是政府部门责无旁贷的职责,然而政府部门现有的监管方式已无法适应当前网络餐饮服务行业所带来的监管挑战。因此,面对新兴的商业模式,政府部门
商标作为一种符号,识别、区分商品或服务来源是其最基本的功能。“商标性使用”是发挥商标来源标识功能的使用方式,与“商标使用”“商标合理使用”的内涵并不一致。“商标性使用”在商标法中具有十分重要的位置,在。商标权维持和商标侵权判定中发挥关键的作用,是商标制度的核心。当前理论和司法实务中对于“商标性使用”的争议主要集中在如下几个方面:其一,未投入流通领域的使用是否构成“商标性使用”;其二,商标被动使用是
梅西安是二十世纪的法国作曲家和鸟类学家,他以自己独特的音乐语言创作了一系列关于鸟的音乐作品,在他创作的钢琴作品《鸟鸣集》中分别以十三种鸟类命名,《蓝色鸫鸟》为其中第三首,梅西安通过钢琴音乐表现蓝色鸫鸟和栖息生活的环境以及与其毗邻的其他鸟类,用听觉艺术呈现真实大自然的声音场景,体现了梅西安在音乐创作中的声景观,为音乐创作创造了更多可能性。本文主要通过三部分对这部钢琴作品进行探讨分析。第一部分对创作背
LICC课堂观察模式(学生学习(Learning)、教师教学(Instruction)、课程性质(Curriculum)、课堂文化(Culture)的缩写)是由崔允漷教授及其团队基于传统的听评课存在“听课无合作、评课无依据、听评课无研究”的症状提出的新的课堂观察模式。它有着科学的理论指导和丰富的实践证明,赢得了教育人员的一致认可和好评。这种观察模式的观察点与教育学存在密不可分的联系。初中信息技术课
2018年3月,美国对中国发起贸易战,此事件引起了世界的广泛关注。各大新闻媒体均争相报道此事件,读者有必要对该新闻报道进行正确的解读。从批评话语分析出发,从新闻报道的语言特点及其产生的社会背景来揭示语篇中隐藏的意识形态具有必要性。本论文拟运用定性和定量相结合的研究方法,从《中国日报》和《纽约时报》官方网站选取了有关中美贸易战的新闻报道共28篇为研究对象,以费尔克劳三维模式为理论框架,并结合自建的两