基于Hadoop/HBase集群在线分析处理反应调度

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:zhuoluo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库和OLAP(Online Analytical Processing)系统允许快速访问和整合海量数据进行分析。从这个意义上讲,数据仓库是BI(Business Intelligence)必不可少的工具。尤其是Hadoop/HBase集群为海量数据的处理和存储提供重要的资源。Hadoop是Apache软件基金会开源项目组的一个子项目,它目的是实现一个分布式执行环境。主要目的是实现有效的批处理,尤其别是当他们涉及到庞大的数据量。因此,Hadoop是有效的、可扩展的分布式执行环境,它主要用来处理大数据。因为该系统的通用性,促进了其一领域有专攻的项目尤其是包括数据仓库、BI(商业智能),数据监控或数据持续性等的生态化发展。  通常存储和管理数据仓库的所有组件都集中在一个服务器上。当它的容量达到限制,解决方案通常是复制存储产品的特性进行处理。在分布式系统的使用上,需要实现并行计算和分布式数据存储。在Hadoop/HBase集群的基础设施上部署仓库,需要用多维模型和OLAP程序去适应和反映数据的分布和聚集过程。  在设计数据仓库时,多维模型的维度被优先定义为数据分析轴并呈现给用户。维度中实际使用的可能性有维度的概念模型和仓库数据的有效性来决定。数据的可用性和聚合在分布式存储中尤为重要,例如HBASE集群,每个节点存储数据仓库的一个子集。多维模型实体化基于水平片段的预计算聚合表。仓库模型还必须考虑到这样一个事实:HBase也是一个面向字段的数据库多维模型利用水平片段聚合表和HBase数据库面向字段的性质。数据的可用性,特别是在这种争议的分布式数据不是微不足道的。所以本文介绍了一个仓库数据识别的模型和一个用多维块索引数据的方法。在分布式数据仓库搜索可用的数据需要一个明确的数据标识。该模型利用OLAP查询引用数据仓库的数据。这些数据分成块,由于大量的数据块块被定义的概念。这些数据被分为块,同时因为大量数据块被定义。事实上,一个OLAP查询包括选择一个或多个维度的成员或他们的总量和各种措施。识别模型是基于实例的成员的维度。  这些标识符使用HBase上的表的ROW KEYS来发布他们的数据。多维数据的分布式管理工作主要是基于一种细分的数据仓库的基本单位分配标识符。“块”的概念被用于工作的上下文数据存储在磁盘上的优化和客户端缓存管理的远程数据存储。这些系统使用的“块”大小不同取决于管理磁盘块或查询结果缓存的大小。  一种索引结构来支持这两个以前的模型是基于块的块和基于长方体晶格索引的索引,并允许本地数据实体化在不同的集群节点上。第一个索引,即Cuboids Index在晶格结构中未定义和区分各级聚集。第二个指标,即块块索引是基于索引的内容块的块。最后,CCB指标是这两个指标的结合。当时的数据搜索查询,该指数提供了可用的物化块没有经常过处理。此外,信息多维模型可以推断出所有可计算的总量。实体化块调度模块做了针对你查询效率的改进  提出无功调度策略利用批处理模式的维护操作。它还处理在线查询程序和从候选块列表中建立一个优化的执行计划,输出到查询结果中。调度查询有两个主要线路即这些查询请求的执行计划和查询执行。我们的调度称为无功,因为它考虑了不同资源的动态变化。用户将进入到仓库,通过在HBase集群上的一个调度引擎来执行它的查询请求。查询引擎必须允许查询分布式仓库因为它是集中的。给定的计算和存储提供的HBase集群,用户必须迅速接收数据搜索的结果和最复杂的聚合数据。为了满足这些需求,分布式存储系统必须与优化过的OLAP查询机制进行联合,以最大限度地减少用户请求的响应时间。环境和Hadoop/hbase集群的可用性通常是高度动态的,根据不同操作参数(数据、节点、网络)和外部的用户数量等参数。  我们提出的解决方案如下:首先,执行查询的程序必须有所需的有效数据的信息。然后识别获取查询结果的可能选择。这可以通过数据直接存储在集群获取或通过明细数据的聚合进行获取。从解决方案中选择最低估计响应时间。在本章中,我们定义了在HBase仓库中QUERY程序的不同阶段。我们的调度方法的机制和流程也进行了详细讨论。在本章中,我们充分利用我们的索引结构部署在集群的可用数据提出了在HBase集群仓库中的优化方法和查询的执行方法。  这个基于模型的基础设施的唯一标识的多维数据块有助于满足查询识别不同的可能的块。因此,从一个典型的OLAP查询用户,我们已经开发出处理的不同阶段,通过搜索可用的块的优化来减少查询的响应时间。优化阶段产生执行计划的操作拆分为任务并行执行。在被加载到集群前,经过最终筛选的这些任务符合处理程序的约束。最后阶段涉及监控查询性能和最终传递给客户机应用程序的结果。整个查询处理对用户是透明的,地址调度引擎与集群中的主节点交互响应这些请求。本文提出了基于分布式HBASE仓库的一种原型设计与服务管理数据设计。这个原型允许我们测试的可行性和性能研究。实现了这一目标实现数据仓库/ETL/OLAP分别利用HDFS/HBase和MapReduce DW/OLAP支持存储和ETL过程。两种类型的工作负载都是由reactive调度管理引擎。关于测试,批处理和实时处理的比较给出了非常满意的答案,证明我们方法的可行性。总之,我们提出本文的工作是一个逐步施工过程的以下元素:  适应多维模型的多维数据分散,同时数据分布在集群HBase。  识别多维数据模型的建设。  引入一个基于模式识别的索引方法,列出了所有物化数据。  执行查询机制的提议利用多维数据模型由索引访问和并行计算。  设计一个基于模型和方法的原型服务引入管理数据仓库的HBase集群。因此,为了有更好的性能,可以在以上每个元素提出必要的改进。
其他文献
计算机和网络技术的不断发展,要求多个计算机的协同工作,而用户的也对基于协同工作的P2P 方式产生了需求。与此同时出现了Web 服务等新技术,我们结合当前用户的需求和实际环
智能交通系统作为复杂的大系统,在传统的网络环境下面临着交通资源和交通服务协同、共享的困境,并且这一问题已经影响到ITS的进一步发展。由于网格技术自身具有的解决共享与
人工免疫系统(Artificial immune system, AIS)是以生物免疫学理论为基础的面向应用的计算机模型。人工免疫系统理论研究主要包括人工免疫网络模型和人工免疫算法等方面。人
分形是非线性科学中富有挑战性和广阔应用前景的学科.分形理论中Mandelbrot集和Julia集都是非常复杂的对象.本文主要研究了广义Mandelbrot集和Julia集的分形特征,内容如下:提
随着Internet的用户数和信息量爆炸性的发展,传统的Web信息搜索引擎呈现出效率低下、制约发展的征兆,因此也激励人们研究和开发新的、更加高效的搜索引擎。从上个世纪末开始,国
  本文提出一种以GIS平台数据为基础,将GIS平台的设备拓扑、结构数据进行转换,结合平均电流法,等值电阻法等计算方法,进行中压配电网理论线损计算的思路。本文先介绍了配电网的
  本文围绕着“区域交通状态聚类分析”,探讨了聚类分析在高速公路交通时空聚类上的应用。针对经典的共享型最近邻居SNN聚类算法在“去噪”、孤立点和代表点的判断、聚类效
本文系统地论述了极小trellis和tail-bitingtrellis理论,并将线性码的trellis在有限域上的一些性质推广到了有限交换群。 Trellis图是一种可以提高通信系统解码效率的重要
近年来,嵌入式技术发展迅速,在工业控制、银行、医疗等许多领域大显其能。同时,嵌入式设备也逐渐走入普通家庭,掌上电脑、PDA、多功能手机等越来越普及。随着网络技术的不断
  本文使用的基于GM(1,1)模型的灰色预测控制器的主要特点是仅需要少量的被控对象模型结构的信息。  本文结合液位对象纯滞后的控制特点,分析了用灰色预测控制算法解决这类