基于云计算的BI处理技术研究

被引量 : 0次 | 上传用户:zhk42
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
商业智能(BI)是多种技术相结合形成的解决方案,对于商业信息化起到了重要的作用。但是使用也起来有着它的局限性,包括:使用成本过高、硬件资源有限、安全保障性过低、使用风险过高等缺点,而且处理性能不能满足功能需求的不断扩展。因此,只有突破局限性才能更好的发展商业智能技术。本文通过分析云计算的特点,将云计算技术与BI处理技术相结合,尝试为解决局限性问题寻找一个突破口,构造出一个新的解决方案。首先选择Hadoop作为系统实现和实验的云计算平台,同时将传统的云计算架构进行改进,使得云计算框架完全面向服务于BI结合进行改进,称作BIHadoop。与传统云计算两层结构相比,BIHadoop集群的搭建采用了四层结构,在最顶层使用反向代理服务器,第二层加入超级主节点。超级节点起到承上启下作用,既对下两层的节点实现直接控制,又可以承接上层通信服务,完成应用服务宏观调配、命名管理、服务器端负载均衡、前端负载均衡、风险控制管理和运行维护检测活动等功能。具体结构为:第一层代理层;第二层是控制节点层,由一个超级主节点(主控制节点)构成;第三层是名字节点层,跟传统云计算架构中的第一层类似;第四层是由许多虚拟机组成的超级数据节点层。与传统Hadoop集群仅有一个名字节点相比,本集群中拥有多个名字节点,系统的综合性能也有着全方面的提升。整体架构中的前两层的节点皆可归类为控制节点,每层在文件系统中都有统一的管理协议,同时管理着本层中的特殊格式元数据和下一层的节点之间的映射。接下来对BI体系结构进行适应Hadoop平台的改进。首先提出了BI体系中最重要的数据挖掘模块面向Hadoop平台的改进模型,由于传统的数据挖掘体系结构是面向单任务处理的串行结构,而云计算平台采用并发处理模式,因此在数据处理能力和安全性方面存在瓶颈。在此我们构建出面向Hadoop平台的数据挖掘云模型,对数据挖掘模型进行改进,共有HDFS数据管理、算法管理和资源监控三大模块。核心模块算法管理是各种基于MapReduce算法集成的工具箱(数据挖掘中间件),以更好的适应云计算平台的并行计算和MapReduce编程模式,同时使得数据挖掘架构与云计算技术结合起来更安全和稳定。然后是对BI的体系结构进行改进,根据功能需要将体系结构模块化,总共化分为8个主要功能模块,改进后的架构为云计算的加入提供了接口,可以获得更好的扩展性和可维护性。使得云计算技术的加入后形成一个内部功能强大、结构科学的完整体系结构。云计算处理BI技术的解决方案生成后进行了系统实现,并且利用数据挖掘算法对数据的处理来进行性能测试。测试的指标主要是负载均衡特性、存储能力、所需成本、扩展性能、安全性能和计算能力,以上指标均达到了较好的水平。
其他文献
本文简略回顾了敦煌石窟保护工作 6 0年的历程 ,着重介绍了自 2 0世纪 70年代末开始 ,敦煌石窟保护工作进入科学保护时期后 ,敦煌石窟科学保护的基本内容、主要科研成就、及
目的观察乳腺癌根治术后胸壁电子线放射治疗使用皮肤填充物的临床效果。方法 70例Ⅱ~Ⅲ期乳腺癌根治术患者按放疗序号的奇偶数分为胸壁照射使用皮肤填充物组(填充物组)与不使
宝钢热轧在加热炉上大面积采用蓄热式烧嘴后碰到了"热惰性"大的问题,针对"热惰性"大的问题,宝钢热轧在1座蓄热式加热炉上进行了粘贴多晶莫来石纤维炉衬的试验。通过分析粘贴
莫高窟北区新近发现两件景教遗物,表明宋、西夏、元代的敦煌有景教徒存在。而早年藏经洞发现的公元9—11世纪的7件景教文献、画幡,无疑是当时敦煌有景教信仰的证据。
桑植白族本主信仰口述史中有关"土司"记忆的叙事,是土司政治在民间社会影响的一种表述,反映出民族关系从"冲突"到"融合"的变动过程,这与桑植历史上土司政权发展与衰落的历史节律相
<正>Zippy是葡萄牙著名的中高档婴童服装及配饰品牌,目前已经进驻中东、欧洲、中亚以及美洲市场。近期,Zippy葡萄牙波尔图品牌店重装开业,来自伦敦的Dalziel and Pow设计工作
涂料的涂装与防护,是一门重视施工与配套的学科,工艺性强,只有良好的工艺才能保证涂料产品的原有价值。本文主要介绍了复合涂层及配套工艺,并详细阐述了防腐蚀工程涂料的配制,施工
活塞、活塞环与缸套之间是内燃机的主要摩擦副之一,随着发动机的长期运转,活塞环将发生变形和磨损,气缸间隙也随着增大,从而严重影响内燃机整机的工作性能。因此,对内燃机活
网络学习环境的设计是其开发的蓝图,是决定其应用效果的关键所在。网络学习环境设计的目的在于为充满差异的远程学习者创设促进性(促进有意义学习)的外在支撑条件综合体,以支
本文简述了康普顿效应发现的历史、影响和理原理,分析了利用能谱测量技术研究1射线的康普顿效应的实验装置设计及实现原理。最后总结了能谱测量技术在康普顿效应实验中应用的