基于Hadoop的数据可视化技术研究与应用

来源 :北方工业大学 | 被引量 : 19次 | 上传用户:hzxy05jsjb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本课题主要研究多数据库环境下商业数据可视化的问题,所有的业务数据存储在不同的数据库服务器上。由于多数据库环境在对平台整体数据进行可视化时,需要对各业务数据库服务器分别进行统计分析,再对统计结果进行合并,使得数据分析阶段效率较低。因此本文在研究过程中首先将分散的数据集成到数据仓库中,然后再针对数据仓库中的数据进行可视化数据展现。首先,通过对分散数据的集成方法的研究,确定了利用Hadoop技术进行分散数据集成。Hadoop生态系统提供的Hive工具可以用于多维数据分析,Sqoop工具可以实现关系型数据库与Hadoop之间的数据传输。研究中利用Hive技术搭建数据仓库,通过Sqoop技术将数据从分散的数据库服务器加载到Hive数据仓库中,完成可视化数据准备工作。其次,研究行业数据可视化的技术和方法,具体分析了商业数据的特点及数据展现形式。设计实现了基于SVG (Scalable Vector Graphics)的地图可视化算法,可以将可视化数据进行维度与数量的自定义配置,使得可视化的结果更加丰富且直观。然后,针对实际应用,从销售分析、商品分析、客户购物偏好、企业排名等分析视角出发,利用HQL语句对集成后的经营数据进行统计分析。通过对地图、云图、关联图等可视化技术的应用场景、绘制方法、数据表达方式及交互方式的研究,结合统计分析结果数据的存储特征,构建可视化数据模型。最后,结合实际项目,选用可视化控件Echarts和基于SVG的地图可视化算法对可视化数据模型进行展示,实现了针对商业数据分析的地图、字符云图、和弦图等可视化效果。验证了应用Hadoop技术和可视化控件实现商业数据可视化的技术路线的合理性。
其他文献
不断地从统治走向治理,努力实现公共管理从统治型向治理型转变,这是人类政治发展的根本方向,也是通向和谐社会的必经之路。 $$   实现社会的和谐需要经济的、文化的和政治
报纸
随着我国经济的快速发展,社会进步飞快,用电需求越来越多,相应的对于变电站建设带来了沉重的压力,作为电力系统中不可或缺的组成部分,变电站运行稳定性与否直接影响到我国电
目的探讨降低经尿道前列腺电切术(TURP)术后并发膀胱痉挛的护理干预手段。方法对87例行TURP术后发生膀胱痉挛患者的护理进行回顾性分析。结果经积极的治疗及护理干预控制或缓
基于COSTAS环的载波同步环路在对大频偏OQPSK信号进行载波同步时,所需的入锁时间较长,不能满足突发信号的处理要求。针对这一问题,该文将OQPSK信号的平方谱与载波同步环路相
以近等基因系烟草(非转基因品系、转Fe-SOD基因品系和转Mn-SOD基因品系)为材料,研究了盆栽条件下转SOD基因对烟草抗旱性的影响。结果显示:外源Mn-SOD基因的导入能切实提高烟
介绍伦敦地铁的发展建设历程,并系统总结伦敦地铁的设计运营服务特色。在线路设计方面,线路共轨设计提高乘客的换乘效率,线路多个安全出口设计为突发事件下的乘客紧急疏散提
“刑事一体化”语境下,国家刑事制度建设是一个合理分配程序与实体功能的系统工程。惩罚不仅是实体法的考量范畴,也从刑事程序诞生之初起便与程序密不可分。轻罪案件中,程序
经济目前不断发展,随着这个进程加快。支持我国国民收入增加的主要力量已经从重工业发展到服务业,服务业作为一个新兴产业,包含许多具体职业,比如说各种旅游机构以及住宿机构
发光二极度管作为新一代绿色环保、低碳、节能型固体照明光源,正越来越广泛地应用到照明领域,更因其所具有的独特优点,受到汽车照明市场的青睐。汽车灯具如前照灯功率大,而大
上海同济城市规划设计研究院(下文中缩写为“同济规划院”)作为同济大学麾下企业,在1996年正式创立。在创办之前其属于规划与建筑研究所,而在完成创办程序后作为我国第一批获