多维数据可视化分析工具的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:maitianquan159
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网大数据的技术发展为人们提供了在线购物、网络会议等多种线上服务。全球超过40亿的互联网用户在享受便利的同时,产生了大规模的数据集。相关企业或人员可以较为容易地获取海量数据。但是,目前大部分企业数据都分散在各个部门或各个业务线的业务系统上,存在数据不一致的问题,如何呈现数据并挖掘这些数据的潜在价值成为一个难题。近年来,数据仓库、联机分析处理(online analytical processing,OLAP)、React等数据可视化分析技术的发展,使得利用图形化界面进行多维数据可视化分析受到广泛关注。然而,现有可视化分析产品还存在一些不足,包括缺少数据预处理、缺少数据钻取、缺少任务调度等。基于上述背景和需求,本文选题来源于企业实际项目,设计实现了一个基于多维数据,能够进行数据抽取、处理和可视化分析的Web应用系统,通过简单拖拽图表组件能够实现多维数据的可视化分析。论文的主要工作内容如下:(1)学习研究多维数据可视化分析工具的背景和国内外研究现状。针对业务需求场景,研究了系统的数据源、数据集、可视化报告、任务调度及系统权限等模块的需求参与者和用例具体活动。另外,研究了系统的可靠性、安全性、性能等非功能性需求。(2)针对传统报表制作过程复杂的问题,通过可视化技术提供拖拽式的可视化报告制作方式。为了实现应用场景中异构数据的融合,利用Kettle技术将用户提供的数据抽取到My SQL中间数据库中,并处理不同数据表间的连接,实现数据治理、转换等功能,用Sqoop将My SQL中处理好的数据抽取到Hive数据仓库中。为了加快查询响应速度,选用Apache Kylin多维分析引擎对Hive中的数据进行预计算,构建数据立方体,数据钻取时调用Apache Kylin的查询接口进行查询。最后阐述了系统数据库和各个功能模块的详细设计和系统前后端实现。(3)针对多维数据可视化分析工具中的各个功能模块编写测试用例,验证并确保数据源、数据集、可视化报告、任务调度、系统权限等功能模块的正常运行。对系统可靠性、安全性和性能进行测试,测试结果满足要求。综上所述,本文中设计实现的多维数据可视化分析工具各个模块功能正常,且运行稳定可靠,查询性能较好。
其他文献
近年来,我国自行车休闲骑行活动发展迅速,集生态、健身、休闲等功能于一体的绿道建设为自行车休闲活动的开展提供了场地。其中,郊野型绿道因其所处城市近郊,在具体规划内容以及环境上更适合骑行活动的开展。随着成都公园城市的建设,天府绿道已经取得一定成绩,郊野型绿道的使用也取得了社会、经济、环境和发展效益。然而目前在我国,绿道骑行活动虽已经有良好的基础,但现有的绿道骑行规划方式主观性强,使用者和规划预期不能完
城市道路作为城市各社会经济活动的纽带,其景观不仅是城市景观中极其重要的组成部分,也是一个城市的风貌展示。而城市道路绿化作为城市道路景观极为重要的组成部分,对美化城市环境,建立城市生态环境,凸显城市特色及提高居民生活品质等都起着不可忽视的作用,使得城市景观效益和生态效益得到充分发挥。随着社会的快速发展,人们生活品质不断提高,对生活环境的要求也在逐步提升,因此城市绿化景观的探索对城市绿化景观具有重要的
随着第三次产业革命的浪潮,现代社会全面地进入了电子信息技术产业发展的时代。计算机、互联网等新技术已经在现代人类社会的各种领域中都扮演着不可替代的角色。而此时传统的能源管理还停留在依靠人工对能源数据进行收集,采用Excel文件进行登记、整理、保存的模式中,这就带来了收集过程耗时费力,采集结果共享困难,历史数据留存率低,统计方法受限单一等问题,因而寻求方便快捷的能源采集统计方案已经成为全社会各界人士的
选择性加氢反应广泛用于香料、香水、医药、颜料、染料和农用化学品生产等精细化工领域,含有可还原性基团的芳香胺作为精细化学品(如农药、染料、颜料和药品)和大宗化学品(如聚合物)的关键组成部分就是通过相应的硝基芳烃选择性加氢制备而成的。铂(Pt)基催化剂广泛应用于选择性加氢工业中,但由于Pt本身的电子结构和几何结构导致其在许多情况下很难区分竞争性官能团,从而导致对目标产物的选择性较低。因此,Pt基催化剂
利用卷积神经网络实现目标图像的风格化成为学术界与工业界共同关注的一个热点。相比传统的风格迁移算法基于卷积神经网络的风格迁移算法具有速度快与风格化效果好的优势。但该算法在风格化效果方面仍由不成熟之处,比如因为对笔触尺寸的控制不够灵活而导致生成的纹理笔触与原始风格图像相差甚远。针对这一问题已有大量研究,现有解决方法的算法原理主要分两种:基于控制网络感受野和基于控制粗糙至精细的图像细化过程,这两种算法分
离散时间多智能体系统(MASs)具有节约资源、减少成本、降低通讯时间等优势,在机器人、无线传感器、生物系统等领域有广泛应用,是众多学者的重要研究对象之一.迭代学习是研究一类周期或者可重复多智能体系统的有效方法,使系统达到精确跟踪.本文针对离散时间MASs,研究了带有独立拓扑的离散异质MASs的精确一致性控制问题.异质MASs是指智能体的动力学系统不同,比如:多智能体系统中有一阶、二阶混合动力学系统
以硅(Si)材料为基础的工业半导体取得了前所未有的进步,然而其较小的带隙无法满足半导体器件在高压、高频、高功率以及短波长发光和探测等方面的需求。贝塔-氧化镓(β-Ga2O3)作为一种新型超宽禁带(UWBG)半导体,凭借其4.9 e V的超宽禁带、8 MV/cm的高击穿场强和较高的电子饱和漂移速度等优势受到了越来越多的关注。近年来,国内外关于β-Ga2O3基场效应晶体管(FET)器件的报道层出不穷,
随着压电器件在高温环境中的广泛应用,同时具有高压电性能和高居里温度的压电陶瓷材料受到了极大的关注。本研究通过将具有较小容忍因子的铁电体Pb(In1/2Nb1/2)O3(PIN)与电学性能良好的Pb Hf O3-Pb Ti O3(PHT)铁电体固溶,构成一种新型三元压电陶瓷Pb(In,Nb)O3-Pb(Hf,Ti)O3(PIN-PHT),通过理论计算并结合三元相图预测准同型相界区域,提出能够实现性能
在未来几年内,煤炭在我国的能源体系中仍然处于主体能源地位。煤矿井下综掘工作面的自动化可以大幅提高生产效率。目前,我国井下综掘工作普遍以悬臂式掘进机单巷掘进为主,因此悬臂式掘进机位姿检测是综掘工作面自动化的基础和前提。只有获取稳定可靠的掘进机实时位姿,才能够在此基础上进行综掘工作面自动化、智能化改造工作。本文提出一种基于机器视觉和倾角传感器的悬臂式掘进机位姿检测方法,针对位姿参数求解、激光标靶参数优
核电已经成为我国现代能源体系中的重要组成部分,对国民经济发展和提升装备制造水平具有重大意义。近年来,随着“华龙一号”等标志性核电装备的发展与成熟,我国核电机组规模已经位居世界第二,核电自主技术发展已达到国际先进水平,然而,我国核电企业的决策数据存在多源异构等特点,难以保证决策数据的质量,导致数据融合、认知、分析、挖掘不充分,另一方面,通用决策工具和决策构件存在功能单一、不系统、不完备等问题,导致决