大数据背景下的关键业务数据提取与展示技术研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:bonkoliu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络硬件水平的快速发展,世界上每时每刻产生的各类数据信息可以得到更完整的保存。如何把某个领域中的数据采集起来并且形成时域空间的图像展示,让我们更好的读出其中的含义,成为了大数据时代的一个热门研究方向,也是为以后更大的海量数据提供重要借鉴意义。Hadoop在海量数据计算中凸显出来,它是基于云计算基础框架而出现的分布式云计算平台,对于我们传统意义的数据库有着重要意义。几乎现在所有的大型程序所拥有的无论是基本数据还是特定信息都是PB级别的,怎么样让这些数据更好的服务于我们人类,这就是Hadoop的职责所在。本课题是在海量数据背景下进行的,文中首先介绍了基于海量数据的研究背景和研究意义,大体介绍了国内外研究现状;在提取数据的时候,用原来的分库分表遇到瓶颈,我们引入了Hadoop中的Hive数据仓库以及改进后Canopy算法的技术来解决,最后我们用招聘来举例,最后分析出改进Canopy算法后的性能优势。在此基础上,详细介绍了数据展示平台的技术构架,包括AngularJs、D3等的基本工作原理和基本结构。从维度的确定到前后台的开发都做了详尽的描述,然后使用了列式存储做数据的保存,最后构建出自动更新工具。本文把Hadoop的伪分布模式下的模拟仿真情况下都进行了详细的描述,最终平台搭建成功。而本文在最后对数据展示平台的模块进行用例测试,平台的性能则用LoadRunner进行压力测试,测试结果符合预期。
其他文献
财政和税收是人们生活的保证,是国家权力的基础。分税制度自1994年改革以来,财政体制发生了根本性的变化并得到了长期发展。地方政府和中央财政的关系因分税制的建立,有了很
心脏性猝死是指急性症状发作后1 h内发生的以意识突然丧失为特征的由心脏原因引起的自然死亡。近年来,我国随着心血管病发生率的增高,心脏猝死的发病率有明显增加的趋势。猝
药用高分子材料学是药学类专业研究生的一门重要的基础课程,在创新性药学高级人才的培养中发挥了重要作用。为了提高课程的教学质量,培养研究生的创新能力,以南华大学药学研
大课间活动是在课间操的基础上,有目的、有组织、有计划,师生共同参与,促进师生体质健康,促进师生和谐发展的学校体育锻炼模式,是确保学生每天锻炼一小时的有效举措,是推进学
酒在我们日常工作中是较为常见的饮品,但不合理饮用会对身体造成一定程度的损伤,并导致许多负面影响。近年来,全国范围内肝炎、肝硬化、急性肝损伤等疾病呈上升趋势,严重威胁
目的:探讨本地吸食冰毒者的社会人口学特点、吸毒及戒毒状况。方法:使用吸食、注射毒品滥用调查表和临床治疗医疗档案,对2009年在温州市某强制隔离戒毒所的527例冰毒依赖者逐
针对综采工作面液压支架跟机自动化控制程序、参数的静态特性以及单一化,而不能很好地满足动态跟机自动化系统需求的问题,根据工作面多变的环境、设备、工艺等动态特性,从多
急性髓系白血病(AML,Acute myeloblastic leukemia)是一种起源于骨髓的恶性血液系统肿瘤,是一种异质性的白血病。AML恶性程度高,进展迅速,若不及时治疗,生存时间不足半年,我
化学是一门以实验为基础的学科。化学实验是学生建立化学感性认识、积累化学概念体系的主要途径,是提高化学教学质量的重要环节。实验教学是培养学生科学核心素养的关键,在整
外源肌醇、柚皮苷及姜黄素衍生物对酵母抗衰老性能影响。在分别添加0.5g/L 3种外源抗氧化物质的条件下培养酿酒酵母Saccharomyces cerevisiae 2144,测定不同培养时期酵母形态