【摘 要】
:
21世纪的今天,伴随着科技的发达,各种计算机以及通信技术日新月异,层出不穷,人与人之间信息的交流更多依赖于各式各样的电子终端设备,大量的数据交换成为了这个时代鲜明的标志。为了能更加方便人们的生活以及工作,大数据分布式系统在这个时代悄然而生。对此类方向的研究也成了当下科研应用领域的热门。本文根据当下对于大数据相关处理的需求,实现了一个基于大数据分布式处理系统的数据治理平台,通过前端响应用户操作,再利
论文部分内容阅读
21世纪的今天,伴随着科技的发达,各种计算机以及通信技术日新月异,层出不穷,人与人之间信息的交流更多依赖于各式各样的电子终端设备,大量的数据交换成为了这个时代鲜明的标志。为了能更加方便人们的生活以及工作,大数据分布式系统在这个时代悄然而生。对此类方向的研究也成了当下科研应用领域的热门。本文根据当下对于大数据相关处理的需求,实现了一个基于大数据分布式处理系统的数据治理平台,通过前端响应用户操作,再利用大数据分布式系统的相关组件对数据进行存储以及按照特定业务需求进行一系列的处理,从而达到人们对于不同平台大量数据的获取以及应用。在大数据处理技术中,基于分布式数据库的查询算法在系统的实时响应、处理效率中起到了不可小觑的作用,因此本文将针对该算法展开详细研究。本文先对分布式系统及其数据分片与分配策略进行相关叙述,并详细介绍了传统的基于半连接的查询算法以及传统的直接连接查询算法Partition算法,针对这两种适用不同场合的算法其中各自存在的问题进行分析并分别提出改进。对于半连接查询算法,本文为了弥补集群中通信网速较慢的问题,对查询所涉及各站点数据分片传输策略进行新的构想,提出利用不去重的投影数据集合进行多表连接的思路,充分利用分布式集群并行的特性缩减参与连接操作的关系元组数进而减少网络传输的代价,结合选择因子的概念对设想进行理论分析,最终设计实验模拟分布式集群通信从而验证设想的有效性。对于基于直接连接的查询算法,本文在保留了算法原有优势的基础上引入一种新的划分策略,使得查询不仅仅只对一种关系操作进行属性分片,这样能够更进一步的减少局部查询时的关系冗余情况。最后对带有多个关系进行连接的查询操作分别采用原始的Partition算法和改进算法进行实验从而也验证了新算法的有效性。实现了一款以数据存储以及处理为主的数据治理平台,支持不同平台部分结构化数据(多个关系型数据平台的二维表)和非结构化数据(txt,word等文本)的数据采集工作,保证了通信的安全性并能够按照特定的用户需求对引入到大数据平台中的数据进行检验、修改以及通过接口对外提供统一访问查询等功能。本文系统遵从目前主流企业开发框架,构建了符合当前业务需求的网站架构。
其他文献
目的:探讨并分析多种因素对急性脑梗死患者血清中的细胞因子水平及免疫状态的影响方法:本研究的对象为2017年10月2019年10月于吉林大学第一医院神经内科住院的发病时间在72小时内的急性脑梗死患者,入院后立即收集血清样本,应用流式微球技术测定血清中IL-2、IL-4、IL-6、IL-10、IL-17A、TNF-α及IFN-γ的水平。本研究共收集120例患者。其中,病情程度适中的前循环梗死的患者,N
法国巴黎奥斯曼大街最大的两个商场——春天百货和老佛爷百货的商铺柜台上,支付宝和微信支付的标识已经随处可见。$$春节期间,计划漫游欧洲的王进从德国转到法国,碰到笔者时他跟
完善的征信体系已成为社会活动的基石,是成熟市场经济的重要标志。2013年1月,国务院颁布《征信业管理条例》解决了征信业发展中无法可依的问题,弥补了征信行业法律监管的空白,随
百年大计,教育为本。班主任任重道远,工作繁琐艰巨。如何建设班风、学风良好的班级,为社会培养优秀人才是每个班主任必须认真思考的问题。新时期要建设良好班级,班主任必须具备爱
体育课教案(课时计划)是我们体育教师上课的依据,它直接关系到一节体育课的成败。体育课教案是根据教学进度、单元计划、学校教学条件、学生实际情况编写出来的。目前很多体
小学体育课教学内容大多为一些素质练习、趣味比赛和游戏。由于学生年龄小,在课上多表现为:注意力不集中,练习持久性差,动作易变形,安全意识差,尤其对所学动作意义不能理解。
借助于互联网技术的高速发展,中国的第一家P2P网贷平台于2007年成立于上海,由此拉开了中国P2P行业发展的序幕。经过11年的不断探索,P2P行业为我国的经济发展带来了很大程度的便利,但另一方面也增大了投资者风险。中国的P2P网络借贷行业在2013-2016年迎来了野蛮增长的机会,这些机会也催化了整个行业风险发生的速度。目前暴露出来的跑路、提现困难、停业、经侦介入等问题平台不在少数,为了减少此类平
二维动画和三维动画是动画创作的两种表现手法,其根本区别在于制作空间维度的不同。二维动画表现形式灵活,更具艺术表现力。三维动画强调物象立体感和视觉真实性。无论是二维
中华民族是全世界历史最悠久的连续文化民族,文化传统源远流长,文学创作的历史也非常博大精深。数千年来,历朝历代都有许许多多的遗留文献著作,传承着中华民族的思想与文化。
我国是全球电子及通信设备的生产大国,但技术上却总受制于其他国家。如何客观清晰的反映出我国电子及通信设备制造行业在全球价值链生产中的地位,对促进行业发展具有重要的意