大数据持续分析平台的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:xm_104
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机和网络技术的不断发展,世界已进入大数据时代。对大数据的有效使用,将极大推动社会发展和科学技术的进步。数据分析由此应运而起。但是目前数据分析遇到了一些瓶颈,首先是数据分析需要大量的编程经验。其次是在迭代的分析过程中,存在大量重复工作,会极大降低数据分析的效率。本文设计与实现的大数据持续分析平台,与目前常用的Python及R语言数据分析相比,平台对算法进行封装,通过拖拽组件的方式构建数据分析流程,使用户无需关心算法内部实现细节,降低了数据分析门槛。同时,提出了针对电信诈骗领域的定制K-Means聚类组件。使用基于最短路径的流程持续优化算法,从已有流程集合中抽取潜在结构,为新流程的编排提供建议。为了实现大数据持续分析平台,本文首先介绍了国内外相关数据分析平台的发展现状和相关技术,接下来分析了系统的主要功能需求和非功能性需求,接着提出为了实现该平台需要解决的关键技术:为了实现可视化流程编排和流程复用,系统提出了基于事件监听机制的数据绑定、基于XML格式的流程描述语言和流程解析引擎;针对流程的持续优化,提出了基于最短路径的持续优化算法。之后,介绍了大数据持续分析平台的总体架构和概要设计,在总体设计的基础上详细介绍了其中关键模块的设计,最后对大数据持续分析平台进行了测试。在最后一部分,总结了平台现有的不足和未来针对这些不足的改进方向。
其他文献
美国的虚拟特许学校诞生于20世纪90年代中后期,是在法律允许并获得特许状的前提下,由团体或个人经营和管理,依靠网络平台为各种不同需求的学生提供多样化、个性化的远程教学和课程服务的公立学校。在发展初期,虚拟特许学校的运行体制尚未健全,法律地位备受质疑,学校的开设数量增长缓慢。但随着运行机制不断完善,虚拟特许学校开始蓬勃发展,虚拟特许学校的办学规模逐步扩大,社会地位也逐渐提高。今天,虚拟特许学校在政府
发展以纯电动汽车、混合动力汽车和燃料电池电动汽车为主的新能源汽车可以减少温室气体的排放和应对全球能源危机。一系列应用于新能源汽车领域的能量存储和转换器件已取得长足发展,包括镍金属氢化物电池(镍氢电池)、锂离子电池、燃料电池和超级电容器等。其中镍氢电池由于具有良好的安全性、一致性、可回收性和广泛的温度适应性等特点,在新能源设备领域被广泛应用。镍氢电池的低温性能主要受到其负极材料-储氢合金的影响,目前
陶瓷基复合材料是目前国际上公认的下一代航空发动机核心构件的基础材料,缺陷检测结果是判断构件合格与否的重要依据。复合材料多孔、非均质,CT(Computed Tomography,计算机断层扫描)检测图像特征复杂,疑似缺陷数量巨大,判别缺陷需要结合三维结构信息。受限于检测的经济成本,构件缺陷样本绝对数量少,缺陷和非缺陷类别严重不均衡。为此,本文从异常检测和缺陷分割两个方面入手,研究了复合材料构件的缺
深松技术作为保护性耕作的重要技术之一,可以打破坚硬的犁底层,增加土壤的通透性,提高土壤的畜水保墒能力,减少风蚀水蚀,提高耕地的质量,促进农作物的增产。由于以往传统的耕作方式,造成东北土壤严重板结,土壤墒情逐年下降。随着国家对环境的重视及农民对一种适宜于东北黑土地深松机具的需要,课题组提出了秸秆全量还田技术,有效解决了秸秆混埋的问题,开展了深松整地联合作业机具的研究,并研制了一种具有翻土功能的复合式
家庭是社会的组成细胞,社会稳定程度在一定程度上由家庭稳定程度决定。婚姻关系法律制度中较为重要的一环是离婚制度,因其关系着多方面因素的稳定。一个国家离婚法律制度的重要组成部分是离婚标准,这是一国离婚思想的一种体现,同时反映着国家对离婚问题的价值取向。离婚法律制度受多方面的影响,对这一制度的研究也涉及到不同群体的观点,成为民法典婚姻家庭编编纂过程中争议较多的部分。1949年建国,从那以后,关于离婚标准
近年来,随着游戏玩家数量的增长以及游戏开发成本的增加,游戏开发领域急需一种效率更高的内容制作方式。游戏的程序化内容生成技术(PCG)便是这样一种利用计算机自动生成游戏内容的技术。本文基于PCG技术提出了一种塔防游戏关卡的自动生成方案,并对关卡难度的自动验证技术进行了进一步探究。首先本文以一款经典塔防游戏KRF为研究载体,开发了塔防游戏的模拟系统,构筑出了研究所需的模拟环境。关卡自动生成技术包含地图
目前我国蟹苗产量、养殖面积、品牌选育方面都比较可观,但是蟹苗的品牌建设比较滞后,并且品牌建设已经成为蟹苗提升其市场竞争的重要的手段。研究蟹苗品牌资产以及蟹苗品牌资产对蟹农购买意愿的影响具有重要的理论与现实意义,有助于蟹苗品牌的建设,对蟹苗产业的发展具有重要的战略意义,可以解决蟹苗产业发展存在的品牌建设不足的问题,提高蟹苗的销量。本研究的目的是探索蟹苗品牌的构成维度及其对农户购买意愿的影响,采用了文
当今世界,能源的开采和高效利用已经成为了各个国家的研究重点。在开采过程中,能源的安全性运行、环境污染的控制和治理等是重要的环节。我国提倡高效清洁能源,用新型能源替代传统化石能源可减少化境污染。我国也是发展中的大国,人口数目众多,能源结构和发展的现状很是严峻,能源的安全问题也正在威胁着我国能源战略计划。同时,环境的污染也越来越严重,温室气体的排放致使温室效应已经对人类产生了据巨大的影响。因此,高效地
目的:探讨DTI在不同种类、不同级别脑肿瘤诊断中的应用价值。材料与方法:收集2016年1月至2019年1月行扩散加权成像后经病理及临床确诊的脑肿瘤的患者48例(男性23例,女性25例;年龄1671岁,平均49.4±13.6岁),其中高级别胶质瘤24例,低级别胶质瘤9例,转移瘤7例,脑膜瘤8例。于术前行常规MRI平扫、MRI增强扫描、DTI检查,在工作站自动生成各向表观弥散系数图及各项异性指数图,分
2009年7月,IMO提出了新船能效设计指数(EEDI)这一指标,用来衡量船舶设计和建造的能效水平,以达到节能减排、保护生态环境的目的。船舶轻量化设计则成为必然,而结构上的优化设计是轻量化研究的重要途径和手段之一。拓扑优化作为一种高效的结构优化方法,在船舶领域有很大的发展前景。针对拓扑优化课题,本文以一艘载重量110,000吨的油船为例,以HCSR规范为准则,对其进行拓扑优化研究,研究的主要内容包