数据分析流程编排系统设计与实现

来源 :大连理工大学 | 被引量 : 2次 | 上传用户:xueyanli122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据概念的不断深入人心,越来越多的企业开始重视并积累大量的业务数据,基于数据决策的需求与市场正在快速成长。然而,因为数据分析人才的缺乏和海量数据分析对技术专业性的高要求,企业难以快速获得切实有效的数据分析能力,亟需能够降低数据分析实施难度、支持分析建模人员简易且迅捷编排数据分析流程的工具,实现为企业赋能。因此,本文从易用性和通用性角度出发,设计和实现配置式的数据分析流程编排系统,力求使用户不必关注数据分析运行的底层实施细节,可将精力集中在业务数据分析的设计上。为此,本文采用B/S架构,使用SSM形成系统开发框架,并使用React等技术支撑前端实现,基于Airflow编排引擎和MySQL数据库系统实现任务调度和数据存储,设计实现了本文系统。系统主要由6个核心模块构成。数据导入模块用于与业务数据库的连接;数据预处理模块提供经典的数据处理方法;程序编辑模块支持用户自主编写Python脚本或SQL语句实现的数据分析算法;模型调用模块用于对接本文作者所在项目组的算法集市平台,实现对算法模型的调用;服务发布模块运用Docker容器技术实现分析流程启停和隔离,并实时反馈运行情况;服务调度模块为分析流程设置数据监控和触发执行周期。本文系统包含了预制的多种数据处理与数据分析方法,实现了数据分析流程的手动编排和运行监控。系统已应用于某国家集团公司,在实际线上使用中可以满足定制数据分析流程的需求,在与业务分析人员的调研交流中获得了认可和好评。
其他文献
新版“城市公共交通标志”国家标准6月1日起开始实施。国家标准委此次出台的新标准,对旧标志做出了一些细化,保留了一些具有中国特色的旧符号,此外又增加了48个新标志符号。新增
经济的快速增长和人们生活水平质量的提高,加大了社会对电能的需求。为保证城市环境美观和节省土地资源,电力电缆成为电力系统中非常重要的电力设备。交联聚乙烯电缆有着其他电缆无法比拟的优良性能,被广泛应用在电力系统中。电力电缆主要由电缆本体、中间接头和电缆附件等组成。据统计,电缆事故频繁发生主要原因是接头故障,占总故障的百分之九十几。中间接头结构复杂,由多种不同材料组成,是电力电缆中最为薄弱的部件。根据接
目的:观察联用匹多莫德与头孢克肟治疗小儿反复呼吸道感染的临床疗效。方法:将2016年3月至2016年12月四川省南充市中医医院收治的94例反复呼吸道感染患儿随机分为对照组(47例)和
许多求职者,特别是一些高校毕业生。常常为初次求职谋取什么岗位煞费苦心。就是上岗了,不少人仍然不能尽心工作,总是怀疑自己的选择是否正确。
在2000年中国小剧场戏剧展暨学术研讨会活动期间,13台风格各异、形式纷呈的小剧场剧目陆续亮相,引来不同程度的反响。小剧场京剧《马前泼水》作为此次展演剧目中的惟一一台
科学的发展模式问题在西方科学哲学的研究中一直居于核心位置。但众多的相关理论竞争激烈、各自为战,研究者们难以理出清晰系统的脉络,也无法得出能被高度认同的结论。尤其对于
目的 :探讨使用硝普钠治疗高血压合并急性左心衰竭的临床效果。方法 :对2013年5月-2015年5月期间我院收治的102例高血压合并左心衰竭患者的临床资料进行回顾性研究。我们将这10
罗伯特·亚历山大·舒曼(Robert Alexander Schumann,1810-1856)所作《钢琴变奏曲》用来评价浪漫主义时期变奏曲的发展现状——繁盛时期的变奏曲已然快要结束,任何音乐体裁的创作都不像变奏曲方面存在许多庸俗陈腐的内容,曾经一段时期至少还可以听到一些虽简单,却相对完美的变奏作品,而现在听到的全是一些像掺了水的溶液一样稀薄的变奏,甚至还有那些“缪勒”或“梅叶尔”类音乐被运用其中
4月28日,人民大会堂隆重举行庆祝“五一”国际劳动节暨保增长促发展劳动竞赛推进大会。中共中央政治局常委、中央书记处书记、国家副主席习近平出席大会并发表重要讲话。习