大数据分析流程建模关键技术研究

来源 :东北石油大学 | 被引量 : 2次 | 上传用户:jerryby001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据在不同领域的快速发展,普及大数据分析技术在各领域数据价值挖掘中的应用,为大数据分析快捷实施和高效运行赋予方法和平台支撑,成为促进大数据分析与领域应用结合的发展方向。以SPSS Modeler为代表的关系数据库作为核心数据引擎的传统数据分析,无法有效的对海量数据进行高效处理。以Hadoop为代表的分布式处理平台以及计算框架解决了海量数据存储与处理的问题,但使用过程中都涉及到大量的技术细节,且分析算法与特定的应用平台过于耦合,代码的复杂性高,可复用性差,也无法满足日益复杂的大数据分析需求。本文主要研究了大数据分析流程建模及实施方法,提出以领域业务为中心、多模型协同的面向领域大数据分析框架。首先,本文将大数据分析流程划分为面向领域与面向平台的双层模型,并提出了领域业务驱动的大数据分析流程建模,使用户专注于问题域的业务分析逻辑进行分析和研究。其次,设计了模块化、流程式大数据分析编程模型;定义了可扩展数据分析模块,给出了基于元数据的分析模块描述和扩展方法,支持粗粒度的分析任务复用;提出了基于分析模块以及模型驱动的从大数据分析业务流程模型(面向领域的大数据分析流程模型)到基于Oozie的并发执行流程模型(面向平台的大数据分析流程模型)的转换算法,保证大数据分析的易用性、可扩展性和灵活复用性。最后,提出了一种基于随机森林和遗传算法参数寻优的方法,通过调节Hadoop参数配置优化Hadoop系统性能,以此优化大数据分析流程执行效率。综上所述,本文针对大数据分析流程建模关键技术进行研究,设计领域业务驱动的大数据分析流程建模,将面向领域的大数据业务分析过程从问题的求解过程中剥离了出来,在问题的求解过程中专注于业务分析逻辑设计。以面向领域业务的方式进行大数据分析流程设计,最终转化为面向平台的流程实例分布式并行执行,使用户从分析过程建立的特定算法计算以及流程执行的实现细节中解脱出来。以此支撑产业领域人员和算法开发人员交互式构建大数据分析流程并高效执行,降低大数据分析技术在各领域应用普及的门槛。
其他文献
利用MapInfo制作的土地利用现状专题图,可用于预测土地利用趋势,为改变土地利用方式提供科学依据。介绍了基于MapInfo制作专题地图的过程、技巧和方法,以某市为例,利用MapInf
急性T淋巴细胞白血病(T-ALL)是一类预后不良的恶性淋巴细胞增殖性疾病。T-ALL的发生与Notch1及其介导的信号通路密切相关。Hes-1基因是Notch1的靶基因,被激活后通过PTEN/PI3K/A
当前我国文化产业发展日渐兴盛,文化产业的需求不断增长,但文化产品价值评估体系仍有待建立并完善,缺乏一套能被市场所认可的评估标准和体系。版权作为一种重要的知识产权,对
锂离子电池具有循环寿命长、安全性高和无记忆效应等优点,是当今最成熟的储能技术。但是,目前普遍使用的石墨负极只有372 mAh·g-1的理论容量,难以满足社会发展对能量密度和功率密度日益增长的需求。亟待开发比容量高、循环性能稳定、能适应大电流充放电的负极材料。锰基氧化物应用为锂离子电池负极材料,具有资源丰富、理论比容量高及安全可靠等优点,近年来备受研究者青睐。然而,锰基氧化物也存在导电性差,循环衰减
变速器在汽车动力总成系统中扮演着重要的角色,特别是在传动效率、燃油经济性、节能与环保等方面有着不可低估的作用。本文介绍了我公司自主开发的一款六速手动变速器的结构
倡导全民阅读,建设书香社会,自2014年起已经连续五年写入《政府工作报告》。这在从国家全局的战略高度保障公民基本文化权利、提高国民文明素质、增进国家文化创新能力提供了
厌氧发酵过程中发酵原料的流变特性对厌氧消化设备的设计与选型、功耗以及厌氧消化过程的传热传质产生重要影响。国内外尚没有使用在线粘度计研究厌氧发酵过程中高浓度发酵原料流变特性变化的研究。为此,本文使用HYND-50振动式在线粘度计实验研究了不同初始总固体含量(Total Solid,TS)牛粪高温(52±1)℃厌氧发酵产沼气过程,测量了整个厌氧发酵过程中牛粪的温度、表观粘度、密度、TS、日产气量、累计
采用反复机械拉伸法制备了单壁碳纳米管(SWCNTs)均匀分散且定向排列的SWCNT/聚甲基丙烯酸甲酯(PMMA)复合材料:将半干状态的SWCNT/PMMA复合体沿同一方向反复拉伸100次,每次的托伸比为5
改革开放后中国经济快速发展,全国高净值人群及国民财富迅速增加,并持续保持高速增长的态势。随着资本市场的不断发展,我国高净值人群投资方向逐渐发生变化,私募股权投资成为
本文将就新时代下文化自信的重要内涵,文化自信对新闻传媒行业的指导意义,以及新闻传媒工作者在文化自信方面的具体实践进行简要分析与思考,从而为文化自信在当代新闻传媒行