基于大数据的辅助专家分析系统的设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:cole6
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,各行各业越来越多的企业或组织将受益于大数据这个发展机遇,大数据分析能够实现大数据规模效应下的数据计算和全面的数据洞察,帮助企业提高生产力、提升竞争力、促进企业革新。然而大数据分析对于许多企业或组织来说存在着许多难题,在数据库软件、大数据采集和规约、发展企业专业分析人员等方面仍存在着一些瓶颈。为适应企业的大数据分析需求,本文设计了基于大数据分析的辅助专家分析系统,集成了数据采集、数据存储、数据分析、数据可视化等功能,并提供了友好的人机交互界面,屏蔽大数据分析算法细节,以帮助企业人员简单高效地使用大数据分析技术进行高并发快速查询,建立复杂数据处理模型,自定义可视化模块来展现大数据的价值,促进企业的业务提升、支持企业决策。本文的辅助专家分析系统综合利用了阿里云的ADS和MaxCompute两个PaaS服务,后者是基于MapReduce框架的。MapReduce是在多节点上并行处理大数据的高可扩展的、具有容错能力的编程框架,本文分类设计了基于MapReduce的基本操作模型,以供用户自由自合配置复杂的数据处理逻辑。专家还可以根据领域经验向平台加入可重用可扩展计算分析模块以扩充系统的数据分析处理能力,方便用户进行迭代增量式数据探索。
其他文献
传统的公共交通是城市客流运输的重要组成部分,是城市发展的必由之路。但与此同时,其天生也存在一些不足。公交系统的高成本公交设施的利用率不稳定——因时段不同而出现显著
听、说、读、写是学习和运用语言必备的四项语言基本功能,但长期以来,老师和学生几年来关注读和写两方面的训练,忽视听、说的培养,被认为是"哑巴"英语。随着时代的发展,国际
在普通高中课程改革中,教师如何寻找到一个最佳的结合点,顺利完成教学的马拉松呢?文章对此问题作了探讨。
在舍伍德·安德森众多的作品中,《小城畸人》是一部很有特色的作品。这部小说揭示出美国中西部小镇封闭的生活方式、狭隘的价值观念对人性造成的扭曲,深刻挖掘出现代人内心深
稻曲病是一种由真菌引起的水稻穗部病害,其唯一可见症状是水稻籽粒被稻曲病菌包裹形成稻曲球。该病害在世界范围内各大稻区的发生日趋频繁,它不仅能造成水稻产量的大幅降低,
作为行为博弈的代表性实验之一,最后通牒实验中提议者公平分配方案的提议行为和响应者对不公平分配方案的拒绝行为表明人们具有超越经济人自利的公平感。本文围绕最后通牒实
科学教育是基础教育的重要组成部分,如今已成为许多教育工作者关注与重视的话题。新课程改革中,以科学探究为突破口,提倡用科学探究的方式学习。同时教师在科学活动中的指导
文章以中国工业企业数据库2001-2007年的企业数据为基础,运用基于倍差法的倾向得分匹配估计,实证分析了出口对我国企业融资约束影响的因果效应。结果表明,出口能够显著缓解不
本文探讨开发综合管理信息系统的技术路线,提出系统开发过程中把生命周期法和原型法相结合的观点。在建立系统结构问题上,主张紧密配合“从上到下”和“从下到上”两种途径,