基于Spark的分布式大数据分析建模系统的设计与实现

来源 :现代电子技术 | 被引量 : 0次 | 上传用户:hmei_0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对分布式大数据对数据存储、清洗、转化、聚合、挖掘和分析工作所造成的挑战,设计并实现了一种基于Spark的分布式大数据分析建模系统。该系统通过数据采集、数据存储、数据分析、数据管理和数据应用5个模块,实现结构化、半结构化及非结构化数据的适配采集与离线、在线分析处理;并使用管理和控制平台,实现系统的协调运行。软硬件实现及建模测试结果表明,所提出的系统能实现具体场景故障诊断数据的有效、精确聚类,并可满足大数据处理的速度和精度需求。
其他文献
近年来,我国小型企业发展迅速,在国民经济中的地位和作用日显重要。但随着经济全球化的发展,市场竞争日益加剧,小型企业在市场竞争中的财务风险不断加大,许多小型企业因为没
血管平滑肌细胞(vascular smooth muscle cell,VSMC)的增殖和迁移在动脉粥样硬化(atherosclerosis,AS)和经皮冠脉介入(percutaneous coronaryintervention,PCI)术后再狭窄(re
期刊
本期特稿以"加强驾驶人的安全教育"为主题,梳理回顾了近几年公安交管等监管部门为提高驾驶人安全文明意识而采取的系列措施,如:文明交通进驾校"五个一"活动的开展;《机动车驾驶人
充血性心力衰竭(CHF)发病率高,严重影响病人生活质量,且死亡率高。CHF是能量供应不足造成基因表达异常而引起的一种超负荷心肌病,其特异性病理变化为左心室重构。本研究是在实施导
利用OPC接口技术实现了Siemens WinCC组态软件与其他应用程序之间动态数据的交换,利用PC机丰富的软件资源扩充了工控组态软件的功能,从而实现对复杂工业过程的先进控制。并给
目的探讨创伤性膈疝合并休克的治疗。方法对创伤性膈疝的临床表现、体格检查及治疗进行临床分析。结果精细查体、动态观察,结合必要的辅助检查,及时手术,可救治创伤性膈疝。
血管平滑肌细胞(VSMC)表型转化、迁移及增殖是高血压、动脉粥样硬化斑块形成和经皮腔内冠状动脉成形术(PTCA)后血管再狭窄等心血管病共同的病理学基础。 已有研究证明,VSMC的
目的观察经尿道电切和膀胱灌注化疗治疗腺性膀胱炎的临床效果。方法36例经活检确诊为腺性膀胱炎的患者,在硬膜外腔麻醉下行经尿道病变电切术,术后每周进行膀胱灌注化疗,6-8次
目的:分析在肝硬化患者中应用凝血四项指标对病情判断的临床价值。方法:将2018年4月-2019年4月在我院就诊的72例肝硬化患者,将其分为代偿组(38例)和失代偿组(34例),另选取同