基于分布式计算框架的大数据机器学习分析

来源 :电子设计工程 | 被引量 : 0次 | 上传用户:bear139
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于大数据挖掘的数据样本多样性与实时性需求,提出了基于分布式计算框架的大数据机器学习系统,对目前算法迭代计算的过程进行分析,以模型向量该变量使迭代的过程划分成为微调与粗调不同阶段,并且还能够发现在部分阶段中大部分样本对于计算结果并没有太大的影响,所以能够在迭代过程中直接使用上次迭代计算结果,降低计算量,使计算效率得到提高。通过实验结果表示,算法基于分布式集群环境中能够降低模型训练计算量,并且提高训练模型精准度,使大数据挖掘实时性得到提高。
其他文献
为解决传统信息系统故障修复方法耗费时间较长,修复度较低的问题,提出基于大数据分析的信息系统故障自动修复方法。利用大数据分析技术挖掘信息系统的运行数据。利用故障检测
针对传统小电流接地选线系统异态信号控制效果较差的问题,提出一种基于异态信号控制的小电流接地选线系统,系统硬件构成为数据采集终端模块、小电流接地选线模块、数据显示模
目的 比较单用文拉法辛与文拉法辛联合心理干预治疗产后抑郁症的临床疗效及安全性.方法 将90例符合CCMD-3抑郁症诊断标准的产后抑郁症患者随机分为研究组和对照组各45例.研究
“我要借钱…我想赚钱”连接起借贷的双方。“刚买完车,想借点钱周转下,请大家多多支持”“淘宝大卖家进货缺5000元,保证4个月内归还。”“房子首付还差3万,男军官+女教师,利息不要
近年来,随着电信市场的快速发展,电信企业正面临着诸如客户竞争激烈、渠道争夺加剧等挑战,通信企业要想生存、发展并在竞争和挑战中获胜就必须具备“竞争优势”。竞争优势包括更
针对目前中小水电的数量较多且数据结构较为复杂的问题,通过webGIS技术设计了水电安全信息管理系统。首先,通过目前成熟信息网络通信技术、全球定位技术有效整合安全生产监督管理技术与信息资源;之后,以最佳路径理论、WebGIS技术等技术基于J2EE架构设计了水电安全信息管理系统,有效实现安全监管点的信息化、可视化与透明化,使安全管理与应急救援工作效率得到进一步的提高。通过系统最后测试结果表示,系统运行
针对传统建筑工程中,管线综合跨专业沟通成本高、效率低下的现状,文中基于BIM技术对管线综合设计流程进行改进。通过使用BIM技术,整合给排水、暖通、电气等不同专业间的管线
智能光网络(ASON)是指在ASON信令网控制之下完成光传送网内光网络连接自动交换功能的新型网络。传统的传输只是两个层面——网管层面和传输层面,而ASON网络有三个层面,引入了控制
卒中后抑郁是脑卒中后常见的并发症,严重影响患者的生存质量,并阻碍神经功能的恢复,因此,对该病的积极治疗十分必要。对近5年中医药治疗卒中后抑郁的研究进展进行综述,以此期为卒
法国和意大利研究人员日前发现与导致结核病的结核分枝杆菌(结核杆菌)毒性有关的蛋白质,并成功培育出其活性减毒突变体,有望在将来研发出比卡介苗更有效的结核病疫苗。