逻辑回归中的批量梯度下降算法并行化研究

来源 :武汉工程大学学报 | 被引量 : 0次 | 上传用户:sailala77882001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
逻辑回归中的批量梯度下降算法需要访问全部数据样本,在单节点环境下计算耗时较长。针对大批量数据集的训练问题,提出了一种基于MapReduce框架的并行化算法。首先利用HDFS文件系统存储训练数据集,MapReduce框架会对输入数据集进行分片处理,每一个分片交由一个Map节点进行处理;Map过程的输出结果会传给Combiner节点,进行各个分片内部的数据归并;所有分片的归并结果会通过Shuffle过程,进行各个分片间的数据合并,汇总成一个输出文件;输出文件会传给Reduce节点进行运算,最后将计算结果用于参
其他文献
精神发育迟滞是指在发育期内(18岁以前)智力低下,对生活、学习和工作等的社会适应能力不良,主要涉及个人与外界的关系、人与人之间的关系及个人行为的社会意义。轻度精神发育迟滞
<正>河蟹养殖池塘每年都会有青苔生长,怎样防治会比较彻底呢?众所周知,河蟹养殖池塘单一藻类的过分生长会给河蟹养殖带来了一定的危害,尤其以丝状藻类青苔危害比较严重,河蟹
期刊
针对当前教育应用产品缺乏对学习者体验的关注,导致设计存在体验偏差的问题,对学习者与用户的差异进行比较,强调学习者体验的重要性,提出在教育应用产品开发中引入学习者体验
随着造船对精度要求和成本控制要求的不断提升,施工对图纸和报表的信息需求越来越高,生产设计过程中模型信息需求的增加,带来了建模数量的增加。通过使用Python语言对TB系统
文章以西门子S7-200系列PLC的CPU224XP作为核心控制处理器,以西门子SMART700触摸屏作为人机交互界面,通过人机交互界面对电动机的运行状态进行监视及控制,完成电动机的启停、
本文重点从训练入手,针对青少年开展的篮球训练,主要阐述了三个方向的培训方式,第一是注重肌肉的记忆能力,第二是注重阳性、阴性的反馈,第三是加强基础训练,希望通过本文的阐
目的 采用HPLC方法对复方氨酚烷胺片中对乙酰氨基酚含量进行检测,探讨该检测方法在复方氨酚烷胺片质控中的价值。方法 采用Agilent C18(250mm&#215;4.6mm&#215;5μm)色谱柱、水
本文以《保险研究》1980年创刊以来所有的6169篇载文为研究对象,将改革开放40年来我国保险理论的演变过程分为四个阶段,统计分析每一个阶段的论文数量、研究主题、变化特征等
随着经济的发展,社会的进步和生活方式的改变,人们的理财方式也在悄然变化,已经由银行存储方式慢慢向多种方式改变。家庭结构的变化和社会的快速发展,也使人们对未来缺乏稳定
马克思拜物教批判理论是马克思历史唯物主义宗教观中一个突破性的环节,其理论主旨是从历史唯物主义的角度出发,遵循人与社会的协调发展,合乎共产主义社会人的本性而提出的。