基于BLB改进的分布式深度森林算法

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:2km
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度森林作为深度神经网络的一种有效的替代方法,具有复杂度低、超参数少、健壮性高等特点,在分布式机器学习领域中得到了广泛的应用。最近,一个高效的分布式深度森林系统Forest Layer被提出,其设计了一种基于细粒度子森林划分的任务并行算法,以提高深度森林的并行计算效率。然而,Forest Layer的子森林划分是静态的、一次性的,对分布式计算环境没有适应性,并且粒度划分的大小对系统性能有重要影响。为了进一步提高分布式深度森林的并行计算效率和可扩展性,本文提出了两种分布式深度森林算法。第一种是基于BLB的分布式深度森林算法,即BLB-gcForest,它与BLB机制集成,扩展了gcForest中的级联森林结构,减少了级联森林层的大量传输特征实例,其次BLB-gcForest采用了本文设计的子森林自适应划分算法,来解决并行粒度划分问题。BLB-gcForest在级联森林阶段中,以更细的并行粒度对子森林中的每棵树进行分布式计算,森林被连续自适应地划分成多个子森林,更新经验分布,直到收敛。从而子森林自适应划分得以实现,同时确保每个子森林并行计算的最大资源利用率,解决了难以划分最佳并行粒度的问题,极大提高计算效率和通信效率。在分布式环境下的多项数据集上,实验表明BLB-gcForest的计算效率比最先进的Forest Layer提高了1.64倍,同时保证了良好的准确性和系统健壮性。为了从系统层级进一步提升BLB-gcForest计算效率,提出了第二种分布式深度森林算法,即基于PMB机制的BLB分布式深度森林算法。它对结果类向量提前聚合,减少了网络传输开销。此外PMB机制备份了初始样本数据,避免了冗余传输,以及对中间重要数据进行备份,提高了系统的健壮性。实验结果表明,开启PMB机制后的BLB-gcForest在多项数据集上并行效率最多提高了1.35倍,分别降低了系统CPU平均开销4.5%和内存平均占比4.2%,并提高了系统健壮性。
其他文献
随着课程改革不断深入,培养学生的学科核心素养成为广大中学教师的共识,其中思维品质就是英语学科核心素养的重要组成部分。但长期以来英语阅读教学作为培养学生综合语言能力的主阵地存在着模式固化、重知识轻思维、文本理解浅表化等问题,没有真正实现学生思维能力的长足发展,并且思维品质因其抽象性也成为一线教师的教学难题。思维品质是英语学科核心素养的重要组成部分,而英语阅读以话题语境和语篇承载的深层的文化内涵、语言
学位
2013年,习近平总书记提出“精准扶贫”概念,扶贫工作便在我国大力开展开来。从精准识别、精准施策到精准脱贫,所谓的精准,就是说要坚持针对每一户实施相应的帮扶政策,要找对贫困原因,根据导致产生贫困的原因来甄别使用相应的政策,最后落实解决贫困问题。精准扶贫的产生,包含着不同原因、不同类型的贫困,采取不同的脱贫措施,有针对性的进行帮扶,在壮大当地特色产发展、鼓励贫困农户自我发展等等方面政策的支撑扶持下才
学位
农民收入一直以来是饱受关注的焦点,尤其是进入新世纪以后,党中央将农民的幸福感、获得感放置于“三农”工作的重要位置,一系列减负增收政策为农民带来了实实在在的利益,农民收入与本世纪初相比有了长足进步。伴随着经济社会和科学技术的不断快速发展,农村居民现阶段的生产与生活状态较二十年前发生了很大的改变,农民收入来源也由主要由农业生产收入发展为来源多元化的收入模式,农民收入的构成变得更加复杂。而农民收入结构的
学位
乡村教师在提升乡村教育水平,实现乡村教育振兴中起到了至关重要的作用。对《乡村教师支持计划(2015-2020)》实施成效的研究可以反映乡村教师队伍建设的现状和影响乡村教师队伍建设的阻滞因素,为未来制定和实施相关政策提供优化策略。本研究梳理了围绕《支持计划》的相关研究成果,在明确了研究中的核心概念的基础上,以政策评估理论中的效果模型和马-萨模型、公平偏好相关理论以及行为激励相关理论为理论依据,运用文
学位
十九届四中全会上明确提出要建立人人有责、人人尽责、人人享有的社会治理共同体。社区治理作为社会治理中的重要场域,打造社区治理共同体则是构建社会治理共同体的重要内容。由于社会主义市场经济的迅速发展和新型城市化的逐步推进,我国社会的流动性逐步增强,许多城市新移民城市涌入社区。现实生活中他们对自己的参与角色认知模糊,主人翁意识缺失,以租客的身份长期处于被动式参与阶段。但实质上他们是社区治理中的关键主体,作
学位
随着科学技术的发展,社会的进步,越来越多的人们开始萌发对艺术和审美的追求。他们大多通过线下拍卖或互联网电商平台参与艺术品市场,然而这两种模式存在因艺术品档案难保存完整,数据易篡改导致的确权难溯源难等缺陷,让那些有想法投身艺术品市场的人们望而却步。因此本文尝试通过区块链技术为艺术品行业赋能,设计并实现了基于区块链的艺术品交易系统,旨在从根源上解决艺术品行业现存的问题。本文的主要工作如下:第一,构建了
学位
上世纪80年代后,大量民办教师退出舞台,但随之而来的师资不足、编制紧缺、经费不够的问题继而衍生,代课教师的规模不断应需扩大。代课教师的发展直接关系着学校教育的质量,关系着中国教育的发展。农村代课教师的问题近年来进入大众视线,被社会各界所关注,但是城镇代课教师问题也日益突出,无法忽视。随着城镇化进程加快,我国城镇中小学及幼儿园大量存在代课教师,他们有效地弥补了我国城镇公办学校的师资短缺,为城镇教育的
学位
生态环保教育一直是社会和学界关注度较高的问题。我国生态环保教育起步较晚,主要采用学校传统教授模式,此模式较为单调、沉闷,很难引起未成年人的兴趣,因而教学效果并不理想。社会组织具备的专业性和灵活性特点,使其成为发展教育事业的重要补充力量,并在我国的生态环保教育事业中扮演重要角色。本文研究了社会组织与公立小学在生态环保教育中合作的现状和问题。以XF环保服务中心与SX小学合作的“绿色小公民”项目为实例,
学位
近年来,世界各国之间的经济往来持续加强,在全世界一体化进程中,汇率变动对我国出口型外贸公司的影响程度日益增强,影响范围逐渐扩大。自811汇改以来,我国出口型贸易公司所面临的风险压力前所未有,由于汇率波动因素导致的金融经济风险日益显著。本文首先介绍汇率风险管理理论及相关理论文献,接着以Z贸易公司为例,探讨在汇率风险管理中,中小型贸易公司可能存在的问题。具体表现在以下几点:一、汇率风险管理结构松散;二
学位
顶岗实习是职业教育中非常重要的一个教育环节。近年来随着职业教育越来越受到国家的重视,职业教育学生人数也在不断地增加。与此同时,学生在顶岗实习期间发生的各种问题也在不断地凸显,其中最突出的就是学生在实习过程中因身体受伤而无法得到有效救助、实习生加班加点现象严重、薪资待遇等合法权益得不到保障等。如何保障学生顶岗实习期的权益,成了学生、家长、社会普遍关心的问题。本文以上海A职业技术学院为例,以该校313
学位