集群环境下分布式集成学习动态系统的研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:wMystarw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习作为当前数据计算科学领域的焦点,强化模型预测性能是学界长期关注的热点方向,在此背景下研究者们提出了集成学习方法,该方法的基本思想是通过集成多个模型的推断结果,改善单个模型学习能力较弱的困境。但目前传统的集成学习仍存在两点缺陷:一是模型训练运行效率低下,即为了获得更优秀的模型性能导致单一模型训练运行时间以及集合推断结果的时间不断增长,传统的单机串行方式无法满足其应用需求;二是模型超参数依赖人为设置,其无法根据数据特征的改变做出动态选择调整。针对上述问题,本文设计基于Kubernetes集群的分布式集成学习动态系统。其通过集成学习的分布式部署机制实现弱学习器的高效并行训练运行,并通过弱学习器动态调整机制实现弱学习器的动态选择优化。其主要从三个方面实现:1)集成学习分布式部署机制:通过多数据卷数据集划分算法实现分布式环境下数据集的高效划分和传输,通过共享区加权轮询方法实现分布式环境下模型集成,从而达到提升部署效率和节约集群计算资源的目的。2)集成学习弱学习器动态调整机制:通过基于阈值判断和相似度度量的弱学习器选择规则算法实现弱学习器的选择替换,通过基于随机搜索的弱学习器调优方法实现单弱学习器性能的提升,从而提高集成模型性能。3)系统与Kubernetes平台部署:依据上述两种机制,基于Kubernetes分布式集群建立分布式集成学习动态系统,实现通过界面交互进行集成学习器任务的高效分布式部署运行,同时实现实时显示集成学习任务状态及上下线更新。本文对系统从机制测试、部署效率、弱学习器模型容器性能、分布式集成学习效率和系统稳定性等方面进行测试。经测试在多弱学习器并行情况下集成学习任务训练运行时间接近理想并行条件;在测试集上相较于传统集成学习在多个测试数据集上实现了平均5%的准确度提升。在实际应用环境下本系统相较于其他集成学习系统可以更好地发挥分布式集群算力,节约计算资源成本;同时相较于弱学习器固定的集成学习系统,其在提升结果准确度的同时降低了人工调优成本。
其他文献
学位
学位
随着移动互联网和智能终端的不断发展,移动智能终端应用于生活的各个方面,在日常的生活、娱乐、工作、学习以及移动支付等方面成为不可或缺的一部分。移动智能终端中存储着用户大量的个人隐私数据,认证系统成为保护用户隐私数据的一道重要防线。但是大量的侧信道攻击手段威胁着传统的显式认证,如基于计算机视觉的侧信道攻击和基于触摸屏油污的攻击等,用户的认证凭据面临着泄露的危险。此外,移动应用的发展使得感知用户正在运行
随着人本主义心理学和第二语言习得的发展,国内外学者对外语学习的研究对象逐渐从教师转向学生,“学习者”成为研究重点。语言学习观念作为影响学习者学习的重要要素,受到了广泛的关注。20世纪70年代,国内外学者研究发现,学习策略的应用对英语学习有很大的影响。《普通高中英语课程标准》(2017版)阐述了学习策略在英语学习中的重要性。因此,高中生语言学习观念、学习策略与英语学业成就之间的关系值得探究。本研究以
学位
随着移动互联网快速发展,以大众点评、Yelp等为代表的位置信息服务应用日益普及,用户通过签到、评论等行为分享他们喜爱的兴趣点,以记录所见所闻、旅行足迹。由于兴趣点数据呈指数级别增长,为了帮助用户找寻感兴趣的位置地点,兴趣点推荐技术应运而生。基于兴趣点推荐结果,服务商可以帮助用户快速获取满足喜好的兴趣点,提升用户体验;同时,也可以帮助店铺精准地吸引潜在客户,提高营销收入。相较于电影、音乐等推荐任务,
2016年,中国最高人民法院首次提出建设立足于时代发展前沿的“智慧法院”。在这样的形势下,构建法学领域的知识图谱是建设“智慧法院”的有效辅助手段,具有重要价值。构建领域知识图谱的前提是构建其概念体系,其包含了领域概念、领域概念间的上下位关系和概念属性关系等。传统的概念体系构建方法是采用领域专家进行人工构建,需要耗费大量的人力成本。因此,自动构建概念体系成为加快构建领域知识图谱的重要课题。现有领域概
蜱是一种专门吸血的节肢动物,蜱能够将最广泛的病原体(包括细菌,原生动物,真菌,线虫和病毒)传播给人类,是我国第二大传播病原体的传播媒介,是国家重点防疫传染病之一。我国地理环境复杂,随着当代城市化,气候变化以及人,动物及其各自栖息地之间相互作用的迅速变化,导致蜱寄生的宿主在自然界种类较多。蜱叮咬宿主后将口器中携带病原的唾液通过吸血的方式,使病原进入宿主体内。此外,蜱的传播感染是全畜牧业巨大经济负担的
遥感技术目前已广泛应用于多种军事和民用领域,准确地检测出图像中的物体对于分析和利用这些图像非常重要,并在安防、交通和救援等方面有重要的应用价值。随着卫星遥感以及航空摄影技术的快速发展,遥感图像的分辨率越来越高,人们可以获取更多的地物信息。然而,随着遥感图像分辨率的提高,图像处理难度也有所增大。随着计算力的快速发展以及许多优良网络结构的出现,深度学习在计算机视觉领域取得了显著成果。深度学习的出现给遥
乡村治理,人才是关键。随着国家治理体系的完善和推进乡村振兴发展的需要,使得乡村人才队伍的建设显得尤为重要,乡村治理和发展正需要能人所具备的能力资源,各地政府相继出台各种政策吸引人才回乡,建设乡村,推动乡村发展。在大力推动人才回乡的政策背景下,许多能人进入乡域,融入当地,参与乡村治理;但同时,一部分能人返乡之后,由于各种原因,无法获得村民的认可,无法顺利进入当地的治理体系,进而阻碍其参与乡村治理。而