面向深度学习模型训练的持续集成技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:lvzhenzhuo112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在近些年人工智能的研究热潮中,深度学习作为其领域下的重要研究方向得到了学术界和工业界的高度关注,并在算法、理论和应用等方面取得了丰富成果。而随着深度学习与业界融合的深入以及相关从事人员的增多,深度学习应用程序和软件系统的研发将会越来越规范化和自动化,如何使用传统软件工程的理论和实践引导这一过程也成为研究热点。相比传统软件,深度学习程序软件对数据有更强的依赖性,当环境中数据的统计属性变化或类别增加时,已经训练、测试和部署完成的深度学习模型预测性能可能会下降甚至发生灾难性遗忘,此时需要调整数据处理和算法设计等环节并训练模型学习新的数据。然而传统软件持续集成技术在上述场景下仍面临挑战,如无法为模型训练提供运行时环境、无法在数据变更时高效增量地进行模型重训练等。因此,围绕面向深度学习模型训练的持续集成技术,本文的研究工作如下:1、面向深度学习模型持续训练的虚拟容器平台在深度学习模型驱动的软件开发过程中引入持续集成技术,它能够在研发人员优化算法后自动地获取代码并在特定环境中执行模型训练等预定义的任务。基于版本控制工具、持续集成和虚拟化技术,我们规范定义了深度学习模型持续训练流程与模板,使用容器和镜像为模型训练等程序提供运行时环境和软件依赖,搭建了一个能够在版本仓库发生代码变更等事件时自动执行深度学习模型持续训练流程的虚拟容器平台。2、数据增量持续训练深度学习模型的编排技术针对数据变更时的深度学习模型自动训练问题,我们选用合适的版本控制工具来管理数据集和持久化存储的计算模型,从而让数据集的更新也能够触发虚拟容器平台上深度学习模型的持续训练。我们开发了脚本程序来辅助这一过程,使得少量的数据集更新能够跳过模型训练等“耗时耗力”的步骤、开发者能够获取容器中训练完成后持久化存储的模型文件。我们将这些脚本程序打包进可参数化配置的镜像作为流程组件并提供其使用模板。最后,通过版本管理持续集成的输入输出文件及其中各步骤的执行顺序和命令参数,我们版本管理了深度学习程序软件的开发过程,并使用模块化的版本仓库来让数据集和算法代码在彼此之间共享。3、深度学习持续集成过程中的模型增量训练针对数据变更时模型重训练时间可能会非常长的问题,我们提出了深度学习持续集成过程中的模型增量训练方法,从而让模型能够在较短的时间内学习新数据并保留先前习得的知识。基于对数据集和持久化计算模型的版本管理,我们将增量学习的经验重放方法引入了深度学习模型持续训练过程中。通过在不同体积大小数据集上增量训练神经网络模型的实验,证明它能够让模型在短期内较快地适应新数据来保持自己的预测性能。
其他文献
近些年,无人机的广泛应用对空域资源提出了更多的需求,无人机的运行空间将逐步由隔离空域向融合空域扩展,保证飞行安全是将无人机集成到国家空域管理系统的前提。感知与规避(Sense and Avoid,SAA)是实现无人机自主飞行安全的关键技术,设计无人机感知与规避系统时,如何配置和融合使用感知传感器是无人机实现空域信息获取的重要环节。本文首先研究了针对不同任务环境的无人机SAA系统的感知传感器配置算法
学位
人们在浏览电商网站或购物软件上的服装产品时,往往会产生多样化的检索需求,如希望找到在某些服装属性上与查询图片相似的服装,以及希望改变查询图像某一服装属性而保持其它服装属性不变的需求,即服装属性操作,这些需求即为细粒度服装图像检索,当前的搜索引擎对这些需求还无法很好的满足。针对以上的检索需求,需要提取图像与服装特定属性准确相关的特征,深度学习的发展使得这一操作成为可能,本文基于深度学习理论深入研究了
学位
关系抽取意在抽取文本中实体对的关系,对于知识图谱的构建起着重要作用,是自然语言处理中重要任务之一。关系抽取面临着诸多挑战,尤其是复杂语境和学习能力带来的文档级关系抽取以及少样本关系抽取问题。本文重点研究了针对上面两个问题现阶段的工作以及存在的不足并进行了相应的改进。我们发现以下几个不可忽视的问题:1)现阶段的文档级关系抽取模型一般只从单方面捕获信息;2)文档级关系抽取模型或者是依赖于外部解析器构造
学位
针对城市轨道交通X射线安检危险品识别,在YOLOv5m基础上,增加了CBAM注意力,分别对通道和空间的特征进行操作。经过实验验证,该方法的mAP50:95、mAP50分别提升了0.6和1个百分点,结果表明改进后的算法能显著提高检测精度。
期刊
近年来,在三维视觉感知技术的推动下,新型智能机器人逐渐具备了越来越强大的感知和交互能力。基于视觉感知的机器人抓取技术主要分为已知目标物体模型的抓取和未知目标物体模型的抓取。对于未知目标物体模型的视觉抓取,抓取算法需要尽可能地感知物体的完整信息。然而,受到物体遮挡和扫描误差的影响,单帧RGB-D图像中包含的物体信息往往不够完整并且存在一定的噪声,这给机器人的精准抓取带来了一定的挑战。而对于模型已知的
学位
随着互联网时代的发展,软件技术的应用越来越普遍,对相应软件的漏洞检测要求高效、准确。然而,软件漏洞是多种多样的,通过源代码检测漏洞对开发人员的专业经验要求很高。以往的漏洞检测方案要么依赖专家定义的特征,要么只对代码序列使用递归神经网络,很难在传统的代码空间中提取复杂的漏洞特征。近年来,随着人工智能技术的蓬勃发展,一些学者开始尝试提取源代码的抽象表示图,结合图神经网络用于软件漏洞检测,但目前此类研究
学位
知识图谱是一种重要的存储结构化数据的技术,它可以为多种信息化应用提供知识支持,例如推荐系统、问答系统等。知识图谱自动构建技术的研究在通用文本上开展的如火如荼,而在特定领域上则鲜有人问津。但对于医学、经济、军事等领域,专业的知识图谱是推动其领域信息化发展的关键因素。特定领域的标注文本往往是稀疏的,因此,本文立足于样本稀疏领域这一出发点,对知识图谱自动构建的问题展开研究。知识图谱中结构化知识的一个重要
学位
我国海岸线较长,海上交通制约因素较多且面临日益复杂的政治环境。且我国海上观测资源有限,在这种情况下如何利用有限的不同种类资源,共同解决海上目标搜索问题,对于解决海上搜救、灾害预警、加强我国海上执法能力等许多现实问题都具有重大意义。本文首先对海上目标搜索的问题特点进行分析,然后对各种观测平台的能力、使用约束、适用情况都进行了分析。不同平台都有各自的特点和使用约束,在海上目标搜索问题中扮演了不同的角色
学位
学位
随着全球经济的快速发展,纺织服装行业市场的并驱争先日渐激烈,用户对服装需求的日趋多样化使服装订单的生产要求也随之提升。纺织服装工业互联网平台汇聚了供应链上游众多相同或相近生产能力的服装企业,所接服装订单数量庞大。传统的方式是根据经验对订单进行安排,但这种人工分配方法效率低下,且无法保证分配结果是否能最大化平台利益,因此,如何通过科学手段对这些订单进行合理分配是目前平台面临的一大难题和挑战。目前对于
学位