基于容器化技术的深度学习平台的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:weirguo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的不断发展,越来越多的业务场景使用深度学习算法解决实际问题。然而,深度学习算法应用的迭代周期普遍较长,包括数据采集与标注、算法训练、算法部署落地等必要环节。由于其流程的复杂性,所以需要大量专业背景不同的人员参与其中,使得沟通成本上升,影响算法迭代效率。此外,在算法迭代周期的各个环节都会面临诸多挑战。比如,在数据准备环节,数据采集与标注需要花费大量的成本,不完善的数据管理方式可能造成数据资产的丢失;在算法训练环节,复杂的算法环境依赖,不科学的模型迭代管理方式可能造成模型与日志文件的丢失;在算法部署落地环节,算法服务的开发部署与运维同样面临着许多困难。针对以上问题,本文的主要工作内容包含以下三个部分:(1)搭建了一个“数据-训练-部署”闭环生产的深度学习平台,提供一站式的深度学习服务,主要包含四个业务功能模块:数据集管理、算法训练、算法在线化服务、自助式图像算法任务。(2)在“数据”环节,针对传统数据标注方式效率低下的问题,本文设计并实现了算法辅助标注系统。采用图像聚类与标签预测算法,将图像标注效率提升了近3倍。(3)在“部署”环节,传统算法部署落地环节流程复杂,需要耗费大量开发、部署与运维成本。针对此问题,本文提出了一套基于Kubernetes的算法在线化服务统一计算框架。算法开发人员无需编写服务化部署代码,只需专注于算法本身,即可一键部署算法服务。本文实现了算法服务部署运维的自动化与标准化,同时赋予了算法服务高并发与高可用性。
其他文献
建筑业是我国国民经济的重要组成部分,随着近年来建筑业的蓬勃发展,建筑业农民工队伍也在逐年扩大,然而随之而来的是农民工自身权益受损害事件不断增加,逐年不断的农民工集体讨薪事件成为各级政府难以解决的课题。农民工欠薪问题能否妥善解决不仅直接影响农民工自身的生存问题,也间接影响了地方经济的发展、我国建筑行业的健康成长以及社会的和谐与稳定,因此,进行建筑业农民工欠薪问题的风险研究具有重要的现实意义。本研究在
近几十年来,随着经济水平的提高,人们对物质生活的要求也逐渐提高,智能家居也因此应运而生。但由于人民生活水平的日益进步,原先的智能家居越来越不能满足人们的要求,这是因为原先的智能家居并非真正的智能。随着物联网技术的发展和人工智能技术的日益成熟,智能家居的发展仿佛看见了新的曙光,如何能将智能家居的控制权从家居用户的手中真正移交给智能家居系统是目前亟需解决的重大难题,虽然研究之路必将艰辛且漫长,但是我们
当今社会随着信息化浪潮地不断推进,数字视频多媒体技术不断发展,数字电视显示设备及系统对视频图像的质量要求越来越高,视频图像的后处理技术变得越来越重要。视频图像去噪技术是视频图像后处理技术中不可缺少的一项关键技术,它不仅可以提高视频图像的观测质量,还可以作为其它视频图像增强技术的预处理步骤。因此,研究视频图像去噪技术具有广泛的工程应用价值。本文基于高分辨率视频的去噪实时性需求,研究了基于时间域、空间
数学是小学阶段的基础课程之一,同时也是促进学生思维发展的重要学科。因此,数学课程对于小学生的成长与发展有着十分重要的作用。但是,由于小学数学比较抽象,所以很多学生并
知行三级教学模式是密山市第一中学依据《普通高中语文课程标准(2017年版)》中要更加强调以核心素养为本,让学生多经历体验各类启示性、陶冶性的语文活动,逐步提高综合性能力的要求,提出的一种新的教学模式。这种教学模式包括自主学习,演绎引领和训练提升三个部分。学校强调学生应学会自主学习并对“自主”进行了自主阐释,:“自主”的“自”,核心内涵包括:自觉、自立和自控。其中的“主”,核心内涵包括:主人、主体、
伴随着遥感监测技术的飞速发展,遥感平台获取的图像所涵盖的信息也日渐丰富。遥感图像以其自身具有丰富的数据量为许多研究工作奠定了坚实基础。但遥感图像中存在巨大的数据量,具有复杂、多光谱和多层次等特点,时常出现目标形状各异等特殊情况。因此,如何精准化分割遥感图像成为了遥感图像处理的重点研究方向。聚类算法作为经典无监督学习方法,已经在图像分割领域得到了很好的应用。本文以Kmeans聚类算法在计算机视觉领域
科学技术的发展使得人类达到了物质文明的新高度,但也耗尽了大量的不可再生自然资源和生态能源。人们在享受科技福利的同时产生了数以万计的废旧产品,不仅破坏了我们赖以生存自然环境,而且对经济发展也造成了不可估量的损失。闭环供应链包含了产品生产和销售以及废旧产品回收和再制造环节,因此闭环供应链的研究对保护生态环境和发展绿色经济具有极为重要的意义。由于闭环供应链中各个成员在做决策时不仅关注自身得失,还会关注公
生态经济系统是生态系统与经济系统之间的复合系统,商品生产的主体企业和地区及其所处的环境便可以被看做是微观的生态经济系统。系统循环是系统主要的运动方式。生态经济系
在我国的教研制度六十多年来的发展中,逐步建立起了以省、地、县多级网络教研体系,并培育了一支既具有丰富教学经验,又具有指导教学、从事教育教学科研能力的教研员队伍,教研员承担了提高中小学教育教学质量、为教育行政部门决策提供依据和参考等的职责。在新疆近几年大力发展教育过程中,教研员的存在显得更加重要,各地区教研员队伍的质量高低是影响教师队伍质量的重要因素之一。本文通过对教研员研究的梳理发现,目前缺少对新
随着机器人技术的发展,其已经对工业生产、海洋探索和人们的生活各个方面都带来了巨大的影响。为了能使机器人具有更多的功能,如能够监视和测量外部的环境,因此将视觉系统引入机器人中,进而给机器人在定位和跟踪,获取更多信息和提高使用范围带来了优势。通过以上优势可知将机器视觉技术引入工业生产中,一定能使传统的制造业的智能化程度得到提高,具有重大的研究意义。本文首先分析了机器视觉系统的组成。对工业相机的工作原理