资源有限场景的深度学习训练方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:chris916
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络的出现使人工智能得以迅速发展,使得人工智能在许多领域发挥出举足轻重的作用,如智能家居、智慧医疗和智能交通等。智能化水平的提升不可避免的要求深度卷积神经网络更加复杂,以应对复杂的应用场景。然而硬件的发展遇到瓶颈,硬件资源提升的速度已无法跟上模型复杂度的增长速度,模型越来越难训练,使得人工智能的入行门槛也越来越高。物联网中的移动终端中存在着丰富的空闲硬件资源,如何利用它们成为了人工智能亟需解决的问题。5G通信技术的出现,一定程度解决了端与端之间的通信问题,人工智能有效的利用移动终端设备硬件资源成为了可能,推动了边缘计算领域的发展。在边缘计算中,移动终端设备是部署模型和训练模型重要的载体,但移动终端设备的硬件资源不及专用服务器丰富,复杂的模型通常无法在边缘的终端设备上进行有效的训练。训练复杂模型的背景下,本文对在资源受限的移动终端设备上,训练复杂神经网络模型的方法展开了研究,主要的工作贡献如下:(1)研究了基于轻架构与参数共享的训练算法。该算法从优化模型大小目的出发,依据模型在训练过程中产生的中间数据通常是模型的主要存储开销这一原理,设计了一种训练时产生较少中间数据的轻架构,并利用迁移学习的参数共享的方法,将其与原模型结合,在训练时将原模型参数冻结,轻架构则成为了训练时参与梯度下降的主要结构,使得新模型部署到资源受限的边缘终端设备上时能有效的训练。(2)研究了两步量化的模型压缩算法。该算法进一步优化模型在边缘设备上的训练过程。利用模型压缩的思想,对轻架构和原模型结合而成的新模型进行两步量化,压缩新模型,使其部署到边缘终端设备上时需要更少的存储资源和计算资源,同时模型的效果也能得以维持。(3)通过大量实验来证明本文提出算法的有效性。在多个公开的数据集,如CIFAR-10和Food-101,和多个常见的神经网络上,如Res Net-50和Proxyless Net设计了丰富的对比实验。分析了在不同算法下的模型的大小与模型的效果,证明了基于轻架构与参数共享的训练算法有效性以及两步量化的模型压缩算法的有效性。
其他文献
近年来,随着网络的发展和电子商务平台的迅速崛起,线上购物已经成为主流。在消费者深度参与的同时,网络上出现了大量用户评论信息,这些网购评论中往往蕴含大量有价值的信息。通过对这些文本进行情感分析可以得到关于商品的有用建议和反馈,提高购买效率,还可以找到产品问题,改善不到位之处,提高运营效率。情感分析技术由来已久,从最初的基于词典做规则匹配到提取文本特征后基于机器学习算法做分类,再到当下的深度学习技术。
学位
基础建设作为国民经济的支柱需要优先发展,建设大规模、高质量的电力工程是发展基础建设的前提条件。然而,我国电力工程造价管理方式较国际水平落后,制约了国内电力行业的发展。长期以来,电力工程实施过程中产生了大量历史工程数据,其中蕴含了丰富的造价知识。因此,如何从过往电力工程造价案例中挖掘有效信息,改善造价管理过程,成为亟待解决的问题。近几年,工程造价估算一直是研究热点,已有方法能够完成特定领域下工程造价
学位
推荐系统能够结合用户、物品的信息进行信息过滤,高效而准确的定位用户所需要的信息。然而对于不断加入的新用户、新物品而言,推荐系统内部没有充足的交互信息以及描述信息,无法对这部分用户以及物品进行有效推荐,这种现象称之为冷启动问题。近年来深度学习在各个领域取得令人瞩目的成就,不少学者开始尝试结合深度学习的方法来解决冷启动问题。基于深度学习的推荐模型需要充足的数据来支撑模型的构建,然而实际应用场景中用户与
学位
本文基于企业环境规制的微观识别,分析了环境规制对企业技术引进和自主创新两种技术进步方式的影响。研究发现:受到强制性环境规制后,企业技术进步路径会偏向技术引进;从异质性分析看,当受到环境规制时,东部地区企业会偏向技术引进,而中西部地区企业不仅不会增加技术引进,还会降低自主创新,以消极方式应对环境规制;从机制分析看,技术引进能够更好地改善企业环境绩效,稳定其生产规模,但对于企业生产率提升作用不明显;进
期刊
随着全球定位技术和基于位置服务的发展,大量文本数据附带了空间位置信息。在地理数据和文本数据的融合变的愈加普遍的情况下,空间文本数据的相关研究成为时空数据挖掘研究领域的热点之一。然而,数据的使用价值随着时间递减,及时获取到的有重要价值的信息对用户的决策有重要的影响,因此越来越多的研究人员开始研究空间文本数据的实时处理算法。空间文本数据的连续查询为本文的主要研究内容。不同于传统的查询,连续查询从注册于
学位
大数据的一个重要特征是多模态,不同行业领域的数据来源广泛、形式多样,每一种来源或形式都可以看作是一种模态,例如视频、图片、语音等。基于这些多模态数据,用户可能选择任何媒体形式的内容作为查询条件,因此跨模态数据之间的信息检索具有非常广阔的应用空间,已经成为目前研究的一个热点问题。跨模态检索的主要挑战是如何弥补不同模态间的语义鸿沟,目前已有的基于深度学习的跨模态检索方法通常利用神经网络单独学习每个模态
学位
强化知识产权保护是新发展格局下中国实现贸易竞争力提质升级的重要举措。本文将知识产权保护与全球生产分工纳入异质性企业框架,从成本节约效应和价值链提升效应揭示出技术后发国家增强知识产权保护提升企业出口国内增加值率的影响机制,以及技术距离的调节效应。然后,本文运用2000—2013年中国工业企业数据库和中国海关贸易数据库匹配数据进行实证检验,发现强化知识产权保护将显著提高企业出口国内增加值率,其作用机理
期刊
随着深度学习的发展和各种终端设备算力的提高,人脸识别被广泛的应用在生活的各个领域,人脸检测和跟踪是其中重要的一环。在实际环境中,人脸检测和跟踪处理图像的质量受到多个因素影响,如不同的摄像头对成像的处理、环境光的明暗变化、人脸面部遮挡物和面部姿态等。这些因素会导致在数据集上运行良好的算法在实际应用效果不佳。针对实际应用中人脸检测跟踪需求,设计并实现了面向复杂环境下的轻量级人脸检测跟踪系统。首先建立数
学位
轨迹数据是对移动对象的运动过程进行采样所获得的地理信息序列。随着GPS设备的普及,轨迹数据规模呈爆发式增长,这使得可以通过分析轨迹数据来方便人们的生活。基于轨迹相似度的k最近邻查询是轨迹数据分析的基本运算之一。然而,海量的轨迹数据使得现有的单机算法无法高效地完成查询任务。分布式方案能够利用多台机器的资源去加速查询过程,但目前最先进的分布式方案存在计算资源浪费和局部索引查询效率低的问题。为了解决上述
学位
最短路径问题是路网中一个基本的计算问题,在GPS导航、POI推荐以及路径规划等服务中有着广泛的应用。Dijkstra算法是解决最短路径问题的常用计算算法。给定查询起点和终点,它按照到点距离的远近顺序依次访问其他节点,并在到达终点时终止搜索。该算法简单精确,但是具有很高的复杂度,无法应用于路网这种大规模网络。因此,研究人员们采用基于索引的方法来解决在线搜索开销大的问题,而标签索引表现出了绝对的优势,
学位