【摘 要】
：
基于卷积神经网络（convolutional neural network,CNN）的深度学习（deep learning,DL）方法发展迅速,在计算机视觉、语音识别和自然语言处理等领域取得了很多成功的应用,尤其是在图像分类和目标检测等方面,相比传统的机器学习方法,深度学习往往有着更加出色的性能。这是因为深度学习具有更多的参数和巨大的模型加持。但是,深度神经网络（deep neural netwo
论文部分内容阅读
基于卷积神经网络（convolutional neural network,CNN）的深度学习（deep learning,DL）方法发展迅速,在计算机视觉、语音识别和自然语言处理等领域取得了很多成功的应用,尤其是在图像分类和目标检测等方面,相比传统的机器学习方法,深度学习往往有着更加出色的性能。这是因为深度学习具有更多的参数和巨大的模型加持。但是,深度神经网络（deep neural network,DNN）通常需要使用GPU来加速网络模型的训练和推理,巨大的耗能以及复杂的模型限制了其在嵌入式平台上的推广应用。然而,DNN模型中往往存在大量的参数冗余。因此,合理的模型压缩能够降低网络模型的存储空间、减少运算复杂度并节省硬件资源。近年来,DNN模型的压缩和加速技术已取得了一定的进展,但相关研究依然具有很大的挑战性。本文针对将网络模型应用于嵌入式平台（英伟达Nano）中模型存储和运行效率的问题,从卷积网络模型的定点数量化、剪枝和独立成分分析（Independent Component Analysis,ICA）预处理等方向对模型进行压缩。论文主要工作如下:（1）提出了一种参数量化的方法来进行网络模型的压缩。卷积神经网络的权重通过训练之后,其参数的分布整体为正态分布,使用MAX量化准则进行量化。在将网络模型进行量化时,当量化到低位时会出现模型精度下降的情况,我们对权重进行分布校正,然后对其进行归一化,对归一化之后的权重使用定点数量化。使用定点数量化能够有效的降低网络模型的存储空间,还能极大的节约运算资源,提高模型的计算速度。经过8位量化后模型的大小压缩了69%,但模型的精度只下降了0.78%。（2）提出了一种动态剪枝策略。卷积神经网络模型中有很多对结果不产生影响的参数,及冗余参数,权重剪枝能够很好的去除网络模型中的冗余参数。当我们使用设定阈值的方式来对网络模型进行剪枝时,对于误剪的权重并不能恢复,这样的剪枝会造成网络模型精度降低。对于这种情况,本文提出一种动态剪枝的方式。我们首先对网络模型中小于阈值的权重进行剪枝,剪枝之后动态的更新网络中重要的权重,对于剪枝过程中误剪的权重进行恢复。单独使用动态剪枝能够将网络模型压缩91.4%,结合8位量化后更是能够压缩93.7;但模型精度分别只下降0.32%和0.93%。（3）提出使用ICA预处理的方式来压缩网络模型。ICA通过提取原始图像的多通道分量,为CNN提供了处理后的图像,这些图像包含丰富而明显的特征。将使用ICA预处理后的图像输入到CNN中,CNN就可以使用更少的卷积核来达到相同的精度,从而在不损失模型精度的情况下压缩模型。
其他文献
伴随互联网技术的出现,各类在线社交媒体平台逐渐兴起,人们开始倾向于通过社交平台进行信息交流。用户通过信息交流而产生的转发行为形成了信息级联,信息级联不仅包含用户的社交活动信息,也反映了用户的喜好、价值取向等。因此,基于信息级联,对用户社交数据信息进行挖掘并分析是一项有价值的研究工作。影响力最大化与影响力预测是社交信息研究的重要方面,影响力最大化研究中通过评估用户的影响传播范围能够了解信息扩散的必要
车辆路径问题（Vehicle Routing Problem,简称VRP）是物流配送领域中研究最广泛的优化问题之一。在传统的VRP中,通常假设客户需求和运输成本是固定的,并且这些值在路线规划前已知。然而在实际应用中数据通常会存在一定的不确定性,此时由传统进化算法获得的解决方案在面对这些不确定性情况时,可能会产生一些超出预期的问题,例如,当客户的需求不确定时,由传统进化算法得到的解决方案可能会发生车
PU（Positive and Unlabeled,简称PU）学习作为弱监督学习的一种,是当前机器学习的研究热点。其目的是从正样本和无标签样本中学习一个分类器,实现对未知样本的有效分类,近年来在不同领域得到了广泛的应用。然而随着PU学习应用的推广,真实应用场景中存在数据维度高以及数据包含噪音等问题,这使得现有的PU学习算法难以获得高性能的PU分类器。为此,本文针对PU学习中存在的上述问题,在多目标
阿尔茨海默症（Alzheimer’s Disease,AD）是中老年人群中常见的进行性神经系统疾病,缺少有效的治疗手段,患者患病后逐渐由健忘发展到严重痴呆,最终导致死亡。当前缺乏AD的有效检测手段,很多患者直到晚期才被发现,如果能够提前预测AD,并介入治疗,能够有效延缓AD的发展进程,改善患者的生存质量。尤其是轻度认知障碍（Mild Cognitive Impairment,MCI）,医疗界将其视
机器学习主要研究从数据中生成“模型”,但是要生成有效地模型,则必须有足够的有标签数据。然而,在许多实际应用场景中,为数据打上标签是非常耗时和昂贵的。主动学习是解决这一问题的主流方法,其主动选择一些对于模型有“价值”的样本加入训练集,旨在以尽可能小的数据标记成本训练得到预期的模型。主动学习的核心是样本选择策略,合理的策略可以有效地降低数据标记成本。尽管现有的样本选择策略能够显著降低数据标记的量,但仍
科技的进步推动了人工智能的发展,而人工智能的成功离不开机器学习,尤其是深度学习技术的不断成熟。进行深度学习训练需要用到大量数据,但是随着人们隐私安全意识的提升,数据收集过程受到了越来越多的阻碍。而且在某些特殊领域想要得到准确的数据还存在一定困难。协同深度学习系统不需要将数据进行集中收集后交给第三方机构保管,其允许拥有数据的组织联合起来训练一个深度学习模型,解决了上述传统深度学习面临的数据收集和隐私
由于密码子的简并性导致编码氨基酸不发生改变,同义突变过去很长一段时间被认为对生命活动没有功能影响。然而,随着测序技术的高速发展和相关研究的不断深入,越来越多同义突变被证明和疾病发展有密切关系。从大量同义突变中准确识别有害同义突变,可以提高人类对疾病病理的认识,并为精准医疗的发展提供帮助。因此,精准识别有害同义突变逐渐变成一项具有前景的任务。通过传统生物实验的方法来识别有害同义突变,耗费时间长并且成
随着互联网技术高速发展,数字媒体成为了生活中重要的一部分。计算机,电子通信有关技术日新月异,多媒体有关技术也随之不断更新与完善,但是相关安全问题也随之而来。为了解决数字媒体中存在的严重安全问题,信息隐藏技术得到了广泛关注。此外,随着许多用户将个人的私密数据上传到互联网中相关平台进行存储,用户信息遭到泄露的风险显著增加。因此,将传统的图像加密运用到可逆信息隐藏算法中的技术,即密文域可逆信息隐藏技术受
车牌是区分不同车辆的重要标识。随着车辆的不断增加和交通的日益繁忙,智能交通系统变得越来越重要。同时,车牌自动识别技术在智能交通系统中发挥着重要作用,如视频监控系统、停车管理系统和交通违章摄像头。然而,目前大多数方法都是针对特定场景下的清晰车牌,对于不受限制的远程交通监控场景中的模糊和低分辨率图像,仍然没有一个出色的解决方案,其识别精度可以达到实际应用的标准。在很难继续提高识别算法精度的情况下,我们