【摘 要】
:
在21世纪的今天,人工智能蓬勃发展,而神经网络模型技术的逐渐成熟在其中起到了关键性的作用。神经网络模型作为一种特征提取器在多个研究领域都展现出了强大的性能。这主要是因为它对复杂函数有着强大的拟合能力,并且参数越多拟合能力越强。因此网络结构被设计的越来越深、越来越宽。然而,模型的训练和测试不仅要占用非常多的存储空间,还对设备的硬件有较高的要求。这给神经网络模型在边缘端设备上的部署造成了非常大的障碍。
论文部分内容阅读
在21世纪的今天,人工智能蓬勃发展,而神经网络模型技术的逐渐成熟在其中起到了关键性的作用。神经网络模型作为一种特征提取器在多个研究领域都展现出了强大的性能。这主要是因为它对复杂函数有着强大的拟合能力,并且参数越多拟合能力越强。因此网络结构被设计的越来越深、越来越宽。然而,模型的训练和测试不仅要占用非常多的存储空间,还对设备的硬件有较高的要求。这给神经网络模型在边缘端设备上的部署造成了非常大的障碍。因此,神经网络模型压缩这一研究方向在近年来受到了广泛的关注,不仅可以实现参数量的压缩,还可以对模型的推理速度进行加速。本文分别从低秩分解和剪枝两个方向提出了两个新的基于低秩约束的神经网络模型压缩方法,具体介绍如下:1)基于随机张量分解算法的层次压缩框架。该方法首先利用随机投影技术将原始张量投影到一个中间维度,然后再对其进行进一步的低秩张量分解。经过两层的层次压缩可以有效地达到期望的压缩比,同时可以得到一个较为精确的原始张量的低秩近似值。该方法创新性地将随机投影与张量分解方法结合起来,在计算效率和模型性能上达到了一个更好的平衡。此外,借助于随机投影的特性,通过层次的压缩可以去除参数中的噪声,使对含有噪声的参数的压缩变得更加鲁棒。在两个数据集上的实验结果证明了基于随机张量分解算法的层次压缩框架可以取得较好的性能。2)核范数正则引导的自适应剪枝方法。已有的剪枝方法利用l1范数衡量滤波器的重要性,但是当范数值分布得很均匀时,剪掉任何一个滤波器都会造成很大的信息丢失。针对此问题,本方法提出在模型训练过程中利用核范数引导参数趋于低秩,使滤波器的范数值之间的方差变得更大。另外,为了解决每层参数的剪枝比例固定不变的问题,提出了剪枝比例动态调整策略,可以随着参数低秩性的变化动态地确定当前的剪枝比例,有利于对模型进行更合理的剪枝。在多个网络上的剪枝结果可以证明该方法相比于其他方法是更加有效的。
其他文献
蛋白质是生命的物质基础,也是构成细胞的重要有机物,它与我们的各种生命活动息息相关,因此研究其功能对于推动生物学、医学等领域的发展十分重要。在本文中我们提出一种基于序列聚类的蛋白质功能预测方法,我们知道蛋白质的伪氨基酸组分不仅包括了蛋白质天然氨基酸的组分信息,还增加了氨基酸序列顺序效应的影响,因此本文通过调节不同的参数,提取了人类注释蛋白质伪氨基酸组分的特征向量,使用机器学习中无监督的谱聚类算法将各
<正>余尚贞教授为国家卫生部临床重点专科、国家中医药管理局重点专科、广东省江门市五邑中医院脑病科学术带头人,广东省名中医。从医三十余年,师从国医大师梅国强教授,医德高尚,医术精湛,临床经验丰富,善于运用经典指导治疗内科杂病、疑难病。历来医家认为"脾为生痰之源,肺乃贮痰之器""其标在肺,其制在脾,其本在肾",多从肺脾肾论治咳嗽。余尚贞教授临证审证求因,治病求本,
恶意应用是移动终端用户面临的最严重威胁之一。由于恶意应用的恶意性、传播性和隐蔽性,恶意应用的检测往往落后于它的出现。虽然目前已从应用行为分析、特征提取和动态执行等多方面对恶意软件进行研究,但缺乏对恶意应用作者系统的、全面的分析。本文从Android应用作者的角度对应用程序展开研究,解决应用作者识别和行为分析问题。为准确识别应用作者,提出一种二阶段方法A~3Ident,包括作者解耦和作者识别两个阶段
武汉东湖风景名胜区是典型的城市型风景名胜区,为进一步提升景区的品质,将东湖打造为世界城中湖典范和世界级城市生态绿心,武汉相关部门结合《武汉东湖风景名胜区总体规划(2011—2025)》开展了东湖风景名胜区喻家山服务区详细规划的编制工作。文章以东湖风景名胜区喻家山服务区详细规划为例,在分析服务区现状的基础上,提出了“完善保护区划、加强生态保护,强化功能结构、提升空间环境品质,突出东湖水域特色、明确功
基于植被净初级生产力和覆盖度的植被生态质量指数构建方法,对长白山自然保护区2000—2021年植被生态质量变化情况进行评估分析。结果表明:长白山自然保护区是吉林省绿色程度较高、生态环境好的区域,植被覆盖度和年净初级生产力总体呈上升趋势;生态质量指数随着海拔的升高而降低,2000年以来,植被生态质量指数总体呈上升趋势;96.6%的区域植被生态质量在持续提升,特别是西南坡增幅显著,生态质量变差区域主要
现实生活中,交流过程不止有说话声,更是充斥着各种各样的噪声干扰着沟通质量。因此,如何更好地抑制噪声对沟通的影响性,是一个急需解决的问题。语音增强是为更好的解决噪声对交互影响而出现的技术,主要目标是增强混合语音中的目标语音,从而在一定程度上使得增强后语音更易于理解。传统的语音增强只能较好的应对平稳噪声,对于非平稳噪声效果往往不太理想,最近深度学习的崛起在很大程度上解决了对非平稳噪声的抑制。由于频域处
目标检测一直是计算机视觉领域比较典型的研究问题,在实际生活和工业场景中也得到了越来越广泛的应用。但是,由于目标检测中存在一些问题对于其性能提升造成了阻碍,比如:多尺度目标特别是小目标、目标之间相互遮挡、复杂环境的噪音干扰。因此,针对以上问题,本文从复杂场景及小目标两个方面着手进行了研究。论文的主要工作如下:1、针对多尺度目标检测任务存在小目标检测准确率不高,召回率较低的问题,提出了一个基于双通道注
随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及,人脸识别和分析技术正在经历前所未有的发展。目前,人脸识别和分析精度已经超过人眼。此外,人脸表情识别(Facial Expression Recognition,FER)作为人脸识别和分析技术中的一个重要组成部分也已经达到了前所未有的精确的效果,但对于复杂环境下的人脸表情图像(有遮挡、低分辨率、有额外噪声),想要达到同样的精确的识别结果
为了提升石油烃污染土壤的修复效率,考察了不同表面活性剂(吐温-80 (Tw-80)、曲拉通X 100 (TX 100)、十二烷基硫酸钠(SDS)、十二烷基苯磺酸钠(SDBS))对过硫酸钠氧化土壤中石油烃的强化效果,并分析了表面活性剂SDS强化修复效果较优的原因。土壤中石油烃的去除率遵循如下趋势:SDS>SDBS>TX 100>Tw-80。SDS强化修复效果较优可能与其在土壤中吸附量较小对石油烃的增
通过眼球捕捉的视觉信息是人脑认知世界、感知周围、捕捉外界信息的重要途径之一,随着眼动跟踪设备的不断完善,使用眼动数据分析人脑认知的方式越来越受到研究人员的关注。然而目前对眼动数据的研究主要是从“自底向上”的角度分析,缺乏对“自顶向下”因素的讨论与定量化分析计算。本文主要从“自顶向下”的角度对多目标跟踪过程中的凝视控制进行分析,探究了人脑完成多目标跟踪任务中进行的注意力分配过程,并研究了条件熵与凝视