深度学习是一种人工智能技术,它采用基于人工神经网络的算法构建而成。在过去的十年中,它已成为研究人员和开发人员解决完全自动化任务的绝佳工具,否则这些任务将由人类完成。在过去几年中,深度卷积神经网络(Convolutional Neural Network,CNN)成功地训练了大型分类问题模型,为改善计算机视觉和机器学习应用做出了重大贡献。与传统的网络相比,CNN能够训练大型、复杂的数据集并产生突破性的分类结果,因此在深度学习中越来越受欢迎。毫无疑问,CNN需要高计算和内存成本。这将其实施范围限制在具有强大中央处理单元(Central Processing Unit,CPU)和图形处理单元(Graph Processing Unit,GPU)的设备,对于通常资源有限的移动手持设备或嵌入式设备来说,这可能具有挑战性。与大型并行CPU网络和GPU工作站相比,智能移动嵌入式设备最近激增,通常资源更少,因此迫切需要确保计算机和深度学习模型部署在此类设备上。本文旨在在资源有限的设备上训练和测试CNN,探索任何深度神经网络的确切内存使用要求和计算时间,并确定确保其使用不受影响的最佳方式。尽管许多技术已经提出并实施,但比较不同的技术并找到最简单、最准确的技术是很重要的。在过去几年中,由于GPU系统和内存成本高昂,为深度学习研究做出重大贡献的最有效分类方法(如在Image Net竞赛)中成本高昂。本文侧重于找到有效方法,显著减小我们的训练模型、内存和运行时要求的大小,同时实现真实应用的标准精度指标方面的技术性能。首先,修剪和量化方法对分类任务的模型大小减小的贡献;其次,研究了室外场景和室内场景的语义划分,提出了一种新的深度神经网络架构,以有效理解场景;第三,研究生物医学成像应用中的低成本深度学习方法。主要贡献和创新概述如下:1.提出了截细、稀疏二进制权重网络以减少模型大小加速推理首先,将基于泰勒扩展标准的排名方法应用到每层滤波器修剪,该方法近似于修剪特定网络滤波器的损耗函数变化;然后,使用训练三元量化将修剪模型的全精度(32位)权重减少到三元(2位)值,从而获得修剪的稀疏二进制权重网络。在加州理工学院-256、牛津花102和加州理工学院UCSD Birds 200基准数据集的结果显示,此方法将模型大小至少减少32倍(作为2位权重),但精度降低很少。此外,它还大大减少了所需的浮点操作的估计总数,并且可以在自定义硬件上部署时加速推理。2.提出了SEB-Net以实现精度和计算成本以及实时推理速度之间的平衡该模型由对称结构的编码器路径和解码器路径组成,其中编码器路径由16个卷积层组成,与VGG-19模型相同,解码器路径包括我们所说的E块(高效块),其灵感来自广受欢迎的ENet体系结构的瓶颈模块,稍有修改。此模型的一个优点是,解码器路径中的最大池用于E-Block中的扩展和投影卷积,允许较少可学习的参数和高效的计算(480x320输入每秒10.1帧(fps),参数比Deconv Net少11倍,在TESLA K40 GPU设备上640x360输入的GFLOP为52.4 GFLOP)。在剑桥驱动标签视频(Cam Vid)和城市景观两个室外场景数据集的实验结果表明,SEB-Net可以实现比完全卷积网络、Seg Net、Deep Lab V和Dilation8更高的性能。此外,在联合(i Lo U)的实例级交点方面,SEB-Net分别比ENet和Link Net等高效架构的交互性能提高了16.1和11.6。SEB-Net在室内场景数据集SUNRGB-D上进一步评估时,也表现出更好的性能。4.提出了SD-UNet实现在计算资源有限的设备上分割生物医学数据通过利用整个网络中的深度可分离卷积,本文设计了一个轻量级的深度卷积神经网络架构,其灵感来自于广泛采用的U-Net模型。为了恢复过程中的预期性能下降,本文引入了一种带组规范化方法的权重标准化算法。SD-UNet有3个主要优势:(i)模型尺寸小(比U-Net小23倍);(ii)参数减少8倍;(iii)推理时间更快,计算复杂度低于800万(M)浮点运算(FLOPs))。在ISBI挑战中对电子显微堆栈中神经元结构分割的基准数据集和MSD挑战脑肿瘤分割(BRATs)数据集的实验表明,该模型比目前最先进的模型效果要好。