近年来,深度学习技术在计算机视觉、语音识别、自然语言处理等多个领域崭露头角并取得了巨大成功。该技术主要基于神经网络模型,采用“端对端”的特征学习方法,通过多层处理找到数据中隐藏的非线性特征,进而能够从大量训练集中自动学习以掌握全局特征。然而,基于神经网络模型的深度学习技术目前还存在计算复杂度大和表达能力有限等问题。针对上述问题,本文从轻量化卷积算子和自适应激活函数这两个角度进行了研究:第一,提出了一种深度神经网络的轻量化卷积算子。卷积神经网络由于特征图与卷积核之间的密集连接模式而存在大量计算冗余。现有的工作致力于构造特征图通道间的稀疏映射关系,无法很好的兼顾特征图在通道内的稀疏映射关系。为此,本文研究了特征图在通道内稀疏映射关系,并提出了一种名为“梳状卷积”的轻量化卷积算子（CombConvolution Operator,CombConv）,旨在大幅降低卷积操作所需的时间复杂度。所提出的CombConv通过将线性映射并行、交错地插入到标准卷积映射中,将原有卷积操作的运算复杂度降为原来的一半。CombConv能够直接替换网络中的卷积操作,并进行端到端训练。在实验中,本文将使用CombConv前后的网络模型在图像分类任务上进行了对比。在多种数据集和多种模型上的实验结果表明,所提出的轻量化卷积算子CombConv能够在获得相当的分类效果的前提下,有效降低模型的运算复杂度。此外,CombConv致力于解决特征图层内计算冗余的问题,与减少层间计算冗余的方法兼容,因此可以将CombConv整合到现有的先进模型中,以进一步提升网络模型的效率。第二,提出了一种深度神经网络的自适应激活函数。现有的激活函数普遍存在均值非零、负值缺失和无界输出的问题,限制了神经网络的表达能力和收敛速度。本文研究了多种常见激活函数的特点,并提出了一种名为“平滑根号”的自适应激活函数（Soft-Root-Sign Activation Function,SRS）来同时克服以上三个问题。通过自适应地调整一对独立可学习参数,所提出的SRS能够捕捉更多有用信息并提供接近零的均值输出,从而提升网络泛化性能并加速网络收敛。同时,SRS作为有界激活函数,能够将任意大小的输入压缩到相同的范围内,因此确保了网络在训练过程中产生更稳定的分布。在实验中,本文将所提出的SRS激活函数与其他激活函数在图像分类、机器翻译以及密度估计三项任务中进行了对比。结果表明,所提出的SRS激活函数具有更强大的表现性能和更快的收敛速度。