近几年,卷积神经网络（Convolution Neural Network,CNN）已经成功应用于许多计算机视觉任务,它的核心是通过卷积运算、池化以及非线性运算,使网络能够在每一层的局部感受野内融合空间和通道信息建立高维特征表示。传统CNN通过执行线性组合和逐元素非线性运算,可以从输入图像中提取一阶信息。而二阶统计信息是对局部特征组按通道计算协方差矩阵、Fisher信息矩阵或基于向量外积运算得到特征的二阶相关性。研究表明,高阶表示法可以有效增强非线性建模的能力,已有的大部分工作考虑在传统任务中引入二阶统计信息,但直接向量化输出二阶信息矩阵会导致全连接层参数规模过大,降低了模型的效率。本文拟将图像中的一阶和二阶信息结合起来,进一步提升卷积神经网络的泛化能力。并且使信息矩阵在最大限度降维的情况下,研究如何充分的利用二阶信息。抓住二阶信息矩阵是对称正定这个特点,在尽可能少丢失信息的情况下,寻找一种分解方式来减少参数。为达到以上目标,我们设计了高效便捷的算法并将其用于一阶信息与二阶信息的网络模型。主要研究贡献分为以下两部分:一、提出了一种利用二阶统计量的新型CNN结构,主要包括信息矩阵计算,引入参数变换以及二阶统计信息分解。这种层结构有着自身的优势:（i）从卷积激活中提取协方差矩阵,在协方差矩阵中加入一阶信息,完成二阶与一阶信息进行非线性运算;（ii）对信息矩阵进行特征值分解,用特征值度量特征通道的重要度;（iii）给出双线性参数矩阵大小的设置公式,以及（iv）对二阶信息矩阵建立了Cholesky-DLT压缩策略（Cholesky Decomposition Log Transformation）,通过所提出的矩阵分解方法实现了从黎曼流形结构到欧氏空间的变换,同时减少了参数数量。实验表明,通过加入Cholesky-DLT压缩策略,模型参数量减半的同时,提高了图像分类准确率。二、本文提出一种新型模块称为So Conv-block（Second order Convolution block）,利用多层一维卷积与二阶统计量进行建模,有效提取高阶统计量进行特征表示,能够展示建模特征与远距离特征之间的直接依赖关系。加入So Conv-block模块还可以利用注意力机制学习特征的偏好程度,显示建模特征的重要程度。这种新型模块可以很方便的整合到端对端网络结构中,很好地应用在任意一阶网络模型,通过加入少量的参数来提高图像的分类精度。