卷积神经网络(CNN)在图像等原始输入数据的特征提取方面取得了很大的成功。尽管传统卷积神经网络对输入上的平移是具有不变性的,但它们对其他变换(包括旋转和翻转)并不是不变的。通常,全局旋转不变性通常是通过数据增强来寻求的,但对于每一块都具有旋转不变性是十分困难的。本文针对传统卷积神经网络不具有旋转不变性的难点提出了一种基于图像矩的卷积神经网络拓扑结构,它结合图像矩以及卷积网络两种技术。本文证明它能够有效地处理有关数据中旋转变化的先验知识且其比通常使用数据增强方法需要更少的模型参数和训练数据。另一方面,本文实现了一种新形式的基于图像矩分解的卷积核,将传统卷积层分为两个步骤。第一步利用图像矩系数将图像中对旋转最不敏感的相关信息过滤出来形成特征图。第二步连接卷积核为1*1的卷积层提取更高维度的信息并用于反向传播训练。此聚合操作使提取出信息对旋转方向不敏感,提高了旋转泛化能力。同时,本文提出了一种可以快速计算图像矩特征的方法,利用时域卷积和频域乘积的转换进行快速计算,提高计算效率、降低计算成本。本文在MNIST数据集与MNIST-rot数据集、EMNIST数据集与EMNIST-rot数据集上进行旋转不变性能的测试,与设计的两个基线网络结构以及主流方法进行对比试验,其在两个数据集上、预测原始图像的旋转版本时性能很优异,尤其是在将基于原始MNIST的模型训练、到MNIST-rot测试时。本文证明提出的基于图像矩的卷积神经网络在输入图像中找到了最理想的旋转方位信息用于训练,使用较少的参数却能达到更好的精度、且网络结构更简单,更利于训练利用。