论文部分内容阅读
摘要：针对卷积神经网络在小样本易产生过拟合，性能较差等问题，提出融合主成分分析（Principal Component Analysis， PCA）与并行混合的卷积神经网络（PCA Parallel Mixing CNN， PCA-PMCNN）模型。该模型首先利用主成分分析非监督预训练初始化卷积神经网络，学习得到含有训练数据统计特性的初始滤波器集合，以解决首层滤波器集无法充分训练的问题；其次，引入局部对比度标准化概念及概率最大化采样规则，以减小下采样对特征的损失，增强特征描述的鲁棒性；最后，采用线性修正函数（Rectified Linear Units， ReLU）代替非线性激活函数，以保证特征稀疏，提高训练效率。实验结果表明该模型对行人目标具有较好的识别率，对行人重叠、姿态变化、复杂背景等具有较好的鲁棒性。
关键词：卷积神经网络；主成分分析；局部对比度标准化；概率最大化下采样；并行混合
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）25-0199-02
Convolution Neural Network Combining Principal Component Analysis and Parallel Mixing
MA Wen-kai
（School of Information Engineering， Jiangxi University of Science and Technology， Ganzhou 341000， China）
Abstract： Convolution neural network is prone to overfitting and poor performance in small samples， we proposed a convolution neural network model combining principal component analysis and parallel mixing. The model first initializes the convolution neural network with the principal component analysis unsupervised pre training， and learns the initial filter set containing the statistical characteristics of the training data to solve the problem that the first layer filter sets can not be fully trained； Then， the concept of local contrast normalization and probability maximization sampling rule are introduced to reduce the loss of feature and enhance the robustness of feature description； Finally， Rectified Linear Units （ReLU） is used to replace the nonlinear activation function to ensure sparse features and improve training efficiency. The experimental results show that the model has better recognition rate for pedestrian targets， and is robust to pedestrian overlap， attitude change and complex background.
Key words： convolution neural network； principal component analysis； local contrast standardization； probability maximization sampling； parallel mixing
人工神經网络过多的参数设置，加剧了过拟合情况的发生；网络深度设计过深，易造成梯度发散，使得网络模型的解极易陷入局部最优。与人工神经网络相比，深度CNN特征具有鲁邦性强、抗旋转以及对光照变化不敏感等优点。LeNet5通过共享权值以及下采样层，减少了网络参数，降低了特征维数，但网络深度较浅，分类效率与识别能力有待提高。Alex-Net增加了卷积神经网络模型的深度，并扩充了神经网络模型中卷积核数量；文献[1]通过线性修正单元（Rectified Linear Unit， ReLU）来加速梯度收敛速率文献[2]采用全连接聚类以增强对图像中的非一致性动态模糊的鲁棒性。文献[3]采用Dropout层，增加样本训练的随机性，防止过拟合。
1 本文算法
1.1 主成分分析非监督预训练
卷积神经网络的输入为N张大小为[m×n]的图像，卷积滤波器的大小为[k1×k2]。获得图像[Ii]的图像块数据[Xi]，则主成分分析学习到初始化卷积神经网络的滤波器组[W1l]可表示为：
[W1l=mk1k2qlXXT] （1）
主成分分析非监督训练能够提取输入图像局部块的主成分信息，这些信息能够最大限度地代表图像的局部特征。
1.2 并行混合CNN模型
人类通过双目视神经来观察客观世界，双目视神经获取的视觉信息通过膝状体和信息混合以供大脑分析。将同幅图像采用不同的编码形式输入到深度学习网络中，神经网络通过学习能够获取到不同维度的特征信息，因此，本文提出了并行混合CNN模型，两条CNN数据流分别使用不同的输入数据，以增强对图像特征的描述力，如图1所示。 2 实验环境与结果分析
在Caltech256公开数据集上进行测试实验。训练Caltech256数据集时，Dropout ratio参数为0.5；初始学习率为0.005，采用多项式减小的方法控制学习率，其减小幂值为0.5；将Batch size设置为20，；迭代次数设置为20万次。表1列出了Caltech256数据集上不同深度网络模型的分类精度，可以看出，PMCNN的分类精度在Top1上也有了提高。
3 结论
本文结合人类视觉原理，融合主成分分析与并行混合的神经网络结构，提出PCA-PMCNN模型，在提高图像分类精度的同时，保证网络更具有鲁棒性；进行局部对比度标准化，对数据中存在噪声的目标图像鲁棒性更强，从而保证卷积神经网络对复杂背景有更强的鲁棒性；引入概率最大化下采样的方法，既能提高图像特征的抗干扰能力，又能减少图像信息的损失，提高图像信息的利用率能有效避免训练陷入局部最優，使特征更加稀疏；在公开数据集上的实验表明，本文模型在保证网络深度的基础上，设置多条特征数据流进行信息混合，提高特征的可判别能力。
参考文献：
[1] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis
关键词：卷积神经网络；主成分分析；局部对比度标准化；概率最大化下采样；并行混合
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）25-0199-02
Convolution Neural Network Combining Principal Component Analysis and Parallel Mixing
MA Wen-kai
（School of Information Engineering， Jiangxi University of Science and Technology， Ganzhou 341000， China）
Abstract： Convolution neural network is prone to overfitting and poor performance in small samples， we proposed a convolution neural network model combining principal component analysis and parallel mixing. The model first initializes the convolution neural network with the principal component analysis unsupervised pre training， and learns the initial filter set containing the statistical characteristics of the training data to solve the problem that the first layer filter sets can not be fully trained； Then， the concept of local contrast normalization and probability maximization sampling rule are introduced to reduce the loss of feature and enhance the robustness of feature description； Finally， Rectified Linear Units （ReLU） is used to replace the nonlinear activation function to ensure sparse features and improve training efficiency. The experimental results show that the model has better recognition rate for pedestrian targets， and is robust to pedestrian overlap， attitude change and complex background.
Key words： convolution neural network； principal component analysis； local contrast standardization； probability maximization sampling； parallel mixing
人工神經网络过多的参数设置，加剧了过拟合情况的发生；网络深度设计过深，易造成梯度发散，使得网络模型的解极易陷入局部最优。与人工神经网络相比，深度CNN特征具有鲁邦性强、抗旋转以及对光照变化不敏感等优点。LeNet5通过共享权值以及下采样层，减少了网络参数，降低了特征维数，但网络深度较浅，分类效率与识别能力有待提高。Alex-Net增加了卷积神经网络模型的深度，并扩充了神经网络模型中卷积核数量；文献[1]通过线性修正单元（Rectified Linear Unit， ReLU）来加速梯度收敛速率文献[2]采用全连接聚类以增强对图像中的非一致性动态模糊的鲁棒性。文献[3]采用Dropout层，增加样本训练的随机性，防止过拟合。
1 本文算法
1.1 主成分分析非监督预训练
卷积神经网络的输入为N张大小为[m×n]的图像，卷积滤波器的大小为[k1×k2]。获得图像[Ii]的图像块数据[Xi]，则主成分分析学习到初始化卷积神经网络的滤波器组[W1l]可表示为：
[W1l=mk1k2qlXXT] （1）
主成分分析非监督训练能够提取输入图像局部块的主成分信息，这些信息能够最大限度地代表图像的局部特征。
1.2 并行混合CNN模型
人类通过双目视神经来观察客观世界，双目视神经获取的视觉信息通过膝状体和信息混合以供大脑分析。将同幅图像采用不同的编码形式输入到深度学习网络中，神经网络通过学习能够获取到不同维度的特征信息，因此，本文提出了并行混合CNN模型，两条CNN数据流分别使用不同的输入数据，以增强对图像特征的描述力，如图1所示。 2 实验环境与结果分析
在Caltech256公开数据集上进行测试实验。训练Caltech256数据集时，Dropout ratio参数为0.5；初始学习率为0.005，采用多项式减小的方法控制学习率，其减小幂值为0.5；将Batch size设置为20，；迭代次数设置为20万次。表1列出了Caltech256数据集上不同深度网络模型的分类精度，可以看出，PMCNN的分类精度在Top1上也有了提高。
3 结论
本文结合人类视觉原理，融合主成分分析与并行混合的神经网络结构，提出PCA-PMCNN模型，在提高图像分类精度的同时，保证网络更具有鲁棒性；进行局部对比度标准化，对数据中存在噪声的目标图像鲁棒性更强，从而保证卷积神经网络对复杂背景有更强的鲁棒性；引入概率最大化下采样的方法，既能提高图像特征的抗干扰能力，又能减少图像信息的损失，提高图像信息的利用率能有效避免训练陷入局部最優，使特征更加稀疏；在公开数据集上的实验表明，本文模型在保证网络深度的基础上，设置多条特征数据流进行信息混合，提高特征的可判别能力。
参考文献：
[1] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis