卷积神经网络作为人工智能技术的重要组成部分,因其出色的特征捕获能力被广泛应用于图像处理领域。由于无处不在的CPU设备和其独特的灵活性,以及现实场景部署CNN模型等限制,使得在CPU设备中部署CNN模型变得更加广泛普遍。然而CNN巨大的参数量和计算量使推断过程拥有超高的访存次数和计算次数,导致推断延时较大,难以满足应用要求。因此,本文以降低访存延时和提高计算并行度为切入点,采用批量处理的思路,加速CNN的整体推断过程。针对CNN频繁访存导致访存延时较长的问题,本文结合未深入研究的Layerwise策略提出了一种基于Layer-wise批处理的CNN推断优化方法,使批量数据之间重复使用权重,进一步提升了数据局部性,减少了Cache miss的次数和访存延时。首先,本文将Layer-wise批处理策略应用到CNN的卷积层、全连接层和池化层,其中根据卷积层的三种通用卷积算法的不同特点分别提出了基于Layer-wise的卷积方法（LW-NCOV、LW-ING、LW-IRG）;其次,根据最佳通用卷积算法在Layer-wise策略下写内存频繁,容易导致Cache中有用数据被置换出去的问题,提出了最适合Layer-wise批处理的卷积方法ISC,能够在计算中有效降低Cache miss次数。实验结果表明,相比传统的Image-wise方式,Alex Net使用LW-IRG方法在不同批量数据推断时速度提升比例为13.17%-35.3%;相比LW-IRG方法,Alex Net使用LW-ISC方法在不同批量数据推断时速度提升比例为7.6%-33.81%;此外全连接层、池化层相比传统推断方式最佳速度提升量为41.89%和21.15%。针对CNN巨大的计算量和云端应用场景下推断请求到达时间不确定的现象,以及单个样本推断请求无法充分利用CPU多线程并行的缺陷,本文提出了一种分层批处理的推断方法LBCI。该方法针对网络运行时出现新推断请求的情况,根据是否超出网络中最先推断样本的最佳运行时间（OPT＿TIME）来判断最新的样本推断请求是否加入网络共同推断,因此充分利用CPU的并行计算资源,提高计算速度。首先提出了缓冲区数据探测模块,实现推断和接收新数据任务同时执行;其次,提出了BD推断时间预测方法,以此确定调度数据的个数。实验结果表明,在单样本推断场景中,Alex Net在不同请求流速推断的情况下,LBCI比传统方式减少了10.43%-52.43%的延迟时间,提升了9.56%-20.3%的吞吐量,并且对高流量情况违反OPT＿TIME的频率也有所改善;在多样本推断场景中,Alex Net在不同请求数量推断的情况下,LBCI比传统顺序方式的推断时间提升4.32%-22.76%。