煤炭在我国能源消费中占有举足轻重的地位,而在开采的过程中会含有大量的矸石,矸石不仅燃烧值较低,而且在燃烧的过程中会产生大量的有害气体,所以在煤炭的生产过程中分拣出其中的矸石成为必不可少的一个环节。目前人工筛选法效率低下,且分选的效果并不稳定。随着机器视觉技术的迅速发展,研究人员开始利用图像来完成煤和矸石的区分。传统的基于图像的煤和矸石识别方法,存在识别率低和提取特征困难的不足。鉴于此,本文引入了卷积神经网络算法,将其应用于煤和矸石的识别。使用卷积神经网络识别煤和矸石图像,样本的采集与数据集的制作是其中关键的一个步骤。本文对图像的采集过程进行了合理的设计,以黑色为背景来尽可能的贴合实际生产环境,固定相机与采集背景之间的距离来尽可能的反应煤和矸石的实际大小,对矸石图像进行过采样以保持数据的均衡性,通过采集从不同地点产出的煤和矸石图像保证了样本的多样性。并对采集的煤和矸石图像样本使用旋转、平移、和翻转等方法进行了数据扩充。为了兼顾样本的使用率以及训练次数,本文使用K折交叉验证来划分煤和矸石图像的数据集。目前的卷积神经网络在算法设计和结构上都存在较为明显的差异,为了得到更适合煤和矸石识别的网络,本文对多个经典的卷积神经网络进行了分析,具体分析了Alex Net、VGGNet、Goog Le Net和Res Net这四个网络模型,分别从网络模型的识别准确率、深度、参数量以及识别速度四个维度对其进行了比较,最终确定使用后三者对煤和矸石的识别进行研究。并尝试对上述经典的卷积神经结构进行了修改,以使其可以更好的应用于煤和矸石的识别。最后对原网络和改进后的网络进行了对比试验,结果表明,改进后的网络模型F1值均有所提高,证明了改进的有效性。为了提高模型对煤和矸石的识别率,本文引入了迁移学习的方法,首先使用大规模的数据集上对模型进行充分的训练,然后使用煤和矸石数据集对经过训练的模型进行参数的微调,实验结果表明,在采用迁移学习后模型对煤和矸石的识别效果有明显提升。