随着互联网和移动通信技术的发展,互联网商品图片以海量的速度增长。实践中发现由于部分商品图片不具备自然物品的特征,卷积神经网络对这类图像分类的准确率不高,但图像中文字却包含丰富的分类信息,可通过自然场景下文本识别技术抽取这些信息并加以利用。本文根据商品图像数据特点,以基于深度学习理论的商品图像分类算法为重点研究对象,主要研究工作如下:(1)研究图像分类技术,并提出利用图像中的文本信息进行多模态学习这一技术路线。本文利用卷积神经网络使用迁移学习技术在VGG16、Inception、ResNet50等模型上进行调优,为多模态学习提供了图像分类算法。(2)研究了从商品图片中提取和识别文字的方法,为多模态学习提供了文本模态数据。利用自然场景文本检测模型EAST对商品图片中的文本框提取。本文还完成了文字识别网络在商品图片文字识别任务上的落地,即提出使用CRNN模型完成对图片文字识别。(3)研究了文字的分类算法,为多模态学习提供了文本分类算法。本文实现了TextCNN和BERT两种文本分类模型,结合工程实践,最终选择BERT语言模型用来提取文本特征。本文利用多模态学习技术,整合(1)、(2)、(3)研究工作,提出了一个把图像特征和文本特征在特征级别进行融合的算法,利用多源数据辅助学习来提升分类准确率,降低泛化误差。本文最终使用Keras(人工神经网络开发库)将多模态分类算法实现。这一多模态分类算法解决了商品图片用卷积神经网络无法提取到足够有效特征的问题。实验结果表明,相比于仅使用图像信息分类的方法,本文实现的多模态融合模型的推断结果在测试数据集上的准确率有6%提升。本文第六章提供了一个商品图像分类Web服务。