舌诊是中医中的一项重要诊断方法。中医认为，舌头与人体的脏器密切相关，人体的某些疾病可以从舌头反映出来。因此，通过舌图像诊断疾病的技术一直受到广泛的关注，大量的计算机化舌诊技术被提出，然而由于不同疾病患者的舌图像之间的差异非常细微，所以如何准确地对不同疾病的舌图像进行分类是一项难题。而先前的计算机化舌诊技术都是手动提取舌象的特征，如颜色、纹理和红点，然后使用传统的分类器对这些特征进行分类，而手动的特征提取方法存在着一些缺点，一方面费时费力，另一方面只能提取图像的低层特征，所以分类性能受限。本课题为解决这一问题，利用深度学习的方法对数据库中的舌象进行分类。相较于传统方法，深度学习的方法可以提取图像的高层特征，从而提升分类的准确率。然而，神经网络非常依赖于大量的数据，而由于舌像难以采集、患者样本太少等原因，舌图像数据量非常少，在使用深度学习方法的过程中存在一些困难，本文针对这些困难，在数据预处理和模型优化层面展开了研究。
　　针对数据量过少以及数据不平衡问题，本文利用多角度的旋转、翻转和添加随机高斯噪声的方式扩增数据量并平衡正负样本的数量，为增强少量测试集的情况下模型测试结果的可靠性，提出了使用三折交叉验证的方式检验模型的性能。实验结果表明这些方法有效地增强了模型的泛化能力，提了模型的分类效果和分类结果的可靠性。
　　由于网络对学习率的变化非常敏感，难以选择合适的学习率使损失平稳下降并得到较好的分类效果。本文使用主成分分析的方法对网络中间层的数据进行观察，基于深度学习的理论分析了出现该问题的原因，针对该问题，提出了三种基于批标准化技术的模块，并通过实验分析和验证了每种模块的性能。
　　考虑到舌图像的各个区域对分类的重要性不同，本文利用全局池化、全连接和激活函数等操作，提出了一种新的基于卷积神经网络的注意力机制，该机制可以让网络学习每个卷积核和特征图通道的权重，增加关键特征的重要性。经过实验验证，该机制对分类准确率有较大的提升。