中医舌诊作为中医望闻问切四个重要的诊断方式之一,因其直观稳定且易于观察的特点,与其它中医诊断手段相比更具客观性。为了将中医国学发扬光大,国家正在积极推进中医理论和中医诊疗的现代化、客观化和标准化工作。如何将古、近代医学名家对舌诊的经典论述和临诊经验进行挖掘,将中医舌诊自动化,发挥其较高的临床应用价值是弘扬中华医学特色优势的重大课题。随着医学图像处理技术和人工智能技术的不断发展,将其和中医专家的临诊经验结合,实现舌象特征的定量化以及舌诊的自动化,是当前中医舌诊现代化研究的主流方向。虽然许多研究人员已经对舌诊自动化的两项关键技术舌体分割和舌象特征分析做了很多工作,但是仍存在许多问题:对于舌体分割,由于大部分研究都是使用传统的图像处理技术,故无法实现自动分割,同时分割的精度也不高;对于舌象特征分析,大多数研究主要采用经典的机器学习方法,需要人工提取数据特征,无法实现端到端的学习,并且大多数研究都是在研究单个舌象特征,忽略了多种特征之间的关联性。对于中医证候,由于需要中医专家的参与导致目前这方面的研究比较少。针对上述研究的不足,本文结合现有的相关技术,提出了新的舌体分割方法和舌象特征分析方法,构建了一种端到端的舌象分析模型,并结合决策树实现对中医九体质的预测,为中医舌诊自动化的进一步发展提供了研究基础。本文主要的研究内容及创新点如下:第一,本文在舌像分割部分的研究,首先为了解决FCN基于单像素进行分类,没有考虑像素间相关性的缺点,提出了一种新的基于区域关联的单像素损失函数,目的是可以指导模型来显示的学习局部区域内像素之间的相关性,该损失函数可以有效的结合相邻像素之间的颜色和语义的关联关系,并与目标像素的语义信息来共同指导模型学习。然后为了解决有些分割结果出现的空洞和毛刺现象,本文提出了一种结合FCN和CRF的语义分割模型,实验验证了CRF可以有效的优化分割结果,使分割后的舌体图像更多的保留了真实舌体的细节信息。最后,基于新的损失函数的FCN和CRF融合模型的MIo U指标为96.55%。第二,本文在舌象特征部分的研究,为了实现对尽可能多的舌象特征进行分析研究,本文在VGG16的基础上融合了空间变换层和可学习编码层,以期可以高准确度的识别多种舌象特征。基于舌象的几何特征提出了一种融合空间变换层和VGG16模型的舌象几何特征分析模型,通过空间变换层来提高模型的空间不变性,同时提出了一种融合可学习残差编码层和VGG16模型的纹理特征识别模型,将卷积得到的有序特征变成无序的表示方式,使其可以更加有效的表达舌像的纹理信息。为了使模型更快的收敛,将舌像分割模型学到的知识对以上两个模型进行参数迁移,实验验证了空间变换层对提高模型空间不变性的有效性以及可学习的残差编码层对舌象纹理特征语义表示的有效性,最后,所有特征的平均识别准确率达到了82%以上第三,本文结合舌像分割模型、舌象分析模型以及决策树提出了一种中医体质辨识模型,在进行有效的舌像分割和特征分析后,通过得到的舌象特征结合形体特征与年龄特征使用决策树模型对中医体质进行预测。实验结果表明,在测试集上的测试结果的准确率达到了90%,同时,为了验证该体质辨识模型的有效性,本文研究了该方法与问卷体质辨识方法的一致性,结果显示,两种方式在各种体质上的预测结果是比较一致的,总体的一致性达到了76.7%。