论文部分内容阅读
中医体质辨识,以中医理论为指导,研究人类体质类型的生理和心理。目前中国的体质分类标准是王琦的九分法,即平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质等九种基本类型。其中,平和质表示人的生理和心理都处于正常状态;除平和质外的其他体质统称为偏颇体质,表示人可能处于亚健康状态,相较于平和质更易演化成某些疾病。随着电子信息技术的进步,利用图像处理、信号分析等手段对人体信息进行客观和定量化的分析,进而实现体质的计算机辅助分析与辨识得到越来越广泛地研究。将中医体质辨识与多模态数据处理和深度学习等相结合,提高体质辨识的准确率,成为近年中医现代化发展与应用的一个重要课题。本论文研究的主要目的是利用与人体体质辨识密切相关的中医多模态数据,研究端到端的深度学习模型,提高体质辨识的准确率。为此,本研究从舌诊和面诊图像的体质辨识、脉搏波的体质辨识、健康信息表的体质辨识和基于多模态数据的体质辨识等四个方面对深度学习模型进行了深入研究。健康信息表是针对问诊设计的问卷。主要研究工作如下:（1）基于舌诊和面诊图像的体质辨识:针对舌诊和面诊图像是可见光图像的特点,利用卷积神经网络在图像自动分类上的优势,构建VGG16、Res Net18和Inception V3模型。将2503例舌诊图像以7:3划分为训练集和测试集。最后在舌图像测试集上VGG16、Res Net18和Inception V3的准确率分别为0.6631、0.7050和0.6924;灵敏度分别为0.6929、0.7452和0.7667;特异度分别为0.6254、0.6656和0.5982。将2305例面诊图像以7:3划分训练集和测试集。最后在测试集上VGG16、Res Net18和Inception V3的准确率分别为0.6744、0.7381和0.7207;灵敏度分别为0.6744、0.6937和0.7266;特异度分别为0.6486、0.7432和0.7128。实验证明Res Net18和Inception V3的分类性能优于VGG16,并且Res Net18表现最好。（2）基于脉搏波的体质辨识:针对脉搏波信号作为时间序列数据的特点,采用循环神经网络长短期记忆模型（Long Short Term Memory,LSTM）和门控循环单元（Gated Recurrent Unit,GRU）实现体质辨识任务并且与目前文献报告分类性能最优的卷积神经网络（Convolutional Neural Networks,CNN）模型进行对比。将1726例脉搏波数据以7:3划分训练集和测试集。最后在测试集上,LSTM、GRU和CNN模型的准确率分别为0.6602、0.6853和0.6177;灵敏度分别为0.7945、0.7705和0.7226;特异度分别为0.4867、0.5752和0.4823。实验证明LSTM和GRU的分类性能优于CNN,并且GRU表现最好。（3）基于健康信息表的体质辨识:提出基于全连接神经网络的体质辨识模型。针对845例健康信息表数据,构建训练集和测试集对模型进行训练和测试,最后模型准确率为0.6260,灵敏度为0.6774,特异度为0.5455。（4）基于多模态数据的体质辨识:针对540组多模态数据,构建特征融合模型和决策融合模型。在测试集上,特征融合模型和决策融合模型的准确率分别为0.7407和0.7160;灵敏度分别为0.7234和0.8298;特异度分别为0.7647和0.5588。实验证明特征融合模型优于决策融合模型。同时通过多种模态的融合,对比发现面图像与平和质的相关性最强,健康信息表中包含的噪声信息较多。最后,讨论了融合数量对分类性能的影响,研究发现更多模态数据的融合可以补充单一模态信息的缺失,提升分类性能。综上,本研究将多模态中医数据的深度学习技术引入到中医体质辨识研究中。研究结果表明,本研究建立的端到端深度学习模型可以提高中医体质辨识的准确率,多模态数据融合的深度学习模型可以进一步提高体质辨识的准确率,并且特征融合优于决策融合。该结果也进一步证明多模态深度学习技术应用到中医体质辨识中的有效性,对中医药现代化与智能化具有重要促进作用。