论文部分内容阅读
中医在我国医疗体系处于重要地位，几千年来为民族繁荣和人民健康做出了巨大贡献，特别在最近的新冠疫情(COVID-19)中，中医诊疗技术发挥了重要作用。在“人工智能+”的大背景下，智能中医技术的研究能为中医打开智能化发展的新格局。中医知识体系庞大且错综复杂，医师严重依赖大量临床经验。将中医知识库融合多源体征信息，嵌入中医领域知识，再进行全过程高效、客观的健康管理是智能中医研发的必然趋势。
本文的研究内容着重于智能中医辅助诊疗技术中的问诊和望诊部分，尽管基于神经网络的深度学习技术已经被成功应用到了包括医疗领域的各个领域，但与其他智能医疗应用类似的是，在我们研究智能中医的辅助诊疗中的问诊和望诊任务时，将面临如下智能医疗领域常见的，以及本文任务独有的挑战：1.医疗数据中充满噪声，不管是患者提问等文本数据，还是患者舌像等图像数据，对预测结果产生有效影响的往往是细节特征；2.中医诊疗任务是专业性极强的预测任务，需要丰富的领域背景知识作为指导；3.中医临床门诊数据采集成本高，可用的数据有限，对神经网络模型建模效率的要求比其他任务更高；4.中医门诊以全科医学为主，在实际情况中常常需要面对罕见病例的情况，这就要求智能中医辅助诊疗模型具备少样本甚至零样本学习(又称零次学习)的能力；5.除了上述挑战之外，真实门诊场景下采集的问诊，望诊数据，需要克服自然语言中不确定语境，计算机视觉中多种光照，多种拍摄角度，拍摄质量不均衡等各种可能对最终系统性能的干扰因素，对提出模型的鲁棒性，泛化能力提出了更高的要求。
面对上述棘手的挑战，在本文涵盖的研究过程中，我们重点从基于注意力与知识辅助两个方面探索了面向智能中医应用的神经网络模型，在做出该研究侧重时我们考量了注意力机制与知识辅助技术的如下益处：1.注意力机制有利于模型更精准地捕捉患者问诊，望诊输入数据中的关键细节特征，并提升模型的建模效率；2.知识辅助可以帮助我们训练更鲁棒的辅助诊疗模型，并有助于增加模型的可解释性。
基于上述考量，本文进行了如下方面的创新性研究：
(1)在中文患者在线提问的智能导诊任务中，针对患者提问的文本短，噪声多，关键语素特征领域特定强等问题，提出了“关键语素生长的强注意力序列建模架构”(Morpheme Growth，MG)，在短文本中抽取并扩展关键语素，增强关键语素特征在循环神经网络建模中的影响力，以提升模型对于关键导诊特征的捕获能力。
(2)在舌像-中医处方的关联性挖掘相关研究中，创新地提出了基于舌像的卷积神经网络(Convolutional Neural Network，CNN)自动化中医处方构建模型，为了更好地建模中医专家的诊治疗法，提出了隐式疗法主题辅助任务机制(Auxiliary Latent Therapy Topics，AUX_LDA)以对中医疗法主主题知识进行建模，利用多任务的架构同时学习对于关键药材的检索流程以及中医疗法的隐式构建流程，以达到更逼真的自动化中药处方生成效果。
(3)为了进一步改善深度卷积神经网络的建模效率，提出了面向卷积神经网络的内成像特征通道注意力结构(Inner-Imaging Network，InI-Net)，该结构将卷积神经网络各层的特征图浓缩信号进行重新排列，形成一张伪内成像图，我们用它来组织卷积通道的互补关系，进一步地，提出的模型使用多尺寸的滤波器在伪内成像图上建模卷积通道间的成组关系，增强深度卷积网络内部组件间的多样性，互补性及卷积建模整体的完备性。
(4)在上一个创新工作的基础上，我们将基于内成像机制的卷积网络用于面向舌像的患者患病部位预测这个中医辅助诊疗的真实任务上，为了建模散布在舌像各个部位的细节病理特征，提出了全通道区域注意力网络(Fully-Channel Regional Attention Network )，它在内成像通道注意力结构的基础上提出了随机局部区域池化技术(Stochastic Regional Pooling，SRP)，通过在一张特征图上采样多个局部区域的信号并作为通道注意力机制的输入，帮助模型自动化屏蔽图像边缘的噪音信号，同时强化舌像上细节病理特征的权重。
(5)在最后阶段，本文探索了模型在面对零次学习的情形下，结构化知识图谱辅助深度神经网络完成学习的机制。首先基于语义属性间的共现关系建立属性关系知识图谱，然后提出基于图建模的视觉-语义纠缠网络(Graph-based Visual-Semantic Entanglement Network，GVSE)，利用图神经网络对视觉特征中的隐式属性关系映射进行建模，同时与卷积网络通道实现充分地交互，最终获得语义表达能力优异的零次学习特征，帮助模型从某种程度上克服零次学习中的领域漂移问题。这部分的研究为后续解决智能中医辅助诊疗中的零样本难题打下了很好的基础。
本文的研究内容着重于智能中医辅助诊疗技术中的问诊和望诊部分，尽管基于神经网络的深度学习技术已经被成功应用到了包括医疗领域的各个领域，但与其他智能医疗应用类似的是，在我们研究智能中医的辅助诊疗中的问诊和望诊任务时，将面临如下智能医疗领域常见的，以及本文任务独有的挑战：1.医疗数据中充满噪声，不管是患者提问等文本数据，还是患者舌像等图像数据，对预测结果产生有效影响的往往是细节特征；2.中医诊疗任务是专业性极强的预测任务，需要丰富的领域背景知识作为指导；3.中医临床门诊数据采集成本高，可用的数据有限，对神经网络模型建模效率的要求比其他任务更高；4.中医门诊以全科医学为主，在实际情况中常常需要面对罕见病例的情况，这就要求智能中医辅助诊疗模型具备少样本甚至零样本学习(又称零次学习)的能力；5.除了上述挑战之外，真实门诊场景下采集的问诊，望诊数据，需要克服自然语言中不确定语境，计算机视觉中多种光照，多种拍摄角度，拍摄质量不均衡等各种可能对最终系统性能的干扰因素，对提出模型的鲁棒性，泛化能力提出了更高的要求。
面对上述棘手的挑战，在本文涵盖的研究过程中，我们重点从基于注意力与知识辅助两个方面探索了面向智能中医应用的神经网络模型，在做出该研究侧重时我们考量了注意力机制与知识辅助技术的如下益处：1.注意力机制有利于模型更精准地捕捉患者问诊，望诊输入数据中的关键细节特征，并提升模型的建模效率；2.知识辅助可以帮助我们训练更鲁棒的辅助诊疗模型，并有助于增加模型的可解释性。
基于上述考量，本文进行了如下方面的创新性研究：
(1)在中文患者在线提问的智能导诊任务中，针对患者提问的文本短，噪声多，关键语素特征领域特定强等问题，提出了“关键语素生长的强注意力序列建模架构”(Morpheme Growth，MG)，在短文本中抽取并扩展关键语素，增强关键语素特征在循环神经网络建模中的影响力，以提升模型对于关键导诊特征的捕获能力。
(2)在舌像-中医处方的关联性挖掘相关研究中，创新地提出了基于舌像的卷积神经网络(Convolutional Neural Network，CNN)自动化中医处方构建模型，为了更好地建模中医专家的诊治疗法，提出了隐式疗法主题辅助任务机制(Auxiliary Latent Therapy Topics，AUX_LDA)以对中医疗法主主题知识进行建模，利用多任务的架构同时学习对于关键药材的检索流程以及中医疗法的隐式构建流程，以达到更逼真的自动化中药处方生成效果。
(3)为了进一步改善深度卷积神经网络的建模效率，提出了面向卷积神经网络的内成像特征通道注意力结构(Inner-Imaging Network，InI-Net)，该结构将卷积神经网络各层的特征图浓缩信号进行重新排列，形成一张伪内成像图，我们用它来组织卷积通道的互补关系，进一步地，提出的模型使用多尺寸的滤波器在伪内成像图上建模卷积通道间的成组关系，增强深度卷积网络内部组件间的多样性，互补性及卷积建模整体的完备性。
(4)在上一个创新工作的基础上，我们将基于内成像机制的卷积网络用于面向舌像的患者患病部位预测这个中医辅助诊疗的真实任务上，为了建模散布在舌像各个部位的细节病理特征，提出了全通道区域注意力网络(Fully-Channel Regional Attention Network )，它在内成像通道注意力结构的基础上提出了随机局部区域池化技术(Stochastic Regional Pooling，SRP)，通过在一张特征图上采样多个局部区域的信号并作为通道注意力机制的输入，帮助模型自动化屏蔽图像边缘的噪音信号，同时强化舌像上细节病理特征的权重。
(5)在最后阶段，本文探索了模型在面对零次学习的情形下，结构化知识图谱辅助深度神经网络完成学习的机制。首先基于语义属性间的共现关系建立属性关系知识图谱，然后提出基于图建模的视觉-语义纠缠网络(Graph-based Visual-Semantic Entanglement Network，GVSE)，利用图神经网络对视觉特征中的隐式属性关系映射进行建模，同时与卷积网络通道实现充分地交互，最终获得语义表达能力优异的零次学习特征，帮助模型从某种程度上克服零次学习中的领域漂移问题。这部分的研究为后续解决智能中医辅助诊疗中的零样本难题打下了很好的基础。