表征学习技术是指根据任务将原始数据分布转换成机器可以有效识别和应用的一种技术集合。深度网络作为医疗数据表征学习的一种有效技术,通过对特定疾病在不同数据下的精确表征,使得其在计算机医疗辅助诊断系统的开发中被广泛研究,推动了智能医疗的发展。但不同于自然图像,病灶异质性特征通常在医学数据中呈现跨模态的分布,使得对其的表征学习需要考虑更复杂的数据环境以进一步提升计算机辅助诊断的精准性。因此深入研究基于深度网络的多模态数据表征学习技术,能够促使计算机辅助诊断系统在基于多模态数据环境的智能医疗中发挥更大效益。本课题针对多模态医学数据在特征提取、特征融合、特征迁移三个阶段中的应用难题,分别围绕表征学习中的细粒度、相关性、鲁棒性三个方面展开研究。针对深度网络对于医学影像局部病灶区域表征的性能瓶颈,对细粒度表征进行的研究提升了图像表征的性能;针对非图像数据在疾病表征中与图像数据的互补性,对两者相关性融合表征问题的研究提升了对复杂疾病表征的全面性;针对不同中心图像在表征学习中的差异性,鲁棒性表征问题的研究进一步扩展了图像表征学习的应用范围。三个方面的研究改善了表征学习在复杂异构的多模态医学数据下的性能,基于一些具体问题的研究成果如下:1.提出了一种融合特征空间和通道两个维度注意力机制的多模态图像细粒度表征学习方法。通过总结通道和空间注意力机制对特征在类型和背景两个方面表征的冗余性假设,结合卷积网络不同的特征提取通路融合了空间和通道两个维度的注意力机制,实现了对PET(positron emission tomography)和CT(Computed Tomography)两种模态图像的细粒度表征性能的提升。在PET/CT肺癌分型实验中,对比不同细粒度表征方法,多维度注意力机制的性能提升了5%以上,AUC(Area Under Curve)值最高达到了85.5%,表明基于多维度注意力的表征学习方法能够在不同模态的图像下实现更加有效的细粒度表征。进一步通过类别激活图(class activation map,CAM)的可视化对比实验,结合图像模态的特点论证了两个维度注意力机制的性能。2.提出了一种基于长短时记忆(long short-term memory,LSTM)网络的多模态数据相关性融合表征方法。为了融合非图像数据和图像数据对于疾病的共同表征作用,在多种类型数据下克服融合表征中相关性导致的多重共线性问题,本文利用LSTM在序列关系表征上的优势,设计了基于LSTM的相关性表征方法。在基于CT图像和临床特征的肺癌EGFR分类实验中,该方法将AUC值提高到了78.00%,相比于其他方法有5%的提高,验证了基于LSTM的相关性融合对表征性能的提升。此外,通过特征空间上的无监督聚类分析,兰德尔调整系数达到了0.93,验证了对相关性特征在空间距离上的区分作用。3.提出了基于混淆表征和类别循环一致性的多中心图像鲁棒性表征模型。为了实现不同中心图像在迁移预测过程中对鲁棒性表征的约束,本文通过构建成对的生成对抗网络(Generative Adversarial Networks,GAN)框架,引入跨域的图像混淆训练来实现域不变空间的表征;并结合了类别循环一致性约束,在复杂特征分布下进一步将域不变的表征集中在对类别信息的表征上,以实现分类信息的鲁棒性表征。实验结果表明,在平扫和增强两类CT图像的淋巴结良恶性迁移分类实验中,准确率达到了73.8%,相比其他模型至少提高了4.40%,实现了淋巴结临床多中心图像间的模型迁移性预测。