癌症在全球范围内威胁着人类的健康,全球癌症患者当中,肺癌作为发病率第二（男性当中仅次于前列腺癌,女性当中仅次于乳腺癌）,死亡率最高的一种癌症,对其早期诊断具有重要意义。临床上,影像学诊断信息对于肺癌的早期诊断和治疗预后都有很高的临床价值,而目前绝大多数关于肺部肿瘤的计算机辅助研究都是借助影像学信息开展的。随着医学技术的快速发展,医疗数据的种类和数量都在不断丰富和增加。由于肺部肿瘤诊断的复杂性,借助计算机辅助技术来帮助医生更加全面准确地把握这些描述患者不同体征和检查的信息,在临床诊断和治疗方面显得尤为重要。综合使用多种不同类型数据（又称多模态数据）的方法已成为智能医疗系统的重要驱动力,其应用研究范围已覆盖到从筛查发现、疾病诊断、治疗预后评估的方方面面。在本文研究中,利用人工智能技术结合多模态医疗数据以肺部肿瘤诊断为切入点做了以下几个方面的研究工作:（1）基于高斯混合的距离度量学习在数据理解及模型构建泛化性方面研究临床医疗数据不同于其他普通数据,相较而言,大多以小样本的形式散乱分布在不同医院和机构之中。利用基于大数据的人工智能技术研究临床问题时,由于存在样本规模的限制,小样本情况下训练得到的模型预测性能不稳定、容易出现偏差,同时适用范围存在质疑的问题。本文从数据理解的角度出发,提出了一种基于高斯混合的距离度量学习（DML-GMM）方法,它能帮助我们有效的了解数据的分布情况。在理解数据分布的条件下优化人工智能模型训练的流程,减小模型的偏差和方差。同时,该方法还能帮助在实践中发现奇异样本,帮助模型进行迭代更新、了解模型的适用范围及泛化性能。（2）深度学习模型可靠性研究:基于距离的置信度分数深度学习技术像“黑盒”一样,虽然在一些应用场合效果显著但缺乏一定的可解释性,而在医疗领域的应用中通常对其可靠性和可解释性有一定要求。在这样的背景和需求下,对模型的置信度进行了研究,提出了一种基于距离的置信度分数来衡量分类模型的置信度,用这种置信度分数来解释其预测结果的可靠程度。该置信度分数在分析多模态融合分类模型时,可以用来量化评估不同模态信息对于模型综合判断时对置信度的影响,从置信度的角度解释了不同类型数据对于模型作用及影响。（3）基于多模态数据的肺腺癌病理亚型鉴别技术研究肺癌的病理无创鉴别是临床诊断上一个极具挑战问题。本研究采集了1946例经临床证实的肺腺癌患者数据,使用深度学习技术结合诊断过程中常用到的多种检查信息:患者一般临床信息、血清肿瘤标志物和CT影像检查,提出了一种基于注意力机制的多模态融合肺腺癌病理分类模型用来鉴别肺腺癌的浸润性和非浸润性,该方法在测试数据上取得了88.4%的准确率和0.958的AUC,优于现有相关研究。（4）基于深度学习和影像组学融合的肺肿瘤射频消融术后疗效预测这项临床术后评估的应用研究（肺肿瘤射频消融术后疗效预测）,提出了一种基于深度学习和影像组学融合的肺肿瘤射频消融术后疗效预测模型用来预后疗效评估。该模型融合了肺部肿瘤射频消融术前术后的多模态影像信息。在样本较小的情况下取得了较好的预测性能。