经调查研究得知,近年来在体检中发现肺癌的人数逐年增多,但是选择住院治疗的人数却比较少,大约75%的患者在确诊时已经是肺癌中晚期,其治愈几率大大降低。因此,尽早诊断出肺癌对于降低因肺癌造成的死亡率具有重要意义。另一方面,面对大量的患者,临床医生有着相当大的工作量,需要先筛选肺癌患者,然后根据自身经验对患者进行相应的治疗。然而在我国,培养一位经验丰富的临床医生所需要花费的时间周期较长。综上所述,在医学领域,研究运用人工智能技术对医学数据分析、辅助临床医生进行肺癌筛选诊断和治疗,具有重要理论意义和实际应用价值。本文在分析了目前深度学习方法之后发现,国内外研究者主要针对肺部CT图像进行肺癌预测,忽略了放射科医生给出的CT图像描述和检验报告,尤其是检验报告,这样会丢失部分信息。考虑上述问题,本文设计了一种新颖的文本和图像的多模态学习的肺癌辅助诊断方案。该方案与目前已有的方法不同,是基于CT图像、放射科医生给出的CT图像描述、检验报告三部分进行多模态融合。其主要实现要点是将图像部分先预处理,再利用Resnet网络建模;将CT图像描述部分利用自然语言处理技术进行分词、预训练、建模;将检验报告利用多层感知机建模;最后经三部分融合。实验验证,基于文本和CT图像的多模态方法的准确率要比基于CT图像的单模态方法的准确率提高3%,这说明,CT影像仍是肺癌诊断的主要信息,而检查描述和检验结果作为补充信息加入到模型中,可以很好的提升模型的精确度。再基于本文设计的文本和图像的多模态学习方式,设计实现了肺癌辅助诊断系统。充分将多模态方式与计算机辅助诊断融合,帮助临床医生筛选诊断患者。该系统能够快速实现数据预处理,肺癌辅助诊断判断,诊断信息录入,以及患者过往史病例等信息的查询。该系统的实现减轻了临床医生的工作量,提高了其工作效率,还为临床医生提供了一个全方位观察和诊断患者,同时,肺癌患者也能及时了解自身情况。