随着社会发展,健康日益成为人们关注的问题。在疾病的诊断和分析方面,特别是肿瘤和神经退行性疾病,目前存在以下问题:医生进行诊断需要通过参考多个模态的医学图像并结合临床表征来综合诊断病人的病情,确定病灶,这需要大量的时间和丰富的经验;现有计算机辅助诊断多针对于单一模态图像,忽略了其他诊断参考数据。本文采取人工智能和影像组学来解决目前诊断存在的不足。通过近几年的发展,人工智能中的机器学习和深度学习日趋成熟,并在医学领域的应用也取得了一定的成果。本文选取多模态影像数据与临床数据,并结合机器学习或深度学习的方法对乳腺癌、帕金森病、阿尔茨海默病进行辅助诊断。具体工作如下:1、设计并实现机器学习模型对乳腺钼靶影像的良恶性肿块进行分类。建立六种机器学习模型,分别对BCDR-F03数据集进行良恶性分类,对六种有监督机器学习分类器的实验结果进行详细评估。通过可重复性研究,给出了不同分类器的准确性、稳定性和可重复性结论。实验表明改进后的模型具有较高的准确性与稳定性,有助于医生进行疾病的判定。2、设计并实现基于改进LeNet-5的CNN网络PD诊断模型。基于T2-MRI单模态图像集、PET单模态图像集和多模态融合图像集分别训练测试CNN,采用交叉验证法得出平均诊断准确率。通过改进CNN网络,替换可以自主学习的激励函数、增加Dropout层、引入1×1卷积核并增加预训练过程进行迁移学习来改进网络以得到性能更好、泛化能力更强的CNN。通过改进后的CNN的六组实验结果表明,CNN对多模态融合图像集诊断正确率高于单模态图像集,改进后的CNN诊断效果远优于改进前的CNN,更适合辅助诊断PD。改进后的CNN模型特征可视化,辅助医生诊断。3、提出了基于AlexNet、GoogLeNet、U-Net三种CNN改进网络的异构数据AD辅助诊断模型。异构数据包含多模态影像数据和临床量表数据。针对AlexNet,通过增加网络深度和改变卷积核个数提高网络提取特征的能力;针对GoogLeNet,使用Squeeze-and-Excitation模块将各特征通道加权后再进行分类;针对专门用于医学图像分割的U-Net,将网络输出的分类结果进行特征提取再使用SVM分类。三种网络的训练均采用迁移学习的方法,通过预训练获得初始参数值,实现基于小样本医学图像的深度学习。通过该模型的网络训练,提高了AD初期影像数据与临床数据的融合,辅助医生提取早期病变特征。本文充分利用影像组学的方法,使用多模态或异构数据获得更加全面的患者信息,采用机器学习和深度学习的方法,发挥人工智能在医疗领域的潜力,辅助医生的临床决策,为患者提供更优的治疗方案,以提升病人的生存质量和生存期。通过人工智能完成计算机辅助诊断并实现一定程度的普及,有利于医疗资源的充分利用,也有助于形成和谐的医患关系,促进我国卫生健康事业和谐发展。