利用卷积神经网络等深度学习技术进行医学影像分类,是深度学习技术在医学领域的重要应用之一。阿尔茨海默症(Alzheimer’s Disease,AD)是一种引起认知障碍且致死率较高的神经退行性疾病,HIV相关神经认知功能障碍综合征(HIV-associated Nurocognitive Disorders,HAND)是HIV感染早期(1周)表现的病症,通过卷积神经网络在AD或者HAND早期阶段精准诊断并进行针对性预防及干预,有可能延缓或逆转病症的病理生理进程,这对改善患者预后、提高患者生存质量具有重要的科学意义和临床价值。本文主要解决首都医科大学附属北京佑安医院提供的HAND数据集的ANI/NC二分类问题,搭建基于3D卷积神经网络的MRI医学影像分类模型,先在阿尔茨海默症公开数据集ADNI-1上,研究利用多模态模型优化分类性能的问题;然后基于上述研究,进一步利用多尺度模型继续优化HAND数据集的分类性能。本文创新点之一是提出采用基于图卷积神经网络的多模态分类算法,突破现有分类算法只利用单一模态信息的局限性,实验表明,基于图卷积神经网络的多模态分类模型,相比于单模态分类模型,在ADNI-1数据集中能够显著提升分类性能。借助3D卷积神经网络获取图像特征,并充分利用受试者的年龄、性别、临床诊断、认知功能测试结果等电子病历信息,构建多模态医学影像分类模型。以受试者为节点、以病历信息为边、以获取到的图像特征为特征向量构建拓扑图,在充分利用医学影像图像特征的同时,也利用从电子病历数据中提取到的受试者之间的相似性和相互作用等特征,整合多模态特征构建分类模型。但是,ADNI-1作为阿尔茨海默症的公开数据集,具有样本质量较高、标注完善、数据充足等特点,而类似HAND等真实临床医学影像数据很难达到此标准,实验结果也表明基于图卷积神经网络的多模态模型在ADNI-1数据集上达到较高性能;但是在HAND数据集上,并不能取得较好的分类性能。针对HAND数据集的分类任务,本文提出结合多尺度3D卷积神经网络和多尺度3D卷积自编码器的分类算法,从不同尺度的医学影像中提取更多层面的低阶和高阶图像特征。通过降采样方法得到不同尺度的图像样本,利用多尺度模型能够捕获到以体素为中心更大邻域内的特征。实验结果表明,本文提出的多尺度分类算法能够提高基于HAND数据集的分类模型的性能。同时通过数据增强和迁移学习解决样本较少问题。本文基于ADNI-1和HAND两个数据集,分别提出利用多模态和多尺度思想构建医学影像分类模型的算法,并通过与基于支持向量机、基于ResNet等单一尺度或单一模态的分类模型性能相对比,结果表明,基于GCN的多模态模型能够显著提升ADNI-1的三分类模型的性能,但是在HAND数据集上性能较差。为进一步优化基于HAND数据集的分类性能,采用数据增强、迁移学习和多尺度分类算法提升HAND数据集的分类模型性能,实验结果表明能够达到较为理想的分类效果。