乳腺癌是女性致死率较高的疾病,早期诊断与治疗是治愈乳腺癌的关键。医学影像是乳腺癌早期诊断的主要辅助工具,其中,钼靶和超声是乳腺癌临床检查中最为常用的影像学检查方式。多模态影像融合技术能够克服单模态信息不足的缺陷,已经成为近年来的研究热点。然而,传统的方法大部分是先基于单模态分类,然后融合分类结果。这类方法忽略了多模态之间相关性信息的利用,限制了性能的提升。为了提高乳腺肿瘤分类系统的性能,本文对多模态乳腺影像融合分类的关键技术展开了研究:本文研究了一种基于多模态乳腺影像相关性嵌入(Modality-Correlation Embedding Model,MCM)的乳腺肿瘤分类方法。首先,使用FCN网络对多模态乳腺影像中的肿瘤区域进行分割,并使用VGG网络提取肿瘤特征,然后构建了新的模态相关性嵌入的多模态乳腺影像融合分类损失函数,该损失函数由新的模态相关性项和单模态数据拟合项构成。最后,利用梯度下降算法和交替变量迭代优化思想对所提出的损失函数进行优化,学习出两个最优映射矩阵,从而将提取的深度特征较为准确地映射到公共标签空间,获得最终的诊断结果。在本文的方法中,所提出的模态相关性项能够有效利用多模态影像之间的相关性信息,使得标记空间中不同模态的特征之间保持紧密,从而保证同源患者的不同模态在标记空间中保持一致。为验证所提方法的有效性,本文在包含73例患者(良性肿瘤42例,恶性肿瘤31例,每位患者分别提供一幅钼靶影像和一幅超声影像)的同源多模态数据集上进行了较为系统的实验。本文所提方法在AUC,准确性,灵敏性,特异性,PPV 和 NPV 上分别达到了 95.83%,95%,91.67%,95.83%,95.83%和 88.89%,其性能在整体上优于传统的多模态乳腺影像融合分类方法。本文工作进一步提升了乳腺癌诊断的准确性,也在一定程度上丰富了多模态医学影像融合诊断技术,具有一定的临床价值和应用前景。