乳腺癌是一种常见的女性恶性肿瘤,在所有女性癌症中发病率最高,患有这种癌症的妇女死亡率也非常高。在当前医学技术无法有效地治疗乳腺癌的情况下,及早发现病变是防治乳腺癌的一个重要途径。对比增强能谱乳腺摄影（Contrast-enhanced Spectral Mammography,CESM）是近几年出现的一种检查乳腺癌的方法。它可以提供早期病变的症状,包括肿瘤、微钙化、腺体结构的改变等。对比增强能谱乳腺摄影分辨率高,其存储、检索、传输也更方便;并且利用计算机对其处理时还能分析和鉴别肉眼无法利用的信息。所以,利用计算机进行乳腺癌辅助诊断具有非常多的优势。目前,有许多针对CESM的计算机诊断技术被提出,也有部分在临床诊断中有了应用。CESM是一种医学灰度图像,利用计算机进行辅助诊断的过程中,存在着下述几个问题:1、CESM通常包含多个视角和多个模态,不同视角和模态包含的信息是存在差异的,现有的方法大都采用单幅图像设计模型。这种只考虑一种图像的方法容易导致信息丢失,难以获得良好的分类性能;2、放射科医生在进行诊断的过程中,需要在不同图像间进行切换来获得病灶更加全面的信息,这种操作费时费力。现有的方法无法在分类的同时提供一幅融合的图像来帮助医生进行诊断;3、现有的利用多模态信息辅助诊断的深度学习方法大多是将图像输入网络提取特征后将特征进行串联,最后输入分类器进行分类。这种方法可以提取图像特征并融合多模态特征,但神经网络从不同模态的图像中学习的特征是否为与分类相关的共有特征是未知的。为了解决上述问题,本文进行了如下研究:1、为了同时利用多个视角和多个模态的图像信息,本文提出了一种多视图多模态网络（Multiview Multimodal Network,MVMM-Net）,将同一病例的多个视角和多个模态的CESM图像同时输入神经网络提取特征。该方法包括三个主要阶段:数据的预处理和输入、图像特征的提取和图像分类。第一阶段是对CESM进行预处理,并将其输入网络。为了有效地利用其多视图和多模态特征,需要对原始图像进行多种处理,如不同模态图像的标注、黑色背景的去除、数据增强等,然后将其输入到神经网络。第二阶段是特征提取阶段。采用通用的卷积神经网络框架来提取CESM图像的特征。最后一个阶段是融合不同的特征进行分类。本文测试了多个经典的分类模型,探究了最适合对CESM进行分类的网络框架。结果表明,基于Res2Net50的框架获得了最佳性能。该框架在私有和公开数据集上分类的准确率分别达到了96.59%和94.3%。对比实验表明,利用多视图多模态特征可以提高模型的分类性能。2、为了在一幅图像中同时得到CESM的多种模态图像信息,本文提出了一种基于生成对抗网络融合的多模态CESM分类方法。该框架主要由两个部分组成:基于生成对抗网络的图像融合模块和基于Res2Net的多视角分类模块。融合模块的功能是生成一个结合双能减影（Dual-energy Subtracted,DES）图像和低能（Low-energy,LE）图像特征的融合图像,分类模块的目标是将融合后的图像分类为良性和恶性。同时,为了提高融合效果和分类的准确性,分别在这两个模块中引入了注意力机制。本文在CESM数据集上进行了广泛的比较实验和分析,并证明了提出的方法在图像融合方面可以得到不错的结果,且在与最新的CESM分类方法的对比中取得了更优异的性能。在定性指标方面,融合图像的熵值为2.63,模型对融合图像进行分类的准确率为94.784%,召回率为95.912%,特异性为0.945,F1值为0.955,AUC为0.947。3、为了去除CESM不同模态间的冗余信息,得到与分类相关的共有特征,本文提出了基于无监督信息瓶颈的对比增强能谱乳腺摄影分类模型。该模型结合了信息瓶颈理论来学习不同模态间的共同表示用于CESM分类。该框架在通用的Transformer分类框架中加入了无监督信息瓶颈理论来学习跨模态的公共特征表示,为分类网络提供简洁的特征输入。此外,本文还将信息瓶颈理论扩展到多特征表示,有助于学习CESM图像之间的相关特征。为了验证提出的方法,本文在两个数据集上进行了实验并取得了96.8%（私有数据集）和93.1%（公共数据集）的准确率。4.为了得到模态间与分类标签相关的公共图像特征表示,本文结合了多特征信息瓶颈理论来学习精确的图像表示用于CESM分类。该框架在上一章无监督信息瓶颈的模型思路上,加入了多特征信息瓶颈,以此来学习跨模态的与分类标签相关的公共表示。本文在多个数据集上进行了实验。本方法取得了97.18%（私有数据集）和94.52%（公共数据集）的准确率,优于当前最先进的方法。