乳腺癌是世界范围内女性最常见的癌症之一,给女性健康带来了巨大威胁。由于病因复杂,医学界难以提供有效的预防措施,早期发现和诊断是降低死亡率的关键。近年来,超声成像因其无辐射、成像速度快、灵敏度和准确度高、成本低等优点越来越受到人们的重视。然而,超声检测是一种依赖于操作者的方法,阅读超声图像需要训练有素、经验丰富的放射科医生,不同医学造诣的医生的诊断结果差异很大。为了减少不同放射科医生观察者之间的差异,帮助产生更可靠、更准确的诊断结论,许多研究者提出了计算机辅助诊断系统。随着计算机技术和人工智能的迅速发展,基于深度学习的计算机辅助诊断方法已成为现代医学图像研究的热点之一,其临床价值已在实际诊断中得到证实,以帮助放射科医生进行乳腺肿瘤的分类和识别。本文以乳腺超声肿瘤良恶性识别为研究内容,将深度学习方法与临床数据特点相结合,以如何在深度网络中提取对分类更有用的特征为目标,旨在解决在乳腺超声图像辅助诊断中面临的三个问题:一是如何将分割与分类相结合,在分类网络中添加分割先验知识;二是如何将图像数据与临床组学数据两个不同语义层级的数据进行融合;三是如何解决乳腺图像分类时肿瘤中心图像（Tumor-Centered Image,TCI）的选择问题,并提取更细粒度的特征,得到更好的分类结果。本文的主要贡献和创新点如下:（1）现有的基于深度学习的乳腺肿瘤分类方法忽略了图像分割与分类的关联,在小样本超声图像分析中难以提取到最具代表性特征。针对此问题,本文提出了一种基于分割注意力机制的神经网络方法,将分割先验信息加入深度卷积网络的设计之中,用于乳腺超声图像分类。该方法采用了一个分割网络得到肿瘤区域和边缘信息并构建分割增强图像,结合两个平行的特征提取支路分别提取原始和分割增强图像的特征,并提出一个基于通道注意力的特征聚合网络对乳腺肿瘤良恶性进行分类。实验表明,相比于现有方法,分割注意力网络具有更好的分类性能,获得更高的准确率和AUC。（2）由于乳腺超声诊断过程中图像数据与BIRADS评分数据处于不同的语义层级,现有的乳腺辅助诊断难以将两者结合起来进行良恶性诊断。本文提出一种跨语义特征融合的深度学习网络,将图像底层语义数据与医学临床高级语义BIRADS评分数据成对起来输入网络进行分类。该方法使用两种不同类型的神经网络,将图像信息和BIRADS信息映射到同一特征空间进行分类。为了自动对图像上重点区域进行特征提取,该方法还提出了一种结合空间注意机制的卷积神经网络方法用于乳腺图像的特征提取。同时,该方法还提出一个基于通道注意力方法的图像-BIRADS特征融合模块,综合图像特征与BIRADS特征进行了乳腺良恶性分类。实验表明,所提出的方法比分别使用图像和BIRADS的分类方法大幅提高了识别的精度。（3）针对乳腺超声辅助诊断过程中TCI的选取和细粒度特征提取问题,本文提出提出了一个基于多视角融合的分类方法,进行乳腺超声良恶性的识别。该方法提出了一种新的策略,在单个超声图像中生成多个以肿瘤区域为中心的拥有不同扩展率的多分辨率TCI,把每个TCI看成肿瘤的一个视角,从而实现多数据输入学习任务,将传统的基于单个图像的学习任务转化为多视角学习。同时,该方法还提出一个同源双线性网络,用于提取主干网络得到的特征图的二阶信息,获得更细粒度的肿瘤特征表示。最后,本文提出一个适用于深度网络的混合多视角融合方式,综合各个视角网络的特征与决策信息,进行乳腺肿瘤良恶性的识别。实验表明,相比于现有方法,所提出的方法大幅提高了良恶性分类的准确率。