乳腺癌是全世界范围内威胁女性健康最主要的癌症之一,而超声(US)是乳腺结节的主要影像学检查和术前评估之一。然而,在超声诊断领域,由于良性和恶性乳腺结节图像的相似表现形式,这使得诊断结果在很大程度上依赖于医生的经验判断。而且具有不同资历的医师的诊断准确性相差高达30%,因此,很容易导致误诊并增加不必要的穿刺活检率。近年来随着计算机科学的不断进步和医学方面的数据集的不断丰富,计算机辅助的医学诊断逐渐成为当前研究的热点。然而当前的计算机辅助乳腺超声诊断需要大量的人机交互,而其准确性仍然不够可靠。本文提出了一种端到端的自动结节分类模型。该模型是用于乳腺超声图像的良性和恶性分类的异构多分支网络(HTBN,heterogeneous three-branch network)。该网络使用了图像信息(包括:超声图像和造影(CEUS,contrast-enhanced ultrasound)图像和非图像信息(包括:患者年龄和其他六个病理特征)。另一方面,本文提出一种适合该异构多分支网络的混合型损失函数,该损失函数在附加角边距损失(Additive Angular Margin Loss)的基础上应用了最小超球面能量(MHE,minimum hyperspherical energy)来改善分类效果。其中,附加角边距损失(Additive Angular Margin Loss)主要用于减小类内距离,而MHE主要用于增大类间距离。实验结果表明:我们的混合损失函数在进一步增加学习特征的角余量的基础上,同时可以减少类内距离。为了验证我们所提出的方法,我们收集了包含1303个病例的乳腺超声数据集。在该数据集上,具有五年资历的医师的平均诊断准确性为85.3%,而我们的方法的分类精度为92.41%。实验结果证实了我们的观点:通过将医学知识纳入优化过程,即将造影图像和非图像信息添加到网络中,可以在很大程度上提高乳腺超声诊断的准确性和鲁棒性。