目的:通过前瞻性收集乳腺肿块二维灰阶及剪切波弹性成像超声图片,应用单模态及双模态图片分别训练人工智能图像分类模型,使用相同测试集图片对人类医生及人工智能模型进行测试,以验证人工智能模型在乳腺肿块良恶性鉴别中的应用价值。方法:前瞻性地收集2021.07-2022.01月期间,就诊于成都市第三人民医院,满足纳入及排除标准患者的乳腺肿块灰阶及剪切波弹性成像超声图片。将图片随机分为训练集、验证集及测试集,对训练集中图片进行图像增强。分别构建单、双模态的ResNet50及VisionTransformer模型,先使用ImageNet数据集中的部分带标签图片数据对模型进行迁移学习,后对得到的模型使用训练集进行训练,取在验证集中表现最优的模型参数为最终模型参数,最后使用测试集中的图片对模型进行分类能力测试。构建测试问卷,使用测试集中的图片对各年资、各职称医生进行诊断能力测试。对结果进行统计学分析。结果:本研究共收集了 272例乳腺肿块患者的1016张乳腺超声图片,其中良性760张,恶性256张。在人类组测试中,医师通过双模态图片诊断乳腺肿块良恶性的总符合率、灵敏度、特异度大于单模态模式,P＜0.05,差异有统计学意义。在人工智能组测试中,人工智能模型通过双模态图片诊断乳腺肿块良恶性的总符合率与单模态对比差异有统计学意义,P＜0.05,双模态模式总符合率优于单模态模式。在人工智能组与人类组均值对比中,在双模态模式下,人工智能模型与人类组平均总符合率差异有统计学意义,P＜0.05,人工智能模型总符合率优于人类组均值。在人工智能组中,同模态下,两种不同模型间总符合率、灵敏度、特异度差异无统计学意义。结论:人工智能模型能够通过带标签乳腺肿块图片学习图片特征,以达到诊断乳腺肿块良恶性目的。双模态超声图片携带的乳腺肿块及周围组织形态学特征及硬度信息能够帮助人工智能模型及人类医生提升诊断能力。人工智能模型能够提升乳腺肿块良恶性诊断效能。