在当前大数据时代,大量的医学影像没有得到有效利用。而在医疗、教育以及科研等领域却亟需大量经过标注的数据,因此需要一种技术对医学影像进行标注。然而使用手动标注的方法耗时耗力且需要医学专业人士才能完成,人工智能技术的兴起为医学影像的自动标注带来了福音。传统的自动标注方法仅仅使用了图像单一模态的数据,与图像数据紧密相关的诊断报告却未得到使用。因此本文提出了一种利用跨模态方法进行医学影像自动标注的技术,重点研究如何利用图像和文本两种模态的数据进行自动标注,本文的研究内容包括以下几点:1)针对多种模态数据在神经网络中的融合方式和融合时机进行研究,探索不同融合方式和融合时机对任务结果的影响,为后续的跨模态医学影像自动标注提供基础;2)针对医学影像中的疾病类型进行自动标注研究。由于疾病类型是一种图像级别的标签,所以本文将使用图像分类的方法,研究模态内部的病灶关联性以及模态之间的病灶关联性,并且基于这两种关联性提出一种关联性学习方法,以更好的融合两种模态的特征,从而提高疾病类型的自动标注效果;3)针对医学影像中的病灶位置进行自动标注研究。由于病灶位置是一种像素级别的标签,所以本文将使用图像分割的方法,研究单个病灶的位置、形状、大小等等细节信息对标注的影响,然后基于这种影响设想使用文本信息进行辅助分割,并基于这种设想提出了互感知特征融合方法,使图像特征在文本特征的辅助下可以更好地提取出病灶细节,从而提高病灶位置的自动标注效果;4)针对眼底领域的需求,根据上述两项研究,研发出了一款跨模态的眼底图像自动标注原型系统,该系统既可以对眼底图像中的四种常见疾病类型进行标注,也可以对眼底图像中的高荧光进行标注,该系统为上述研究的转化提供了例证。