自然语言处理和计算机视觉两个领域都是如今的研究热点,而图像标注是一个融合了自然语言处理和计算机视觉的交叉领域。图像标注就是将图片用文字描述出来,其在图文转换、图像识别、智能人机交互等领域都有着广泛的应用前景,特别是在例如辅助犯罪现场图片分析、辅助视力障碍人群更好的理解面前情况等方面,具有重大意义,能给人类生活带来极大的方便。近些年来,在图像标注领域特别流行使用自然语言处理领域中的Encoder-Decoder模型,这种方法取得了不错的效果,但在encoder和decoder两大阶段中仍然面临很多问题。本文主要在Encoder-Decoder框架的基础上,对图像标注任务进行研究和探索,主要完成了以下任务:(1)提出了基于复值网络的图像对比模型。复值通道网络类似孪生网络,可以对一组图片进行相似度对比。复值三重网络可以进行图像的复值特征表示,复值特征对比于实值特征有更好的空间性,可以使图像特征更准确,而有效准确的特征是使图像标注更准确的基础。并且对两种复值网络进行实验验证,验证了他们的效果。(2)提出了一种融合多模态信息的编码器模型,对编码器部分的效果进行提升。该编码器通过结合场景图和图神经网络的方式融入图片的相关场景图信息和标注文本的语言信息,更细致的利用了图片及标准标注文本,信息的丰富使得编码器具有了更强的理解能力,更好的效果,并进行了相关实验验证,验证了模型的整体性能。(3)基于本文创新点融合多模态信息的图像标注模型,本文设计并实现了一个基于B/S架构的图像标注WEB系统,该系统由用户界面部分、数据加工部分、模型处理部分三部分构成,系统界面简洁易用,能够提供准确的图像标注服务。