论文部分内容阅读
随着大数据时代的来临,人们每天都要浏览和处理大量的数据信息。尤其是手机等多媒体设备的流行,图像数据大量涌现。对于海量图像数据的检索和管理也愈发的艰难。针对图像数据的特点分析,可利用计算机视觉和自然语言处理技术缓解图像理解和管理等问题。图像描述则成为了解决问题的关键技术。图像描述是指计算机模仿人类理解图像场景,通过对图像特征的学习,生成与图像内容相关的描述语句。近年来,基于深度学习的图像描述模型逐渐成为了研究热点。然而该项任务目前还存在“语义鸿沟”问题,图像的高级语义特征提取还需要更多的技术投入。图像特征的语义信息表示作为图像描述技术的核心任务,决定着模型性能的表现。因此,本文引入并改进传统的注意力机制,对图像描述中的图像特征提取算法进行优化,使其能够自动捕获单张图像范围内的关键区域,学习该领域中的高级语义信息。除此之外,通过图像特征融合算法,增强图像特征的丰富性以利于图像内容的理解。本文的具体研究工作如下:(1)提出基于注意力的残差网络图像描述模型。经典的注意力机制提取的图像特征忽略了三个特性:空间性、通道性和多层次。提取的特征难以准确识别出物体对象,并且在生成描述语句时存在噪音干扰。因此,这类空间注意力机制算法提取出的图像特征缺乏多样性,无法全面正确获取图像的语义信息,在图像描述模型中不能够充分发挥注意力机制的优势。为了缓解上述问题,本文提出一种基于注意力的残差网络图像描述模型,利用注意力模块和残差模块交替工作的新型深度堆叠网络作为模型的新型编码器。该模型能够提取和保存图像中的关键信息,为解码器提供更完整和丰富的图像语义特征。通过在MS COCO数据集与相关前沿模型的对比分析,本文提出的模型表现出了更优的性能。(2)在图像描述技术中,准确以及完整的图像特征能够提高生成描述语句的准确性,从而对图像的场景有全面、清晰的描述。对同一图像的不同特征采取融合算法能够使图像语义信息更加的丰富。因此,本文提出基于多图像特征融合的图像描述模型。通过比较不同算法融合同一图像的不同有效特征来选取效果较好的模型,以此获取包含精准位置信息和强语义的图像特征,提升模型的性能,减少语义鸿沟。实验结果表明,本文提出的两种融合算法中,基于自学习权重的多特征融合模型在多个评价标准中效果最佳,性能表现明显更加突出。