近年来,随着视频业务的飞速发展,传统依靠人工管理视频的方法已无法满足如今需求,视觉语义成为视频智能分析的热点技术,该技术通过将复杂冗长的视频转换为简单易读的文本,极大提升了视频管理的效率。目前该技术处于初步探索阶段,在实际落地应用过程中仍有诸多不足之处,本文旨在针对如今视觉语义技术中存在的关键问题进行研究,主要工作如下:当前视觉语义研究者均在大量开放环境公共数据集上开展实验,未能考虑到特定环境训练样本缺乏的情况。本文针对视觉语义模型训练样本数量受限的问题,提出了一种基于半监督学习的噪声伪标签模型,通过训练半监督模型在大量未标注数据上预测伪标签,引入数据增强、随机失活及随机深度噪声策略,筛选数据并进行联合迭代训练,在训练样本数量不足的情况下所提模型仍能保证相对优秀性能。通过对比实验验证了所提模型在多个数据集上均能取得优秀成绩。目前视觉语义研究者往往致力于提升模型最终生成语义的整体准确率,忽视了对视觉信息中关键动作的建模。针对现有视觉语义方法未能有效关注动作交互问题,本文提出一种基于动作指导的视觉语义方法。该方法通过检测图像中的区域对象,基于自注意力机制计算场景特征,解码视频中的动作,利用动作来指导语义文本的生成。通过在多个数据集上开展对比实验,对模型性能进行定量、定性分析以及消融研究,所提模型在各项指标上均取得了较好效果。当前视觉语义研究者更关注语义生成的研究,忽略了视觉特征充分提取对模型的影响。针对视觉语义模型对视觉信息表征能力不足问题,本文提出一种基于配对高斯函数的损失函数优化方法。该方法从常用Softmax损失中特征样本的类间可分离性与类内紧凑性这对矛盾入手,引入高斯函数以及特征配对策略来优化损失函数,通过在多个数据集上开展对比实验,综合分析所提方法的性能及泛化能力,结果表明所提方法在各项指标上均有一定程度的提升。综上所述,本文研究以当前视觉语义技术存在的三个问题为导向,分别提出了针对性解决方案,开展了一系列实验,验证了所提方法的有效性。本论文有图29幅,表30张,参考文献88篇。