基于视频的动词语义习得模型,简称ViMac-V系统,是一种自然语言生成系统。ViMac-V首先在学习阶段从双通道语料中习得动词框架和各成分的视觉表征,然后在使用阶段对新的视频特征进行分析,根据习得的框架和成分组成相应的动词,并添加少量的助词后生成对该段视频的描述语句。为了习得动词框架和各成分的视觉表征,就需要将视频、文字配对作为训练样本输入,即实现视频特征及其描述词汇的对齐。在已知视频中运动物体的4维特征与运动方向、运动位置、运动速度三类词的对应关系的前提下,研究需要提取标注语料中的运动方向、运动位置、运动速度三类词,并正确分类,最终将词汇与其相对应的视频的视觉特征对齐。词汇的分类需要计算词语之间的相似度。现有的词语相似度算法大多依赖于外部知识(知网、同义词词林等),导致其只能解决外部知识以内的词语,或者单纯依赖词语本身的某一种特性(编辑距离,Google距离等),准确率不足(75%左右)。本文提出了一种在最小编辑距离的基础上结合词性的相似度算法,打破了外部知识的局限性,并提高了单纯依赖最小编辑距离计算相似度的准确率。而后为了实现对新的视频的自然语言描述,使词组合成句子,本文基于二元语法(Bigram)的方法设计了一个语言生成模型,能对输入视频生成自然语言描述。