传统的词汇释义方式大多是采用一些词来解释另一些词。这种词汇语义信息不能用于解决面向物理情景的自然语言处理问题,例如,为物理场景自动生成语言描述。因为,这种词汇语义本质上是独立的符号描述,与从物理情景中获得的感知信息没有关联。将词汇语义建立在感知信息的基础上,即构建基于感知信息的词汇释义,称之为词汇接地。词汇接地的研究有助于扩展词汇语义的研究范围,揭示儿童词汇发展的机制,其建立的词汇语义可以应用于许多基于物理情景的自然语言处理应用中。因此,该研究具有重要的理论和应用价值。本文研究基于视觉信息的词汇接地,选取图形作为定义词汇语义的基础。论文从简单词汇和简单图形出发,构建基于图形特征的词汇语义表示,进而,针对复杂词汇和复杂图形,发展了相应的词汇接地技术,这些方法均在自动生成场景描述的应用中进行验证。具体而言,论文的主要研究内容和创新点包括：提出了一种基于图形特征矢量的条件概率模型进行词汇语义表示。模型采用交叉情景学习方法,针对简单图形和简单词汇,基于图形一语言描述双通道数据,通过图像特征矢量提取、词聚类、语义关联矢量计算和特征选择等步骤,实现图形特征与词的对齐,并根据特征选择结果为每个词建立符合多维高斯分布的语义表示。论文对比了基于对称K-L距离和平均类间类内距离比的两种语义关联矢量计算方法,实验表明前者在度量视觉特征和简单范畴词汇的语义关联程度上更加合适。提出了一种基于平均语义关联矢量(MSAV)的简单范畴词汇特征选择方法。图形特征选择的结果直接影响词汇语义表示的质量和基于表示进行词语选择的准确性。词语选择实验表明,采用MSAV的特征选择方法比基于K-L距离前向搜索进行特征选择更好。在严格评测准则下(与三个标准答案中的任何一个不一致,即判为错误),5个简单属性范畴词类的平均选择准确率达到了70%。为了进行语言自动生成评测,本文提出了一种基于图形特征-词汇联合概率的自然语言短语描述自动生成方法。提出了一种基于复杂图形结构图的词汇语义表示方法。首先为复杂图形构建结构图,结构图同时记录了复杂图形对象的局部特征和全局特征,包括区域的形状、尺寸、位置和区域之间的距离、相对方位以及位置属性。进而,从原型理论出发,分别为事物范畴词汇和复杂属性范畴词汇构建基于结构图的词汇语义表示。对于事物范畴词汇,直接用词汇的正向实例结构图构建其语义原型图集,并提出一种词汇选择算法,为新图选择相应的事物范畴词汇。在测试图集上的事物范畴词汇选择平均准确率达到85%。提出了一种基于层次聚类的原型选择算法,实验表明该算法能够在词语生成准确率损失较小的前提下大幅减少词语选择的耗时。对于复杂属性范畴词汇,论文提出了一种基于图元矢量的焦点图元选择方法,实现了图元集合-词的自动对齐,并研究了一种利用最大相似子图提取技术的原型图集构建方法,从词汇的正向实例结构图集中提取少数代表性子图作为词汇的原型图。在实验中,复杂属性范畴词汇选择的平均准确率达到86.7%。在以上工作中获得的词汇语义接地表示、描述文本生成算法以及语法规则数据均已集成到图形自动描述演示系统GDS平台中。用户可以在可描述范围内随意绘制简单或复杂图形,系统可以为之自动生成自然语言描述。