在自然语言处理或文本挖掘中,文本数据最常见的表现形式是字符串,然而字符串无法直接用于计算。解决这个问题的最直观方法是用数值代替词语,例如构建一个由所有词语组成的词语列表,然后用词语在列表中的索引位置代替该词语。这种表示方式有一些弊端:首先单个数字不包含任何语义信息,另外这种表示形式无法运用在神经网络模型中。为了解决这些问题,有学者提出了用向量来表示词语,即“词嵌入”。词嵌入在很多领域包括推荐系统、文本分类等都发挥了相当大的作用,然而在自然语言处理领域中的某些具体任务(例如机器翻译、文本生成等)中稍显薄弱。原因是这些任务都对词义的精准度有较高的要求,而自然语言中存在不少具有二义甚至多义的词语。这些词语的词义之间可能关联度很小,这就导致单用一个向量表示这些词语不那么合理。因此近些年有学者提出了词义嵌入这个概念,目的是将嵌入的目标细粒度化。向量对应高维空间上的点,然而点作为一种简单数据,能够包含的信息是有限的,例如词语之间的一些非对称信息就无法通过点与点之间的关系来表达。由此我们猜测,用分布的形式来表示词语是一种更好的选择。而高斯分布由于其分布特性以及优秀的的数学性质,成为了表示词语的最佳选择。多维高斯分布的均值为高维空间中的一个点,协方差矩阵可以控制这个分布的形状和范围,这样我们还可以通过判断高斯分布之间的分布范围大小比较来判断两个词义之间的上下位关系。本文介绍了我们对使用高斯分布来表示词语词义的研究工作,我们在隐马尔科夫模型的基础上进行优化和改进,提出了一个适用于这一课题的模型。同时针对此模型,我们提出了推断句子中多义词词义的算法和训练模型的方法。为了验证模型的有效性,我们使用基于能量的训练方法对其进行训练,并尝试应用了两种能量函数,最终训练出了词义高斯嵌入。通过词语相似度计算和上下位关系判断这两个任务,我们对训练得到的词义高斯嵌入进行了评测。从结果中我们发现,对于词义相似度计算这个任务,我们所使用的能量函数存在一些不合理性,并从数学的角度证明了这一点;而对于词语上下位关系判断这个任务,我们的方法超越了前人的方法。