基于循环神经网络的口语语义理解研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:choster
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,人机交互已经慢慢走进人们的生活,智能音响,智能车载导航等产品给人们的生活带来了极大的便利。而人机交互背后的技术实现除了将语音转换为文字的语音识别技术外,还包含将文本转化为用户意图的口语语义理解。因此,口语语义理解的精度直接影响到人机交互体验的好坏,研究口语语义理解对改善人机交互体验有很大帮助。  口语语义理解任务,本质上是一个典型的序列标注问题,即将一句话中的每个单词标注为一个语义标签。而循环神经网络特别适合处理序列问题,本文选择循环神经网络对口语语义理解进行建模。为了提高口语语义理解模型的精度,本文从数据增广,改进循环神经网络模型,语法信息融合三个方面进行研究,主要工作和贡献为:  1、由于口语语义理解研究的公开数据集比较小,所以在训练模型时,很容易导致过拟合。为了缓解数据集过小造成过拟合的问题,本文提出了一种基于单词的细粒度数据增广方法。该方法利用句子中的冗余信息,通过随机剔除其中不影响语义表达的单词,可以有效增加数据量。该方法可以有效缓解过拟合问题的原理在于一方面只剔除句子中不影响语义表达的单词来实现数据增广,另一方面在剔除单词的同时会给句子带来一些随机噪声,从而可以有效地缓解过拟合。  2、提出了一种增强上下文信息的循环神经网络模型,本文称作加窗循环神经网络(Window RNN,WRNN)。虽然循环神经网络具有记忆历史信息的能力,但是由于存在严重的梯度消失问题,所以不能记录较长的历史信息。为了改进这个问题,本文提出一种全新的对循环神经网络隐层加窗的方法来加强其对上下文信息的记忆和利用。这种方法不仅对标准循环神经网络有效,对记忆能力更强的长短时记忆网络也同样有效。  3、提出了一种融合语法信息的口语语义理解方法。语法信息对于理解一句话的语义表达起到至关重要的作用。虽然通过神经网络构建模型的时候,会对句子隐式地提取其语法结构信息,但这种方法并不能充分利用语法信息。同时考虑到在以往的口语语义理解研究中,并没有将语法信息显式地加入到口语语义理解模型中,本文将通过并行,串行,混合三种不同融合方法将语法结构信息融合到口语语义理解模型中。实验表明混合融合方法可以有效提高口语语义理解的精度。
其他文献
引言版权贸易指作品版权中全部或部分经济权利,通过版权许可(copyright license)或版权转让(copyright transfer)的方式,以获取相应经济收入的贸易行为,也称为版权交易(copyr
目的 探讨超敏肌钙蛋白Ⅰ(high-sensitivity troponinⅠ,hs-TNI)和肌酸激酶同工酶质量(creatine kinase-MB mass,CK-Mbmass)联合检测对急性心肌梗死(acute myocardial infarc
自2004年教育部实施高校哲学社会科学学报名栏建设工程以来,广大学报工作者以极大的热情投入名栏工程建设,并在理论上作了有益的探索,取得了一定的成效,有很大一部分高校社科
智能卡以其安全、方便、多功能等诸多优点,在金融、交通、医疗等领域被广泛应用。智能卡由硬件和软件两部分组成,其中软件资源—COS是它的核心,保障了智能卡的高安全性和多功能
随着科技的发展,在计算机技术和通讯技术领域目标跟踪技术已经成为了一个热门的话题,并且有着很广泛的应用。目标在快速移动、背景遮挡、噪声影响等条件下能够实现准确跟踪是
在学术传播活动中,学术论著的评审工作非常重要,这种评审工作并不仅仅是编辑和审稿专家及读者的事情,其中“作者的自我评审其实颇为重要,因为一个严肃的作者是论文所涉及的学
十多年来,“三农”图书市场不断萎缩,“三农”图书赢利的少,亏损的多,因而“三农”图书的出版被不少编辑、出版社视作畏途。其中原因是多方面的:农村经济发展较慢,农民的科技
本文所指的化学类书稿为高等(或较高等)化学类,面向的读者是中学生、大学生(一般是理工学生)。这类书稿有一些特点,比如,书稿中含有大量的物质的分子式或结构式,涉及较多的下
淘一款好酒就像在百货商场里挑一件好看的衣服一样,踯躅于前,很难下决定,相信这种恼人的情况很多淘酒达人都遇到过。我最后下了决定,还是因为被她特别的外表吸引了,幽蓝色的瓶子,细长的身材好像一个带着点儿丁香般忧郁眼神的女人。  她的名字叫露娜蓝标葡萄酒(Luna Di Luna Chardonnay/Pinot Grigio),她的故乡是意大利,由意大利卡莫天尼酒厂酿造。意大利卡莫天尼酒厂成立于十八世纪
期刊
作为科技编辑,尤其是化学化工类的图书编辑,经常会遇到“氨”、“铵”、“胺”这三个字混用和错用的情况。一些作者甚至编辑有时也不知该如何区分。特在此举例说明并分析。(1