对话系统中面向小样本的自然语言理解

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:u20051026
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的发展,用于和人类交互的智能对话系统变得越来越普及,相对于闲聊型对话系统的开放性和无目的性,任务型对话系统更多的是任务、技能相关,如现在很多电商平台都使用智能客服帮助用户解决问题需求。随着任务场景覆盖面越来越广,任务型对话系统面临着频繁增加功能的需求,然而任何新的领域、新的需求在出现的初期标注数据都非常匮乏,如何通过少量样本为对话系统快速增加新的功能成为现在任务型对话系统的一个挑战。自然语言理解是管道式任务型对话系统的重要模块,自然语言理解的经典做法是通过将非结构化的自然语言输入通过意图识别和语义槽填充转化成为结构化的数据,本课题在此基础上分别进行了小样本场景的意图识别和小样本场景的语义槽填充的实现,构成了自然语言理解模块的基础功能。本课题使用BERT作为小样本意图识别和语义槽填充的编码器,其中小样本意图识别采用度量学习的框架,并使用原形网络作为类别的发射打分器,同时融入基于词频的发射打分器,整体模型通过优化样本和类别表示的距离进行参数学习,最终得到一个性能良好的小样本意图识别模型,并且支持在不进行中间任务训练的前提下也有不错的表现;小样本语义槽填充模块首先利用度量学习的方法,通过交互式BERT编码器和原形网络计算发射打分,同时引入具有序列任务特点的基于数理统计的转移打分,最后使用条件随机场模型进行联合解码和学习。在真实的生产场景中,对话系统仅有上述的基础功能仍然是不完备的,因此本课题在自然语言理解模块中融入了一些重要的模块用于完善对话系统的功能。通过将源领域文本视为领域外语料,并计算阈值的方法能够简单高效地实现领域外检测的功能;通过将错例加入到支撑集,并进行预筛选或权值衰减的机制可以实现错例快速修复;通过匹配用户自定义的句式模板、语义槽词典等规则信息调整发射打分,可以实现融入用户自定义信息的功能。实现了上述功能以后,本课题整体最终实现了功能齐全的小样本自然语言理解单一模型。
其他文献
走合作化、科技化、产业化道路汤修海河南省信阳县位于大别山北麓,淮河上游。这个县所产“信阳毛尖”茶是我国十大名茶之一;1985年,信阳县茶叶果品公司生产的“龙潭牌”信阳毛尖茶叶
约翰·奥尔森是新制度主义学派的重要代表人物。在政府间主义和新功能主义就“什么是欧洲一体化的动力”问题长期争论不休之时,奥尔森从其一贯的制度思维出发,为该问题提供
本文简要介绍了直埋供热管道设计的基本方法,针对管道设计中的应力验算、热伸长量计算等难点进行了分析,为设计者提供了一些参考的措施和建议。
2010年中国对稀土元素产品的出口限制引起世界的关注,其与2009年中国原材料出口限制措施案有类似之处,均反映了中国与其他WTO成员方之间的资源"攻守"博弈,但其具体形式又有新发
基层社挺进大市场的探索──对靖江市太和供销社的调查林其伦在社会主义经济条件下,如何解决供销社大系统、小企业与社会主义统一市场的矛盾问题,特别是基层供销社如何与社会大
期刊
从“白手起家”到销售超亿武成柏淄川区供销社购销总部是90年12月27日成立的,当时只有干部职工7人,没有办公地点,没有经营场所。然而令人惊叹不已的是:到92年9月,该企业在20个月的时间里创出了
调整经营结构是走向市场的现实选择陆广喜计划经济条件下生长起来的供销社,如何摆脱传统体制的束缚,通过调整结构,走向市场,求得生存与发展,成为摆在供销系统干部职工面前迫切的课
大陆刑法与澳门刑法均规定了犯罪中止制度,两部刑法对中止犯规定相同之处主要表现在立法精神上和表现形式上,相异之处主要表现在处罚原则上和成立条件上,澳门刑法规定的犯罪既遂
当前,中国国民经济发展的步伐在逐步加大.国民收入水平也明显增长.我国市场经济的发展依靠工业为依托,而电气工程自动化发展属于工业范畴,从经济发展的进程来看,电气工程自动