融合张量和LSTM的对话文本个性化检索和生成方法研究

来源 :北京理工大学 | 被引量 : 0次 | 上传用户:ORKGJBNLRBKJGWIJG
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智能对话系统是如今自然语言处理领域的研究热点之一。本文主要面向电子商务的客服对话系统,根据对话历史记录进行建模,在给定用户的提问内容后,为客服工作人员推荐备选回答。本工作从应用上,降低客服工作人员回复时的打字时间,提升其工作效率,改善用户体验;从理论上,将对话系统技术与信息推荐技术进行融合,为对话模型引入个性化协同学习机制。本文所解决的主要问题是中小型电商的对话系统学习所面临的数据稀疏问题。传统对话模型主要面对海量历史数据,通过神经网络提取词的语义特征,从已有的问答对中检索或直接通过模型自动生成回复内容。而对于大部分中小型电商,历史对话记录远远少于大型热门电商,不足以训练准确的对话系统。为解决该问题,本文引入信息推荐中的张量分解技术,将多个数据稀疏的中小型电商对话模型协同学习。目的是通过共享模型参数,挖掘共性信息,并通过学习个性化向量,刻画每家电商的个性信息,从而缓解数据稀疏问题。具体内容包括:1.针对历史记录中存在相似问题的情况,提出检索式对话回复推荐模型。该模型将循环神经网络中的长短记忆模型(LSTM)与张量分解进行融合,通过共享参数的LSTM对用户问题及工作人员答案进行语义向量化表示,通过张量分解为每一家电商学习个性化向量,从而协同学习所有模型。基于真实客服数据的实验表明,多个对话模型协同学习与单个对话模型独立学习相比,在第一位置的平均召回率(recall@1)指标上能够提升5.3%,在数据更为稀疏的子数据集上,能够提升12.5%。2.针对历史记录中不存在相似问题的情况,提出生成式对话回复推荐模型。由于检索式回复推荐模型受到历史数据的制约,当历史数据中不包含相似问题时,被检索库里所有答案均不准确,为此,作为该情况下检索模型的补充,本课题开展生成式推荐模型的研究。所提出模型将基于LSTM的序列到序列(Seq2Seq)模型与张量分解进行融合,在编码的时候融入电商的个性化向量,并使用注意力机制进行解码生成回复文本信息。基于真实客服数据的实验表明,协同建模所有Seq2Seq模型与单独建立模型相比,在困惑度指标上能够提升5.13%,在数据更为稀疏的子数据集上,能够提升12.8%。
其他文献
心理语言学是研究和描述人类掌握和运用语言的心理过程的学科。认知科学的发展使得来自不同背景的人们学习语言处理。Psycholinguistics是一本心理语言学著作,作者是波士顿大学心理与脑科学系名誉教授Jean Berko Gleason,此书的目的在于使读者熟悉心理语言学学科的核心概念及相关内容。本翻译实践报告选取Psycholinguistics的第四章 Words and Meanings:
软件产业已经发展成为我国的战略性和主导性产业,其发展不仅会创造巨大的绿色产出,而且对于带动其他产业的发展具有极其重要的作用。2011年国务院发布了《进一步鼓励软件产业
近年来,“协商”成为政策制定和冲突解决的热门方式,然而多数协商仅仅停留于表面,始于表情达意也止于表情达意,公众参与难以与政策制定者产生有效互动,不能有效提高政策质量
通信技术的不断进步,使人们观看电子游戏视频的形式发生了巨大的改变,从过去的点播模式,转变为在线直播模式。自2014年起,国内涌现出大量的网络直播平台。用户可以免费观看平台上各个主播的直播内容,然而面对大主播的高额签约费,服务器维护费等一系列高额成本,网络直播平台如何盈利,如何在激烈的竞争中立于不败之地,是相关企业关注的焦点问题。本文以目前市场占有率较高的网络直播平台DYTV网络科技有限公司(以下简
目前人们生活质量不断提高,寿命不断延长,老龄化俨然成为一种趋势,随之而来的是,人们对养老需求和就医需求的强烈呼声,但受限于原有传统养老机构和医疗机构的规模和职责定位所限,现有的养老机构的主责仍然放在了简单生活照顾方面,不能满足老年人对医疗需要的高标准追求,同时,医疗机构把更多的精力放在了救死扶伤,无暇照顾身体各方面机能都很正常的慢性病老年人。况且很长时间以来,政府部门的养老职能和医疗职能分别隶属于
国务院文件指出,坚持把一流作为目的是建设“双一流”的基本原则,以学科为基础,以绩效为杠杆,以改革为动力。因此,高校及各级教育主管部门关注的焦点转移到了学科建设绩效问
历史记载和解释一系列人类活动的进程,多数时候也是对前人的经验和教训进行总结。去了解一个国家的历史不仅仅是个人的兴趣所在,也是一个自我发现,自我审视,自我提升的过程。作为国家政策“一带一路”的合作国,黑山有着异常丰富的历史文化积淀,了解其历史不仅能拓宽我们的知识面和增长我们的眼界,也能帮助我们与国家政策接轨。翻译是一种转换生成活动,是将一种相对陌生的表达方式转换生成为另一种大家所接受的表达方式。功能
本论文主要以“中国高铁报道”为研究对象,以央视新闻官微为例,基于框架理论进行研究分析。中国高铁是作为中国先进技术进步发展,代表中国制造的符号。对外,我国的高铁技术实力受到广泛认可;对内,高铁使人们的出行更加便利快捷。在本文的研究中,借鉴了学者臧国仁的框架理论,运用高、中、低三个层次的框架对微博平台上央视新闻官微对中国高铁的报道进行系统的研究分析。在高层次结构上从报道主题、消息来源进行分析,在中层次
时空轨迹数据本质上是随时间不断变化的空间位置信息。不断普及的位置收集装置使得轨迹数据日益丰富,给智能交通等领域带来了新的机遇,让我们有可能实现路况的实时监控和预测
时空序列数据预测是时空序列数据分析的一大分支,该分支也是过去几十年间时空序列数据分析的重点研究领域。国内外的很多学者在时空序列预测领域已经取得了很多突破性的成果,