混合检索式和生成式的多回合对话研究

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:gdp1959
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
今天的世界正在以前所未有的速度发展的同时也产生了海量的大数据,其间也充斥着很多冗余信息,问答系统作为应用领域中十分成功的案例能帮助用户方便的解决很多问题。现在的问答系统在单回合问答的表现已经取得了不错的成绩,然而现实生活中,用户和问答系统之间的交互往往是多个回合。由于多回合对话包含的信息更多,而且每个轮次之间话题的主题往往不相同。在多回合对话模型中,模型抽取到的有价值的信息越多,最后生成的答案的质量也就越高,所以如何对已有的信息更有效的利用是个重要问题。为了使多回合对话更加智能,深度学习是目前多回合对话广泛采用的方法,现有的多回合对话生成方法对于上下文关键信息的抽取不够,并且生成的句子质量很差,句子本身缺乏多样性,语法性和合适性。在传统的检索式对话中,由于依赖关键词匹配等技术,所以检索得到的答案是高度匹配的。但是传统的检索式对话对于复杂问题的灵活度较差。而在生成式对话中,可以应对复杂多变的问题,但是容易产生不切实际的,不通顺的答案。所以本文认为,可以把检索式方法的优点和生成式方法的优点结合起来,使用检索来辅助生成模型,进而提升模型的表现效果。在本文中,首先提出了一个多回合分层编码器模型来更好的适应多回合对话的特征,以此来更好的抽取上下文有关信息。在本文中把复杂的多个回合对话按照对话的轮次进行拆分,并且引入了轮次位置编码来突出对话的轮次特征,之后使用注意力机制来找到和当前轮问题最相关的上下文背景信息。之后,本文提出了针对多回合对话动态分层融入相关历史对话信息模型。为了使模型对已有背景信息进行有效扩充,本文认为只考虑当前对话窗口下的上下文信息是不够的,应该更多的考虑和当前轮问题更相关的历史对话,从相关的历史对话中来检索得到可以用于辅助当前轮问题生成的有效信息。所以本文在检索得到相关信息之后,使用动态融合编码器来逐步向上下文中添加补充信息。本文最后对提出的算法进行了充分的实验验证。本文采用了现阶段广泛使用的Ubuntu英文社区多回合对话数据集和Daily Dialogue多回合对话数据集来验证本文所提出的模型的有效性,相关实验结果证明本文提出的算法是有效的。
其他文献
学位
学位
学位
随着海洋资源的合理开发应用,海洋事务随之不断扩展,如航海、港口讯息、海洋教育、班轮运价、航运物流动态等,使得人们对海事相关新闻的关注日益增加,然而新闻生产和传播之迅速,如何有效准确的分发这些新闻,用户如何快速筛选出需要的新闻变得越来越重要。将新闻中的关键信息作为新闻的标签,用这些标签来代替一个内容复杂的新闻,这些标签就是对新闻更简单的,更具有代表性的体现。但海事新闻领域文本具有高度专业性内容,以及
学位
学位
学位
随着5G网络的部署和商用,基于业务对网络能力的不同需求,在现网中对不同用户进行差异化服务已成为行业研究热点。为此提出了一种实现4/5G网络QoS差异化服务融合部署和统一调用的方法。该方法包含了4/5G网络QoS差异化服务融合部署的网络架构、QoS平台服务端对终端4/5G用户自动识别的方法以及4/5G融合的QoS业务端到端流程等。此方案的设计使得第三方不需要区分用户的4/5G形态,使用全国统一的调度
期刊
扩展现实(XR)业务引入5G仍面临业务识别和保障、网络接口开放、头显终端不成熟等诸多挑战。研究了XR业务的特征和分类,并提出智能优先比特率(Smart PBR)方案和无线接入网(RAN)分组时延预算协同调度(PDB)方案。Smart PBR方案可为XR业务提供带宽确定性保障。RAN PDB协同调度方案可使小区中满足PDB要求的报文比例显著增加,大大提高用户体验质量。本研究对推动XR业务在5G网络中
期刊
世界卫生组织的调查数据显示,心血管疾病是世界范围内的头号杀手。在我国,心血管疾病占城乡居民疾病死亡率的首位。由于医疗资源供给不足,所以我国许多欠发达地区的患者无法在早期发现心血管疾病的征兆,并采取积极的治疗手段,导致错过治疗的窗口期。近几年,随着互联网和人工智能的高速发展,越来越多的互联网在线医疗平台兴起,但这些平台在线问诊的费用较高,等待周期较长,容易贻误病情。同时,医疗信息化带来了海量的医学数
学位
随着互联网信息传播的飞速发展,信息的网络安全愈发得到人们重视,基于混沌理论的图像加密算法设计成为了一个热门的研究课题。一般而言,图像加密算法需要两个步骤,分别是图像像素置乱和像素值扩散操作。图像加密的主要目标是隐藏明文信息,改变原图像的像素值大小与像素位置分布,使得到的加密图像中得不到有用的信息。对于加密使用的混沌系统而言,存在控制参数、初始值的选择空间过小,混沌系统过于简单的情况。目前已经提出的
学位