基于深度学习的对话问题生成方法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:jia_oracle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对话问题生成旨在根据给定长文本和对话历史生成对话式问题。在日常生活中,对话式问答更为常见,人们之间进行连续问答来传递信息。对话问题生成可广泛应用于教育、医疗和商业服务等领域,具有较大的应用前景。目前研究对话问题生成的主流方法是基于深度学习技术设计神经网络模型,然而模型生成的对话问题距离应用仍有很大的差距。本文主要基于序列到序列模型和预训练模型来分析如何提升对话问题生成的性能,本文主要的工作如下:(1)基于序列到序列模型的对话问题生成。本文构建了一个基本的序列到序列对话问题生成框架,并基于此框架对对话问题生成的答案信息、对话历史信息和长文本信息这三个具体方面进行建模分析。基于建模分析结果,本文提出了一个基于序列到序列模型改进的对话问题生成框架,为了更好地利用输入序列信息,本文从长文本信息中提取了包含答案的句子,将长文本、包含答案的句子和对话历史这三个信息源进行分开编码,根据不同信息源的特点设计了对应的编码器使用特征融合门机制对信息进行结合。实验结果表明,此方法可以有效提升模型对于输入序列的关键信息提取能力。本文根据改进的序列到序列对话问题生成模型,实现了一个可与用户进行交互的对话问题生成系统。(2)基于预训练模型的对话问题生成。从语言学上来说,对话问题类型的确定有利于引导对话问题内容的生成,预训练模型BERT在文本分类上有着很好的表现,本文设计了一个结合预训练分类模型和序列到序列生成模型的对话问题生成框架,同时本文采用决策级融合方式设计了一个基于BERT的多模型融合分类器来提升模型分类效果。实验结果表明,此框架能够提升对话问题类型的准确率,进而提升了对话问题生成的性能。鉴于预训练模型出色的文本表征能力,本文设计了一个基于预训练文本生成模型BART和T5的多模型融合对话问题生成框架,实验结果表明可以有效提升对话问题生成的质量。
其他文献
近年来,区块链技术越来越受关注,区块链技术也得到了多方面的发展。但是,区块链面临低吞吐量和低存储扩展性的瓶颈。分片技术可以提高区块链的并发吞吐能力,但现有的交易分配方法不能有效提高区块链的收益。多副本区块方法为一个数据块设置多个副本,并将每个副本存储在不同的节点中,相比区块的全复制方法,多副本方法有效降低了节点的存储开销。但现有的区块链多副本方法忽略了区块的查询代价。针对这些问题,本文分别研究面向
学位
托卡马克核聚变堆在运行的时候会产生大量热能、辐射能、电磁场以及中子流,多数情况下都无法进行人工维护。因此需要使用遥操作控制系统对托卡马克装置内部进行维护和操作。在遥操作上层控制系统中需要采集多种数据来对任务进行创建。采集机械臂数据可通过示教来进行,将数据存储到遥操作上层控制系统的运行管理子系统数据库中。但示教采集信息的方式效率低,在目标位置发生变化后就要重新示教,而且在聚变堆运行后装置内部情况不允
学位
多标签特征选择在高维多标签学习任务中起着至关重要的作用,并被广泛用于文本分类,Web数据挖掘等领域。现有的多标签特征选择方法主要是探索特征-标签、特征-特征和标签-标签的相关关系中的两种,少数方法能够同时处理三种类型的相关关系。如果能够同时考虑三种相关关系,可以获得带有更多辨识信息的特征子集,用于构建性能更加优越的预测模型。为了解决这个问题,本文将多标签特征选择问题转化为局部因果结构学习问题,围绕
学位
知识图谱是一种用来描述现实世界实体之间相互关系的知识库,其已在搜索、推荐和问答领域得到广泛的应用。大规模的知识图谱难以完全依靠人工构建,因此自动化的构建知识图谱成为了研究的热点问题,其中命名实体识别是构建知识图谱的基础任务之一。目前,基于Transformer的预训练语言模型在解决命名实体识别任务上得到广泛的应用,但这类方法通常需要高质量的标记数据进行微调,难以在无监督或弱监督的情况下实现较好的命
学位
贝叶斯网络是不确定性知识表达与推理的重要工具,是数据挖掘、人工智能和机器学习等领域中的重要研究方向之一。在大数据时代,由于数据的高维度,学习整个贝叶斯网络结构是一个耗时甚至不可能在有限时间内完成的任务,这使得学习一个给定变量的局部贝叶斯网络结构成为一个新的探索方向。然而目前的局部贝叶斯网络结构学习算法仍存在很多问题需要进一步探索,因此,本文开展基于约束的局部贝叶斯网络结构学习算法的相关研究,主要取
学位
近年来深度学习快速发展并攻克了计算机视觉不少难题,然而这些成果通常是建立在大量标注数据的基础上。大量标注数据意味着高昂的成本,且许多应用由于标注数据不足而难以落地。小样本学习旨在通过少量标注数据训练得到一个性能良好的模型而成为受许多人关注的领域。在图像分类任务中,现有的大多数小样本方法仅利用样本视觉信息,而忽略与之相关的文本信息。事实上,在视觉数据较少的情况下,引入其他模态信息并合理运用有助于提升
学位
中国聚变工程实验堆(CFETR)是中国自主设计和研制的衔接EAST和ITER的下一代聚变反应堆。CFETR堆芯部件运行在,高温、强磁场、中子辐照的恶劣环境下,其结构造成不同程度的损伤甚至是失效,严重时影响装置的正常运行。为了确保聚变堆的安全运行,需要定期对堆芯部件进行维护。遥操作是替代人工在恶劣环境下对内部部件进行远程维修的技术。在此背景下,中国科学院等离子体物理研究所遥操作维护团队设计了一款多功
学位
强化学习作为机器学习的重要分支,因其良好的决策能力,近年来受到了广泛关注。将强化学习融合到多智能体系统形成了多智能体强化学习,其已经成为人工智能领域的研究热点。传统的多智能体强化学习算法仅考虑外在动机,即根据环境的外在奖励引导智能体进行策略学习。当外在奖励稀疏或分配不明时,会导致智能体学习缓慢甚至无法学习到有效策略,这就是多智能体强化学习普遍存在的稀疏奖励问题和全局奖励贡献分配问题。本文提出了基于
学位
区块链通过可追溯的分布式账本和非对称加密技术等手段,在不依赖于任何第三方可信机构的前提下,解决了分布式信任问题。因此,基于区块链提供可信的物联网数据已受到了越来越多的关注。共识作为区块链中的核心,需要大量的计算资源,因此资源有限的终端设备无法进行共识。将终端设备的计算任务卸载给边缘计算服务提供商(ESP)或云计算服务提供商(CSP)被认为是移动区块链共识的一种可行的解决方案。本文研究了基于区块链的
学位
传统的视觉同时定位与建图(Simultaneous Localization and Mapping,SLAM)无法完成与环境之间的交互任务,而且当环境中存在动态物体时,系统的定位精度会大幅下降,融合了语义信息的SLAM系统能够较好地解决上述问题。获取周围环境中的语义信息是语义SLAM的重要任务,然而,采用语义分割或实例分割网络会影响系统的时间性能,采用目标检测方法又会损失一部分精度。因此,本文提
学位