对话省略恢复与指代消解研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:wtxsing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面向多轮对话场景的省略恢复与指代消解任务是近年来自然语言处理领域的一项关键任务,其能够通过对缺省话语的补全消歧,获得更能表达完整语义信息的语句,以辅助推进对话进程,帮助对话系统正确地理解用户的意图。给予后续对话状态跟踪、对话回应生成、对话自动摘要等下游任务以强有力的基础支撑。近年来,随着深度学习技术在自然语言处理领域的兴起和发展,多轮对话省略恢复与指代消解研究也不可避免地受到了这波浪潮的冲击。本文基于深度神经网络构建的各基准平台,针对历史对话蕴含的丰富省略指代语义信息检测、历史对话结构的动态建模、抽取生成两者方法间的互补性探索等方面,对多轮对话省略恢复与指代消解展开了一系列研究,研究内容主要有以下三个方面:(1)针对历史对话中蕴含的省略、指代缺失语义信息关注度不足的问题,本文提出了无监督抽取算法对目前公开可用语料进行二次标注,并进一步提出了抽取式对话省略指代一体化检测模型。针对实际对话文本中省略和指代现象占比较小的问题,本文提出增加是否缺失判别的辅助任务,训练模型判断目标缺省话语是否存在省略、指代现象,与缺失语义抽取任务建立联合学习模型。实验结果证明,本文对对话省略指代检测任务的分析和模型的改进是正确且有效的。(2)多轮对话场景下,对话历史信息对于缺失语义的恢复至关重要,而现有研究大多不加区别的对待对话历史信息,甚至存在长距离“信息遗忘”问题。针对上述问题,本文提出了一种融入多粒度对话历史信息的生成式对话省略指代消解模型。编码阶段,本文提出了“说话者强调”机制的对话历史编码器允许模型独立地查看每个说话者的对话历史话语,以更好地表征全局对话历史信息;解码阶段,提出自顶向下分层拷贝机制给予对话历史信息以句子级别到词级别的多粒度信息关注。实验结果证明上述两方面的改进能有效提升多轮对话省略恢复与指代消解的性能。(3)抽取式模型存在可读性、连贯性较差的问题,而生成式模型往往逻辑性、准确性不够强。考虑到抽取式和生成式的方法各有所长,借助两方法之间的互补性,本文提出了一种融合抽取-生成式的对话省略指代消解模型。首先结合抽取式任务检测对话历史话语中的缺失语义短语表达,接着将得到的缺失语义短语表达分别融入到生成式模型的解码初始和拷贝阶段,以约束指导生成最终的补全话语,提高最终结果的准确性、逻辑性以及连贯性。实验结果证明了该模型的有效性。
其他文献
随着经济的快速发展,社会出现了越来越多的闲置资源,互联网技术的发展为闲置资源的再利用提供了技术条件。共享经济这种新兴的经济模式逐步发展起来,对人们生活的各个方面产生越来越大的影响。目前,共享经济的运营模式主要是具有中心化特征的中心型共享经济,其面临数据孤岛、数据安全等问题。具备去中心化、非对称加密等特点的区块链技术有机会拓宽共享经济的发展方向,智能合约的利用也将为共享经济的发展带来变革,势必会创造
学位
随着短视频平台的快速发展,直播带货行业变得越来越火热。设计并研发细粒度多模态商品识别系统,可以极大地提升用户体验,具有实际落地意义。作为该系统的核心,多模态命名实体识别能够在众多多模态场景中挖掘有效信息,具有重要的研究价值。目前,多模态命名实体识别方向的研究者们主要关注文本和图像的特征提取以及多模态信息交互、融合,忽视了图像的深层信息以及不相关图像带来的噪声影响。因此,本文针对现有方法的不足,提出
学位
随着互联网技术的快速发展,跨境电子商务已经成为开展国际贸易的重要渠道,由此引发的对于商品信息的机器翻译需求不断增长。由于商品信息句子中的术语携带着重要的信息,对于商品信息的全面传达至关重要,目前学术界和工业界主流的做法是基于电商双语术语词典来搭建电商领域的定制化机器翻译系统。然而,电商领域双语术语的构建完全依赖于人工翻译,存在成本高、效率低的问题。针对此问题,本文分别从抽取式和生成式两个方向提出电
学位
在“万众创新”的时代背景下,高新技术企业已成为国民经济增长新引擎。但在快速发展的同时,部分高新技术企业因短视的经营行为而陷入经营危机,因此我们应更多的关注企业长远的发展。创新是企业漫长生命周期中维持竞争力不可或缺的手段,管理者在创新活动中扮演着重要角色,是企业创新研发与投资方案的制定与决策者,企业可以设计合理的激励体系激发高管创新的主动性和积极性,高管薪酬粘性便是这样的一种薪酬制度安排,它会包容高
学位
城市地下管网是保障城市正常运行的重要基础设施和“生命线”,负责提供能量与信息流,但随着城市化进程的不断加快,使得城市地下管网的维护难度日益增加,维护工作不及时导致地下管网事故频发。近年来,物联网技术发展逐渐成熟,运用物联网技术推动智慧城市建设是新的发展方向。本文基于管网监测系统的研究现状,设计并实现了具备稳定性、低功耗和可维护性的管网数据监测系统。主要研究内容如下。(1)搭建管网监测系统的软硬件平
学位
对于自然语言处理领域中的机器翻译等跨语言任务,平行结构是训练神经网络来学习不同语言之间的映射关系的重要资源。除了现有的平行资源外,近年来很多研究者们都在尝试从单语语料中挖掘平行数据。目前,大多数研究集中于从单语语料中挖掘平行词对和平行句对,而由于平行短语对边界确定困难、单词形态复杂,所以从单语语料中挖掘平行短语对的研究非常稀少。因此,本文尝试利用多种方法,从单语语料中挖掘高质量的平行短语对,并探索
学位
本文的主要研究内容是不依靠平行语料的神经机器翻译系统的初始化研究,在不使用平行数据进行训练的方法中主要有无监督训练方法,它使用降噪自编码和反向翻译方法在单语语料上进行训练,而相关研究表明模型的初始参数往往对这类训练方法的最终效果有很大影响,错误的初始化可能会导致训练时产生太多噪声,从而会影响其最终性能。针对此问题,本文分别从真实词典监督,伪词典监督和元学习三个角度提出不同方法来提高初始化模型质量,
学位
产品质量和质保服务期限是两个重要且密切相关的业务决策。特别是耐用产品制造企业,在决定产品质量和质保期限时需要仔细权衡生产阶段的质量控制成本和销售阶段的质保服务成本,且不同的市场结构、产品价格以及竞争压力都会对企业决策产生影响。通过对国内外相关文献梳理,发现此类研究较少,本文利用博弈论和最优化理论研究方法,进行了以下几个方面的研究工作:首先,以垄断市场下企业捆绑销售质保产品给消费者为研究背景,考虑质
学位
地面沉降对城市发展以及人类生命财产安全有极大的危害,因此对地面进行沉降监测具有重大的现实意义。传统的监测方法费时费力、效率低、成本高,且不能实现大范围测量。时序InSAR技术具全天候、范围广、精度高及获取时间序列地表沉降等优点,逐渐成为城市地表监测的重要方法。本文利用两种不同的时序InSAR技术对杭州市和温州市的城市区域进行了地表形变监测,并对监测结果进行了验证分析,主要研究内容与成果如下:(1)
学位
报纸