【摘 要】
:
近年来,随着预训练模型的广泛应用,人机对话技术的研究取得令人振奋的进展。但是,目前的人机对话系统大多聚焦于人机双方参与的应用场景,对于更具有通用性的人机多方对话的研究及应用则鲜有涉及。在多方对话中,多个参与者在交流中所扮演的讲者及听众的角色不断并行交替,极大增加的对话关系结构的复杂程度。由于角色和结构的多样性差异,传统的人机双方对话模型缺少相应的建模策略,因此往往很难直接迁移到多方对话场景。本课题
论文部分内容阅读
近年来,随着预训练模型的广泛应用,人机对话技术的研究取得令人振奋的进展。但是,目前的人机对话系统大多聚焦于人机双方参与的应用场景,对于更具有通用性的人机多方对话的研究及应用则鲜有涉及。在多方对话中,多个参与者在交流中所扮演的讲者及听众的角色不断并行交替,极大增加的对话关系结构的复杂程度。由于角色和结构的多样性差异,传统的人机双方对话模型缺少相应的建模策略,因此往往很难直接迁移到多方对话场景。本课题主要围绕多方对话的关键技术展开,根据已有的对话系统的启发以及多方对话的场景特点,我们将多方对话关键技术划分为理解技术和生成技术。对话理解部分一方面需要明确对话系统的回复时机是否合适,另一方面选择待回复的目标角色。对话生成部分则给出符合指定目标角色和多方对话历史的回复。具体来说,我们展开以下三个方面的研究:(1)探索基于角色和结构感知的多方对话理解技术。针对说话人及说话对象预测的典型任务,我们采用多种角色向量编码机制隐式表征对话角色的交替。考虑到对话中存在的多种话题交叉,引入对话流图以及两种角色关系图显式建模对话结构。通过角色和结构的双重建模,角色预测的准确率明显提高。(2)探索基于角色和结构感知的多方对话生成技术。我们采用融入多角色向量编码的序列到序列的生成模型。考虑话题内容冗余性问题,提出基于掩码的跨注意力机制,显式控制模型对于历史的关注程度。对于容易产生与角色和内容不一致的回复现象,我们引入针对多方对话场景的非似然估计训练。(3)探索基于序列到序列生成的多方对话理解和生成联合建模技术。针对流水线对话系统存在的种种问题,我们提出基于字符角色表征的序列到序列生成模型,实现对话理解和生成的联合建模。同时,采用多方对话回复选择作为辅助任务共同训练,从而进一步提升模型的对话理解能力。我们尝试从上述三个层面探索多方对话的关键技术研究,结合自动评价指标以及人工评价指标对多方对话理解和生成模型的效果进行综合性评估。最终实验结果表明,我们所提出的角色和结构感知的多方对话建模方法都是有效的,在多个数据集上均取得优于已有模型的效果。
其他文献
当人类回答问题时,他们会利用关于空间关系、因果关系、科学事实和社会习俗等的常识知识。这些知识对人类来说微不足道,但仍然超出了当前问答系统的能力范围。与给定上下文篇章的问答任务不同,常识问答任务通常只有单独的问题而没有任何上下文语境,这就需要模型检索到与问题相关的常识知识并利用知识进行逻辑推理才能给出答案。因此如何检索到合适的常识知识以及将这些知识融入模型进行推理以解决常识问答任务成为了最近的研究热
事件时序关系抽取是自动文本分析中的一个关键问题,能够执行此任务的系统在时间感知摘要、事件时间线构建和事件预测等应用中具有重要的意义。时序关系抽取任务要求模型能够正确的捕获并理解自然语言文本中提及的时间信息。当前阶段自然语言处理任务中广泛使用预训练语言模型作为编码器,然而这些模型所采用的自监督预训练任务往往并不能感知文本中与时间有关的信号。本文探究面向篇章理解的事件时序关系抽取技术,即在预训练语言模
航天器是一个复杂的物理系统,直接反映其在轨运行状态的遥测数据具有难以用简单的物理公式描述、包含大量噪声等特点,使得航天器异常检测面临着难以得到精确的遥测数据模型的困难。LSTM模型在遥测数据建模应用中表现出了优秀的非线性拟合和噪声容忍能力,有效的提高了建模的精度。但应用LSTM模型极度依赖超参数配置,严重影响了建模的效果和速度。此外遥测数中包含了大量噪声,也会导致建模精度一定程度的下降。本文围绕遥
面对日益增多的科技文献,研究者们目前缺少一种高效的方式进行文章的快速阅读和知识梳理。知识图谱作为一种结构化知识表示形式,以三元组的形式进行信息组织,目前针对科技文献领域的知识图谱构建研究内容尚少。本文的研究目标是对科技文献进行开放式抽取,即无需额外标注,可直接对原文本进行三元组抽取。相较于其他类型文献,科技文献模块之间的区分度更高,如实验设置,实验结果,模型等,我们将这些模块称为信息单元。根据科技
近年来,开放域问答系统在学界和业界都获得了越来越多的关注。开放域问答作为自然语言处理中极重要的任务,其目的是为用户的问题提供简洁的答案,被认为是新一代搜索引擎的核心技术。基于文本的开放域问答是一种重要的实现形式,主要可以分为篇章检索、答案抽取和答案选择三个步骤。本文围绕基于文本的开放域问答中的篇章检索和答案选择进行研究,以提高开放域问答系统的整体性能。本文的内容是对篇章检索和答案选择进行优化。首先
药物分子和靶标蛋白亲和性的成功鉴定在药物发现的虚拟筛选阶段和现有药物的再利用环节中起着至关重要的作用。本文主要从亲和力值预测模型的输入、编码和解码三个角度研究了药物-靶标作用表示与预测方法,以提升预测准确率。本文基于生物领域问题的特点,参考了自然语言处理、多模态融合和推荐算法领域的先进思想,改进了上述三个阶段。主要研究内容包括:(1)基于多粒度表示的药物-靶标亲和力值预测方法研究,对药物、蛋白质的
目的 探究白细胞介素34(IL-34)对大鼠根尖牙乳头干细胞(SCAP)成牙、成骨分化的影响。方法 采用酶消化法分离培养大鼠SCAP,实时荧光定量PCR检测IL-34在大鼠SCAP中的表达。采用噻唑蓝(MTT)法分析不同浓度IL-34对大鼠SCAP增殖活性的影响。茜素红染色观察矿化情况,划痕实验检测增殖能力,实时荧光定量PCR检测成骨相关基因碱性磷酸酶(ALP)、牙本质涎磷蛋白(DSPP)、 Ru
本文对出院准备度的概念、评估工具进行了研究,对肺癌患者出院准度的现状及影响因素等作一综述,为改善和发展肺癌患者出院准备度的临床护理干预提供参考。
<正>思想政治理论课(以下简称思政课)作为落实立德树人这一根本任务的关键课程,是用党的创新理论培根铸魂、启智润心的主渠道和主阵地,在培养社会主义建设者和接班人的过程中发挥着不可替代的重要作用。当前思政课已进入到了善用“大思政课”整体实践的育人新格局,要深入学习习近平总书记关于教育的重要论述,结合正在开展的主题教育相关内容,坚持社会主义办学方向,在涵养大情怀、建设大阵地、构建大师资上下功夫,用好用活