【摘 要】
:
对话系统作为自然语言处理的重要研究分支,在近几年持续受到研究者的关注。海量数据的出现和深度学习的快速发展为对话系统的建模提供了重要支持。对话系统一般分为任务型和检索型,任务型对话系统需要从对话中对用户意图进行识别并完成特定任务;检索型对话系统需要根据多轮历史对话,结合深度匹配模型,从回复模板库中检索出与当前对话最为匹配的回复候选项。检索型对话系统的回复检索性能,容易受到数据集质量的影响,并且当前的
论文部分内容阅读
对话系统作为自然语言处理的重要研究分支,在近几年持续受到研究者的关注。海量数据的出现和深度学习的快速发展为对话系统的建模提供了重要支持。对话系统一般分为任务型和检索型,任务型对话系统需要从对话中对用户意图进行识别并完成特定任务;检索型对话系统需要根据多轮历史对话,结合深度匹配模型,从回复模板库中检索出与当前对话最为匹配的回复候选项。检索型对话系统的回复检索性能,容易受到数据集质量的影响,并且当前的深度匹配模型对对话的语义理解仍然有待提升。针对上述问题,以提高回复检索性能为出发点和研究动机,本文从数据和模型的角度对检索型多轮对话系统展开研究,主要工作和贡献如下:从数据角度,本文通过多方面的对大规模多轮对话数据集的分析,发现它们存在样本质量低、缺乏语义,对话中主题切换的问题。提出多轮对话增强策略(Multi-turn Conversational Augment Strategy,MCAS),旨在提高对话样本的质量并缓解噪声样本的影响。MCAS从长轮次的对话样本入手,采取截断式的构建正例样本,随机、交叉式的构建负例样本。通过在已有的深度匹配模型中的实验表明,即使不设计复杂的匹配模型,单从对数据的建模就能提高回复检索的性能,这也为该领域的研究提供了新的思路。从模型角度,本文将预训练语言模型引入到检索型对话系统中建模,旨在利用它对海量数据强大的语义理解能力。本文以BERT和ELECTRA为基础,提出了基于多轮对话的域适应训练和微调策略。域适应训练能够利用多轮对话样本,构建下一句预测任务和掩码语言模型,让匹配模型融入更多特定领域的内部知识。在微调策略中,为了能够捕捉不同聊天者的对话信息,提出了基于聊天者的段嵌入表征方式。通过在三个多轮对话数据集中的实验和多种评估指标的验证表明,结合预训练语言模型能够极大的提高回复检索指标,同时也证明了提出方案的可行性和有效性。
其他文献
我国拥有相对较为丰富的水能资源,但水能资源利用率相对不足,通过对径流时间序列进行可靠的丰枯性预测可以协助决策供电方案,优化发电资源调配,从而提高水资源的利用率,同时对于防洪抗旱方案的制定都具备一定的指导意义。近年来,对于径流丰枯性预测的研究也取得了一些辉煌的成果,但是仍存在着以下需要解决的问题:(1)径流序列不具备明显规律性,需要进行序列分解,但是传统分解方法受端点值影响较大(2)现实中水文数据的
与完全公开了通信规约的已知协议不同,当今的网络中有着许许多多的未知协议,个人或者一些软件厂商考量到有关安全问题、经济利益甚至个人隐私等各种各样的问题,他们并没有选择将协议的细节部分公之于众。由于未知协议在实现和实际应用过程中可能存在各种类型的安全威胁,且在实际网络环境中,目前的网络安全设备多基于已知的协议报文格式进行检测和防护,导致未知协议在实际通信应用过程中面临着极大的安全威胁。分析其存在的安全
分类、定位、检测、分割是计算机视觉领域最核心的任务。近年来,卷积神经网络(CNNs)技术取得了瞩目的成就,促进了目标检测技术飞速发展,越来越成为人类生活的便捷工具,在智能安防、智慧医疗、自动驾驶等领域广泛应用。尽管基于深度学习的目标检测取得长足进步,但在检测不同大小的物体存在相当大的性能差异。小目标物体由于自身尺度问题,存在被遮挡,特征不明显等问题,导致小目标难以检测。因此,小目标检测的研究也逐渐
域适应(Domain Adaptation,DA)是迁移学习的一个分支,其目的是将知识从带标记的源域迁移到缺乏标记但任务相关的目标域,为借助已有的数据知识和节约模型训练的资源成本提供了有效途径。根据目标域数据的获取形式,域适应方法可分为离线域适应和在线域适应。现有的域适应研究大多针对目标域数据全部提前收集的离线域适应场景,它们提出的方法大多从特征层面上关注如何减少两域数据分布的差异,在知识迁移的过
随着大数据时代到来,问答系统作为一种能够高效获取有效信息的手段,引起了各行各业的广泛关注。在军事装备领域,大量的装备类型、型号以及参数信息等对指挥作战人员非常有用,但这些信息却未能得到有效利用。主要原因是现有的搜索引擎给出的查询结果数目过于繁多,相关工作人员无法迅速找到自身所需的信息。针对传统搜索引擎在装备领域存在的问题,本文基于军事装备数据,构建了一个契合用户的个性化问答系统。该系统采用模块化方
目标检测通俗来说,便是找出图像中指定的目标,同时需要找出目标位置和大小。目标检测的根本内容便是“什么目标在哪里”。对于小目标的定义一般有两种,一种是COCO数据集[1]中定义的,物体像素值小于32×32,另一种定义方式是目标的宽和高均在原图十分之一以下,满足以上两种条件之一,则定义为小目标。随着科技的发展,高分辨率航拍图像可用性越来越高,其中包含了大量安全、土地开发、疾病控制、缺陷本地化、监视等相
安全外包计算技术作为云计算的一种应用方式,已经得到了个人和企业的关注。外包计算就是一些硬件条件有限的客户端将需要大量计算资源的任务外包给云服务器,以达到节约自身资源的目的。虽然外包计算在大数据时代拥有广阔的应用前景,但云服务器的不可靠行为是制约外包计算发展的重要因素。如何保证客户端外包数据的安全是设计方案时关注的重点之一。此外,方案的正确性、高效性和结果可验证性也是外包计算的基本要求。大规模矩阵乘
随着人工智能技术的成熟,语义分割方法也迎来了飞速发展的机会。语义分割作为一种像素级的预测任务,为了获得较高的性能,需要耗费大量的计算资源进行训练学习。然而随着自动驾驶和移动机器人需求的日益增长,在分割精度和分割速率之间进行平衡显得尤为重要。鉴于此,本文以自动驾驶领域作为应用场景对语义分割展开研究,兼顾分割精度和分割速率,实现快速准确的语义分割。本文主要研究内容如下:(1)针对不同尺寸特征图之间像素
近年来,在线社交网络已成为信息传播最为重要的网络平台。推特作为境外分享信息的主要社交平台,拥有海量的活跃用户与大量的推文发布,充斥着海量隐私信息并暴露于公众视野,导致了社交网络中极高的隐私泄露风险。因此,研究社交网络中的隐私信息传播具有重要意义。本文针对推特中包含隐私信息的推文,构建了隐私信息传播的级联图,对隐私信息的传播特征开展分析,在此基础上提出了隐私信息传播模型的构建方法。本文的主要贡献如下
深度学习的发展提高了计算机处理图像的能力,拓展了计算机视觉的应用。同时,基于视觉任务的端到端的自动驾驶技术也在不断地发展。但是,目前深度学习在端到端的自动驾驶领域应用较浅,基于深度学习技术构建的决策模型不能很好的完成自动驾驶任务。因此,研究基于深度学习的决策模型具有重要的理论意义与应用价值。本文基于深度学习技术,设计了一个可以根据道路图像预测出驾驶动作的模型,并在模拟器上进行了实验仿真测试。最后,