【摘 要】
：
会话问答即多轮问答任务,是对话式人工智能的重要组成部分。给定一篇文章和相应的一段对话,会话问答任务需要回答对话中的下一个问题。使整个对话更加流畅连贯。会话问答任务的机器学习模型不仅需要考虑当前的问题,而且还需要结合上下文对话历史信息。但是由于上下文篇幅较长,如何对复杂的信息进行高效特征提取,一直是会话问答任务的重大难题。现有的方法通常会对其经过多层LSTM处理,将特征向量进行拼接,很容易产生冗余信
论文部分内容阅读
会话问答即多轮问答任务,是对话式人工智能的重要组成部分。给定一篇文章和相应的一段对话,会话问答任务需要回答对话中的下一个问题。使整个对话更加流畅连贯。会话问答任务的机器学习模型不仅需要考虑当前的问题,而且还需要结合上下文对话历史信息。但是由于上下文篇幅较长,如何对复杂的信息进行高效特征提取,一直是会话问答任务的重大难题。现有的方法通常会对其经过多层LSTM处理,将特征向量进行拼接,很容易产生冗余信息造成上下文偏差,最终导致模型性能的下降。针对以上问题,本文提出了一种基于BERT的动态推理驱动型的会话问答模型。模型基于Encoder-Decoder模型框架,在词嵌入层借助预训练模型BERT优异的语言理解能力,对会话问答任务输入的长序列进行监督微调,提取段落之间的语义信息;同时模型在多层推理的基础上,融入了动态的方式,能够更好地理解段落中的内容和会话历史信息,并且舍弃不相关的内容不断生成新的编码表示。本文的研究内容主要分为以下两个方面:（1）提出了一种基于BERT融合多轮历史信息的会话问答方法。在上下文编码中,使用BERT分别独立的将会话历史中的问题和答案结合文章段落进行编码,生成相应的特征向量送往解码器中。更有效地提取对话历史与文章段落中的交互关系,解决模型长序列输入信息丢失问题;（2）提出了一种动态编码驱动型的会话问答方法。在动态编码层,编码机制迭代地读取对话历史信息,并且每次迭代的输出都将通过决策器Pd与之前的编码表示动态结合,生成新的编码。通过多层动态编码程序,为生成当前问题的答案分配合理的权重,舍弃不相关的信息,以生成流畅连贯的对话。最后本文设计了不同的实验,在最新发布的CoQA数据集上的实验结果与各种基准和模型变体相比,验证了提出的方法是有效的。
其他文献
当下科技创新阶跃式发展,科技驱动生活,人们的生活愈来愈趋于智能化。智慧城市建设的脚步不断加快,使得对城市排水管道系统智能化的要求逐渐加大,也提出了更大的挑战。城市建设中排水管网管控工作难免会有不到位,排水不及时的情况发生,严重的话则会影响周围环境以及人们的生产和生活。因此进行实时、准确的流量预测研究具有极其重要的现实意义,其可以积极推动城市排水管网管理的优化工作,一定程度上减少问题的发生,保护我国
三维人体纹理映射是一种将人体空间坐标点转化为人体纹理坐标,进而从人体纹理坐标上获取对应点的灰度值,以实现三维人体模型纹理细节的方法。由于受到输入图像成像效果的影响,如过强或过弱的光照而导致的图像对比度较弱等,三维人体纹理映射后的纹理图像质量不佳;此外,目前的一些三维人体纹理映射主要针对正交投影后的人体纹理图像,而忽略了相机拍摄时的位姿情况,影响了三维人体纹理映射的精度与效果。因此,人体纹理表面细节
近年来,车联网传感数据共享因其可观的经济和安全等方面的收益引起了广泛关注。其中,轨迹数据作为主要的共享内容之一,为智慧城市优化布局、智能化路线推荐、流量分析预测、用户行为模式挖掘等提供了有力支撑,同时也推动了车辆交通安全,辅助服务商更好地提供服务。由于车辆身份隐私与传感数据之间具有一定的关联性,轨迹数据的可预测性使二者之间的关联程度加强。因此,轨迹数据的共享有着更高的隐私保护要求。此外,数据感知过
＜正＞（2021年8月26日青岛市第十六届人民代表大会常务委员会第三十五次会议通过）城市山体绿地是青岛山海城特色风貌的重要组成部分,是非常宝贵的生态环境资源。保护好、利用好山体绿地是践行习近平生态文明思想的重要举措,是一项重大民生工程,是全市人民的共同愿望,意义重大。青岛市第十六届人民代表大会常务委员会第三十五次会议听取和审议了市政府《关于我市山头公园整治工作实施情况的报告》。
随着数字信息技术的高速发展,数字图像的数量和类别呈现爆炸性增长的态势。如何对这些图像进行有效的组织和管理是一项具有挑战性的课题,图像分类是解决该问题的有效方法。近年来,基于概率混合模型的图像分类方法受到了国内外学者的广泛关注。传统的混合模型聚类法一般采用高斯分布假设来构建图像分类模型,这主要是由于其参数估计易于实现。然而,图像数据有着与高斯分布截然不同的特性,例如非对称性,有界性等,这些图像数据的
卫星图像中城市高层建筑街区形态的自动分析对城市规划和研究的自动化起着重要作用。高层建筑街区形态一般包括居民区建筑群落和商业区建筑群落。本课题的主要研究包括两个方面,一是高层建筑街区,即高层建筑群落的自动检测与分类,二是高层建筑高度参数的预测。由于目前做该研究的较少,因此,本课题的所有数据均由本人标注,并通过专家审核。之前对光学卫星图像中高层建筑的检测还依赖于人工。本课题假设高层建筑群落可以作为一个
预焙阳极的质量对铝电解有重要意义,而阳极生产是个十分复杂的工业过程,其中会有大量数据伴随产生,通过研究和分析这些数据可以深入挖掘潜在价值。在铝电解预焙阳极生产过程中,生阳极体积密度是反映预焙阳极质量的重要指标,通过生阳极生产的工艺控制参数预测生阳极体积密度,对保证阳极的质量具有重要意义,预测的结果也能为相关人员调整工艺参数提供参考依据。本文主要完成了以下工作:1.本文针对生阳极生产过程的非线性特点
作为解决现代互联网信息过载的有效工具,推荐系统能为广大用户提供个性精准的信息来源和决策依据,正在融入越来越多人的日常生活。数据稀疏是目前推荐系统面临的主要问题之一。在深度学习得到飞速发展的今天,对特征的高效提取和有效融合是一个值得深入的研究方向,这为缓解数据稀疏问题提供了有力支持。本文旨在研究如何将深度学习的非线性建模能力与传统推荐算法的线性建模能力相融合,由此使得算法兼备线性模型的快速搜索能力和
本文基于“教—学—评”一体化的教育理念，全面解析义务教育语文课程“语言运用”核心素养的学习目标、测评趋势以及教学方向。首先，通过梳理义务教育语文课程标准与统编初中语文教材中“语言运用”核心素养的课程目标与内容要求，明确该素养的学习目标是理解语言文字，发展语用能力。其次，通过分析近五年来语言积累与运用评价的中考测试，总结出“语言运用”核心素养测评“设置语言实践活动，考查学生语言积累与运用真实过程”的