基于深度迁移学习的问答匹配方法研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:qiujunzhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
问答匹配在是问答系统研究中占有重要的地位,在智能问答中,问答匹配是给出一个问题和该问题的候选答案的集合,根据计算出问题和候选答案之间的相关度从而选出相关度最高的候选答案作为该问题的最佳答案反馈给用户。在特定领域的问答匹配任务中,问题和答案之间的相似度往往不高,且两者之间的语义也不相似,这也给传统的问答匹配方法带来了新的挑战和困难。在特定领域的问答匹配任务中,例如:医疗,军事,化工等领域的问答匹配任务中。由于一个新出现的领域中标注的数据样本较少,使得训练过程成无法训练出良好的训练模型,使得训练模型泛化能力较差,难以使得问答匹配的准确率得到很好的效果。但如若对新出现的领域数据进行人工标记,则人工标记数据的成本和代价会很昂贵。然而相关领域之间往往有着大量的标记数据样本,相关领域之间的数据虽说会有所差异,但是一定会有能够帮助对新领域任务有所帮助的数据。本文研究在此背景下,采用基于深度迁移学习的问答匹配方法,小规模数据集在少量标注样本情况下问答匹配的准确率得到了进一步的提升。具体研究内容如下:1.基于Bi LSTM的跨领域迁移学习的问答匹配方法。该方法在基于深度学习模型的基础之上结合到迁移学习完成问答匹配准确率的提高。首先使用Bi LSTM模型训练源领域的数据集,并且保存该模型的参数权值。之后对目标域的训练模型,初始化之前的参数和权值并导入,用目标数据集进行模型再训练,从而实现跨领域迁移。分析研究表明,跨领域的迁移学习方法可提高同一深度学习训练模型在不同领域中学习的泛化性能。2.基于Transformer的跨任务迁移学习的问答匹配方法。跨任务迁移学习方法首先在于利用问题分类数据集预训练问题分类任务,在保存训练模型的同时获取参数;之后将已训练好的问题分类模型Transformer的编码层作为迁移知识,初始化问答匹配训练模型的特征编码层,并且替换上一层中的分类层继续微调问答匹配任务的训练模型,得到最终的问答匹配训练模型。
其他文献
近年来,作为能够有效帮助法官提高工作效率、切实简化司法流程的自动化法律判决预测成为司法人工智能的重要研究方向。自动化法律判决预测旨在将自然语言处理技术应用于司法数据,根据输入案件的案情描述,自动预测被告人的罪名、刑期以及与本案相关的法条和类似案件等。不仅能为司法工作人员提供专业的法律建议,也能为非专业但有需要的人士提供高效廉价的法律咨询服务。关于自动化法律判决预测,以往多数研究不考虑任务之间的内在
钛及钛合金具有良好的化学耐腐蚀性及良好的生物相容性,较低的弹性模量,较高的比强度,引起了较多学者的关注,在医疗骨替换及牙齿等方面具有广泛的前景。钛在自然界的丰度比较高,但因其比较活泼,冶炼加工成本比较高,限制了它的使用。粉末冶金法是获得低成本钛的有效方法。钛在医疗领域用作骨替换材料,但钛及钛合金材料相比骨的弹性模量及抗压强度较高,力学性能不匹配,易造成应力屏蔽从而使植入失效。降低钛的弹性模量使力学
回音壁模式(WGM)光学微腔是一种具有超高品质因子和腔模模式体积极小的新型光学微腔,其具有极高功率密度的WGM可以显著地增强光与物质的相互作用。基于WGM微腔的光学频率梳(O
传递签名是一种能够高效解决图状大数据认证问题的特殊数字签名,在管理域、军事指挥系统、PKI证书链以及电子政务中都具有实际应用价值。传递签名方案中,已知相邻两条边(i,j)
随着视频网站的快速发展,我国互联网视频产业逐渐走向成熟,网络自制节目开始向精致化、品质化和专业化转变。与之前成本低下内容粗糙的网络自制节目相比,随后涌现的优秀节目
微球谐振腔中的耳语回廊模(Whispering gallery mode,WGM)有着模式体积特别小和品质因子特别高(Q=1010)的特点,使得由WGM作为泵浦光场时其功率密度极高(GW/cm2),损耗很小,产
随着人工智能时代的到来,各行各业都掀起了一股人工智能的浪潮。行人检测(Pedestrian Detection)是计算机视觉领域一个重要的研究方向,其作为自动驾驶、智能监控和人机交互系
随着互联网的快速发展,大规模数据的出现,使得用户需花费太多的时间和精力去选择自己需要的信息。社会化推荐为用户提供了便利,但社交网络上存在一些噪音信息而表示学习可以解决推荐算法的可拓展性及抵抗嘈杂数据。基于此,基于网络表示学习的推荐受到了研究者的广泛关注。然而,社交网络过大,难以在有限内存中进行计算。因此,研究一种有效的表示学习方法对提高推荐的准确率非常重要。而聚集图通过空间压缩,保留了关键的结构关
产品表面自动化缺陷检测对保证产品质量和提高生产效益有着重大的影响。传统手工定制特征的算法具有通用性差,检测精度低,开发成本高等缺点,而深度学习算法具有通用性好,检测
现代社会发展重点之一是构建万物互联的物联网,为了实现互联互通,新时代物联网对天线性能提出了更高的要求。本文以射频识别(Radio Frequency Identification,RFID)应用为当前时代背景,设计了三款结构不同、性能不同的RFID圆极化天线,天线结构与性能如下:首先,本文提出了一种小型化平面四臂螺旋圆极化天线。该天线结构主要由两个部分组成:馈电层和辐射层。馈电层采用功分器级联T型