【摘 要】
:
随着互联网技术和人工智能技术的不断发展,自然语言处理技术的发展也步入了快车道。文本匹配技术可广泛应用于智能问答、信息检索、问题复述等多项自然语言处理任务中。但传统的文本匹配语言适应性不强,对新语言进行数据标注的成本很高。本文使用迁移学习思想解决这一问题,在数据较多的语言上训练文本匹配模型辅助数据较少的语言进行学习,从而降低学习成本。本文对跨语言文本匹配问题进行了分析,将问题拆分为跨语言文本特征映射
论文部分内容阅读
随着互联网技术和人工智能技术的不断发展,自然语言处理技术的发展也步入了快车道。文本匹配技术可广泛应用于智能问答、信息检索、问题复述等多项自然语言处理任务中。但传统的文本匹配语言适应性不强,对新语言进行数据标注的成本很高。本文使用迁移学习思想解决这一问题,在数据较多的语言上训练文本匹配模型辅助数据较少的语言进行学习,从而降低学习成本。本文对跨语言文本匹配问题进行了分析,将问题拆分为跨语言文本特征映射和文本匹配两个子问题,结合深度学习的模块化设计特点在设计模型时综合考虑这两个问题,提出了一种基于深度学习的跨语言文本匹配模型。本文首先对文本特征映射问题进行了研究,不同语言的语法结构和表述规律虽有不同,但其语义空间往往存在相似性。本文利用不同语言的高维特征空间可以线性映射这种关系,先对不同语言使用Transformer独立训练语言模型,然后使用监督式GAN学习不同语言的高维空间映射关系。为提高语言模型健壮性,在训练语言模型时设计引入了数据噪声并在生成编码时使用保留词向量及句向量。在跨语言向量映射时只使用少量平行数据训练生成对抗网络,降低了数据获取成本。本文对文本匹配问题进行了研究,在设计文本匹配模型时考虑文本整体特征及层次特征,并且考虑了模型的可并行化模块,使用了多种注意力机制和卷积神经网络设计了文本匹配模型SACNN。在保障文本匹配精度的前提下,实现了快速可并行化的训练。为验证跨语言文本匹配模型整体的有效性,本文在英语、法语、德语、西班牙语四种语言上进行了跨语言文本匹配实验并取得了不错的实验效果。
其他文献
节理的存在破坏了岩体的完整性,影响着岩体的力学性质,而对于张开的节理面往往会聚集一定的填充物,使得岩体的力学性质更为复杂。本文利用离散元软件PFC,系统地开展了填充节理剪切特性的数值试验研究。分别从填充度、填充物质、节理面形态三个方面对节理剪切强度、裂纹发育、破坏模式、剪胀效应进行了分析,可为填充节理室内物理试验和建立剪切强度理论模型提供参考与依据。主要成果如下:(1)通过单轴压缩模拟试验,分析了
母乳是婴儿最好的食品,因此应该大力提倡母乳喂养。但是坚持母乳喂养也有一个前提条件,那就是妈妈的身体必须是健康的,如果出现以下情况,妈妈就应该暂时或完全停止母乳喂养:$$
乳头状瘤病毒(HPV)是一组与高等脊椎动物粘膜上皮损害相关的DNA病毒,其基因型可分为低危和高危两种类型。高危型HPV16、18DNA可导致多种生殖器癌,同时也极易感染泌尿系统,与肾癌的
<正> 1981年以来我们在全国新农药林间试验网点上用2.5%溴氰菊酯乳剂进行了松毛虫防治试验,现将结果整理如下。试验材料和方法 1.供试药剂系2.5%溴氰菊酯乳剂(Decis),法国Rouss
[目的]利用锥形束 CT(Cone-beam Computed Tomography,CBCT)观察分析云南地区人群下颌第一恒磨牙牙根数目和根管数目及其根管形态,测量分析远舌(Distolingual,DL)根的弯曲度
社会的发展、科学技术的进步始终与人类生活密切相关,也在各个方面惠及人们的生活。与此同时,人们对居住环境的要求也越来越高,主要体现在建筑物正在朝着高度更高、跨度更大、功能更丰富的方向发展。但普通的钢筋混凝土结构并不能满足人们对建筑物高度越来越高、跨度越来越大的要求。因此,对新型建筑结构的探索与研究势在必行。目前钢材与混凝土组合结构正被越来越广泛的应用到建筑结构中,其中钢管混凝土结构更是在大跨度桥梁结
真正的全球化是20世纪80年代以后才开始的,在此前的国际贸易、国际投资还不是全球范围的流动,都没有在全球范围内形成一个体系。1980年代以后,出现以下新的全球化特征:其一,
巨噬细胞是广泛分布于全身各个组织器官的天然免疫细胞,具有多功能性、异质性和可塑性。在皮肤科领域,特应性皮炎、银屑病、硬皮病、红斑狼疮及大疱性类天疱疮等多种炎症性和
Miller(1977)提出在卖空限制情况下,股价仅反映乐观投资者的意见,从而产生异质信念现象,并导致股价偏离其真实价值。2010年3月31日融资融券业务试点,标志着我国证券市场正式放开卖空约束,从此告别了 20多年以来“单边市”的时代。在我国投资者的构成中,散户占有较高比重,个股存在卖空约束的情况下,异质信念可能成为影响股票定价效率的重要因素。同时,由于卖空交易存在诸多约束,融资与融券交易额悬殊