【摘 要】
：
语言建模在自然语言处理和与信息检索相关的任务中至关重要。在统计语言模型出现之后,有人提出了量子语言模型（QLM）,在相同的概率空间中统一单个词和复合词,而无需以指数的方式扩展词表空间。尽管量子语言模型在专项检索中取得了良好的性能,但它仍然有两个主要局限性:（1）量子语言模型无法利用监督信息,这主要是由于密度矩阵的迭代和不可微估计。（2）量子语言模型假定单词或单词相关性的可交换性,而忽略单词的顺序或
论文部分内容阅读
语言建模在自然语言处理和与信息检索相关的任务中至关重要。在统计语言模型出现之后,有人提出了量子语言模型（QLM）,在相同的概率空间中统一单个词和复合词,而无需以指数的方式扩展词表空间。尽管量子语言模型在专项检索中取得了良好的性能,但它仍然有两个主要局限性:（1）量子语言模型无法利用监督信息,这主要是由于密度矩阵的迭代和不可微估计。（2）量子语言模型假定单词或单词相关性的可交换性,而忽略单词的顺序或位置信息。本文旨在概括量子语言模型,使其适用于除专项检索之外的更复杂的匹配任务（例如问答任务）。我们提出了一种基于复值神经网络的量子语言模型,称为复值神经网络量子语言模型（C-NNQLM）,该模型采用端到端方法以轻量级和可微分的方式构建和训练密度矩阵,因此可以利用外部的受过训练的单词向量和监督标签。此外,复值神经网络量子语言模型采用复值词嵌入,其相位向量可以直接编码词的顺序（或位置）信息。另外,复数在量子理论中也是必不可少的。本文证明实值神经量子语言模型（R-NNQLM）是复值神经网络量子语言模型的特例。问答任务的实验结果表明,实值神经量子语言模型和复值神经网络量子语言模型的性能均优于原始的量子语言模型,并且复值神经网络量子语言模型的性能与最新的神经网络模型相当。此外,我们还评估了复值神经网络量子语言模型在文本分类数据集上的表现。所有数据集上的结果表明,复值神经网络量子语言模型的性能优于实值神经量子语言模型,这证明了复值神经网络量子语言模型中单词和句子的复数形式表示的有效性,也说明复值密度矩阵具有更强的表现能力。
其他文献
＜正＞安检法小区是沈阳市和平区南湖街道文安路社区所辖小区之一，始建于2000年，共有居民400余人。2006年，小区遭遇物业弃管，一时间，垃圾随便扔、东西随便放、外人随便进、车辆随便停，盗窃案时有发生，居民怨声载道……为了有效走出治理困境，文安路社区党委创新推出了“党建引领居民参与”的新模式，并通过17年不懈努力，成功破解了安检法小区治理难题，使这个无物业老旧小区重新焕发生机。
目的：探讨抗阻运动加速导管相关性血栓（CRT）溶解再通作用效果，为抗阻运动辅助治疗CRT提供理论依据。方法：144只SD雄性大鼠随机分为CRT对照组、CRT+抗阻运动组、CRT+血红素氧合酶-1（HO-1）激动剂钴原卟啉（COPP）组、CRT+HO-1抑制剂锡原卟啉（SnPP）组，每组36只。构建大鼠CRT模型，置管10天后进行抗阻运动、腹腔注射COPP及SnPP处理，CRT对照组不做处理。干预后
目的 探讨增强CT在儿童肾透明细胞肉瘤（CCSK）与肾母细胞瘤（WT）鉴别诊断中的临床价值。方法 选60例疑似CCSK/WT患儿均进行增强CT、病理学检查，对比2项检验结果，并分析增强CT的检查征象。结果 经病理切片免疫组织化学染色法诊断，CCSK患儿有23例（38.33%），均为单侧发病，左侧17例，右侧6例，瘤体昀大径5.26～15.62cm，未发现转移病灶；WT患儿有37例（61.67%），
近些年,深度学习在计算机视觉、语音识别、自然语言处理等领域取得了令人瞩目的成就。特定的深度学习模型在特定任务取得了成功,这种成功体现在两个方面,一是其热门且应用广泛,二是其泛化性能较传统机器学习方法表现优异。尽管这种基于深度神经网络的模型效果非常好,但其模型复杂度高,缺乏可解释性,缺乏完备有效的模型选择方法,是一个黑盒模型,理论分析和实证研究表明深度学习模型的VC维渐进无穷大、拉德马赫复杂性渐进趋
知识库问答是自然语言领域非常重要的任务之一,它显著降低了用户访问知识库内容的难度。使用知识库问答使得回答更加精细化准确化,但知识库问答相比于传统的基于关键字的搜索方式来说,也面临了新的问题,即空结果问题。为了避免空结果问题,从而提高知识库问答的准确率,我们提出了一种基于SPARQL推荐的知识库问答方法。语义解析与信息抽取是实现知识库问答系统的两种主要方法。现有KBQA方法大多属于这两种类型。它们有
机器翻译技术在全球化中扮演着十分重要的角色。随着全球化推进,机器翻译技术也在不断地进步,尤其是近些年来神经机器翻译技术的出现,将机器译文质量提升到了新的高度。尽管如今机器翻译技术达到了较高水平,但不少机器译文仍存在着错译、漏译、过译等问题。因此,机器翻译系统用户对实时掌握机器译文质量存在着较大需求。机器翻译质量自动评估（又称机器翻译译文质量估计,Machine Translation Qualit
个性化推荐技术是解决信息过载问题的有效方法,能够根据用户喜好给出推荐结果,提高获取信息的效率,因此个性化推荐的研究是数据领域的研究热点。然而在真实的推荐场景下,由于用户和项目数量巨大,而反馈数量较少,数据矩阵有较高的稀疏性,从而影响推荐的效果。针对上述问题,提出基于聚类加权的协同过滤和神经网络的融合推荐算法,并通过马尔科夫链蒙特卡洛快速采样提高种子用户选取的效率。该方法旨在提高数据稀疏情况下的推荐
近年来,计算机视觉领域在深度学习的推动下快速发展,基础网络架构的研究以及模块化结构的设计成为提升任务性能的重要研究方向,注意力机制是其中重要一种,在图像分类、目标检测、图像分割等多项计算机视觉任务上都表现出了优异的性能。但是同时,注意力机制的应用也在原始的网络架构的基础上引入了大量的参数和计算量,因而降低了模型的推理效率。本文围绕注意力机制在计算机视觉领域的应用展开研究,探索注意力机制在计算机视觉
目的:输尿管软镜、软镜相关耗材及激光的改进让输尿管软镜碎石取石术的适应证不断扩展。本文将探讨头端可弯曲负压输尿管软镜鞘在输尿管软镜技术处理大负荷肾结石中的有效性和安全性。方法:回顾性分析2021年4月—2022年12月浙江大学医学院附属第一医院和浙江省新昌县中医院完成的55例≥2 cm肾结石手术患者的临床资料。所有患者均使用头端可弯曲负压输尿管鞘配合输尿管软镜下钬激光碎石取石。收集患者的基线特征、
学术合作网络蕴含着学者的合作模式与学术发展的趋势,通过学术合作分析可以快速掌握最新科研动态和获取领域内重要科研人员,最终实现对领域学术技术的总体把握。复杂网络表示学习是分析学术合作网络必不可少的敲门砖,但是目前的表示学习模型多注重保留节点的一阶、二阶相似性,很少可以保留网络中与空间无关的结构相似性特征。故本文以学术合作网络为研究对象,针对上述问题,对具有良好解释性的非负矩阵分解的复杂网络表示学习方