【摘 要】
：
技术能够快速有效地将较长的文档转化为较短的摘要,不仅可以保留长文档中的主要内容与中心思想,而且保证摘要中的内容不冗余、不重复。目前,文本摘要技术已经在新闻通讯、信息检索等多个行业内得到了广泛的应用,使人们能够在日常生活中高效地获取长文本的关键信息。任务中仍然存在许多亟待克服的难题,例如在生成摘要时会重复生成一些单词、未在词汇表中出现的单词即未登录词无法在摘要中体现等。此外,现有深度学习模型的规模日
论文部分内容阅读
技术能够快速有效地将较长的文档转化为较短的摘要,不仅可以保留长文档中的主要内容与中心思想,而且保证摘要中的内容不冗余、不重复。目前,文本摘要技术已经在新闻通讯、信息检索等多个行业内得到了广泛的应用,使人们能够在日常生活中高效地获取长文本的关键信息。任务中仍然存在许多亟待克服的难题,例如在生成摘要时会重复生成一些单词、未在词汇表中出现的单词即未登录词无法在摘要中体现等。此外,现有深度学习模型的规模日趋增大,导致文本摘要模型难以部署。针对上述问题,本文提出了一个基于知识蒸馏和指针生成网络的文本摘要模型,通过知识蒸馏的方式使学生模型能够学习到经过预训练的教师模型的摘要生成能力。该模型通过应用多头注意力机制和覆盖机制来均衡单词权重,避免重复问题,同时通过复制机制使模型具有从输入中复制单词的能力,解决未登录词问题。为了进一步提高模型的摘要生成能力,在先前研究的基础上,本文提出了一个相似度指导的基于知识蒸馏和Transformer的文本摘要模型,在保留知识蒸馏方法的基础上,通过应用Transformer中的自注意力机制来均衡单词权重。本文设计了一种能够考虑到前一个生成单词的新型复制机制,更好地解决了未登录词问题,此外还提出了一种基于相似度指导的损失函数,指导模型生成更贴近文档内容的摘要。在Gigaword英文文本摘要数据集和Weibo中文文本摘要数据集上的实验结果表明,本文提出的两个文本摘要模型均在Rouge评估指标中获得超越对比基线模型的表现,证明了模型在文本摘要任务上的有效性。此外,本文还探讨了学生模型与教师模型在训练时的时间对比,并展示了文本摘要的实例,进一步展现了本研究提出模型的实际应用价值。
其他文献
阀板是汽车空调压缩机中的重要组成零件之一,其在生产过程中所产生的表面缺陷会严重影响压缩机的正常工作。目前国内的阀板缺陷检测主要以人力为主,但因工作量大、检测速度较低、人眼易疲劳等问题,不仅限制阀板零件的产出还会造成零件缺陷的误判,影响后续的使用。随着人工智能、智能制造等领域的发展,机器视觉检测技术在工业生产中得到了广泛的应用,采用机器视觉代替人眼进行检测可以有效的提高缺陷检测效率及准确率。为此,本
随着电子设备逐渐朝着高性能化和小型化方向高速发展,电子元件安装空间被限制的同时,也需要充分发挥性能作用。这样一来,高性能的芯片进行高速运算,在紧凑狭小的空间里产生了大量的热,散热过程面临新的挑战。为了匹配电子产品的散热需求,需要一种具有高热传导、低膨胀性能的新材料。金属铝具有较高的热导率,是一种常用的电子封装材料,但是其热膨胀系数较大,在温度变化时容易产生热应力,从而导致故障。因此,具有高热导和负
近年来,新冠肺炎作为一种全球爆发的传染病,威胁着人们的生命健康。在抗击疫情中,基于胸部CT图像的计算机辅助诊断系统对新冠肺炎的快速诊断和评估至关重要,该系统的关键步骤是在CT图像上自动分割新冠肺炎病灶。新冠肺炎病灶的准确分割可以直接对病灶的位置、大小、纹理有清晰展示,有助于病情分析和医生诊疗。目前,大多数新冠肺炎病灶分割工作都基于监督方法开发,并且需要难以获得的大规模标注数据集,而基于无监督异常检
目前认为隐藻藻胆蛋白主要以两个不同的α亚基和两个相同的β亚基构成的异二聚体形式存在,但实验室前期工作中已有大量的实验结果表明海生蓝隐藻（Chroomonas placoidea T13）藻蓝蛋白（phycocyanin）PC645的β1与β2是分子质量和等电点不同的两种亚基,但造成这些差异的原因尚不确定。因此实验首先通过对蓝隐藻进行转录组测序以及对PC645的β亚基基因进行克隆,从基因水平确定了β
针对脑深部刺激手术因穿刺设备落后、钻削及穿刺理论不足等原因导致颅骨承受额外损伤、电极植入精度低的问题。本文结合无框式颅外正交定向方法与三维可视化技术设计制造了正交无框式脑深部穿刺平台,利用仿颅脑模型进行空载试验,验证了正交无框式脑深部穿刺平台的定位精度;利用此平台进行了颅骨微创小孔钻削实验,以钻削力和钻削温度为指标分析了穿刺参数对穿刺结果的影响,得出了优化的颅骨钻削参数;结合医学影像技术建立了颅脑
在数据科学领域,网络分析方法能够形象模拟现实世界中实体间的特性关系,是理解复杂系统本质和功能的有效途径。然而,传统的复杂网络分析方法以单层网络结构和单一关系模型为导向,未准确地描述现实世界中相互关联、相互依存的多源实体关系,可能会遗漏甚至丢失网络中潜在的高价值异质信息。为了有效地刻画现实世界的多源数据关系并将其融入网络分析和研究中,本文利用复杂网络理论和深度学习技术分析异质节点的特征和网络拓扑性质
随着微纳制造技术的发展,电子器件集成度越来越高,基于微纳尺度的热传输研究变得越来越重要。辐射是传热的一种重要形式,由于倏逝波的隧穿作用,两个物体之间的近场辐射传热可以超过普朗克黑体辐射的极限,特别是当物体支持表面等离子体激元、表面声子极化子和双曲声子极化子时。近些年来随着对近场热辐射的深入研究,热辐射方面的应用得到迅速发展,如近场热光电、热成像、电子元件辐射冷却和微热管理等。本论文以涨落耗散定理、
由微生物感染引起的传染病对人类健康构成了极其严重的全球性威胁。在实际生活中,病菌侵染也可以引起某些重大的病症,如肺病、溶血性贫血、结肠炎、败血症、心包炎、急性肾功能衰竭等。使用传统抗生素药剂控制病菌的生长与增殖是一种常用的抗菌方法。但是,由于传统抗生素的大量应用,病原菌或病原体通过从头突变或从其他生物体中获取抗性基因,几乎对所有可用的传统抗生素产生了耐药性。因此,开发新的、不容易产生耐药性、高效的
城市化使得大量农村地区的人口向城市地区转移,城市人口的增加可能需要新增部署以满足人们的生活需求,而新增部署会引起出行需求变化进而改变原有交通分布,可能会增加交通风险如产生交通拥堵。对于城市规划者和管理者而言,在新增部署之前预测可能带来的交通风险的重要性不言而喻。在城市规划场景下,本文将新增部署交通分布预测问题看作交通数据生成问题。首先本文从知识驱动和数据驱动两个角度综述了交通数据生成相关工作以及面
近年来,一种新型材料:高熵合金,因其具有高硬度、高强度、抗腐蚀、耐摩擦和抗氧化等良好的综合性能,引起了人们的广泛关注。利用表面涂层技术制备的高熵合金涂层被视为一种更为先进的材料。高熵合金涂层的出现,为改善轮船、飞机等表面防护性能,提供了一种全新的思路。本论文选取了工业中常用的基底材料:钛合金、铝合金、不锈钢、单晶硅,自主设计了Ti-V-Cr-Zr-W拼接型靶材。利用反应直流磁控溅射技术制备了TiV