【摘 要】
:
自然语言处理中,比较流行的特征抽取器是RNN、CNN和Transformer。其中,由于RNN在每个时刻的隐层状态都依赖于上一个时刻的输出,RNN对大规模并行计算很不友好,效率低下。CNN和Transformer都能很方便进行并行计算,效率较高,然而CNN对语义和长距离特征的获取能力不如自注意力机制,所以基于CNN的模型在NLP任务的表现上通常比基于自注意力机制的Transformer差,特别是s
论文部分内容阅读
自然语言处理中,比较流行的特征抽取器是RNN、CNN和Transformer。其中,由于RNN在每个时刻的隐层状态都依赖于上一个时刻的输出,RNN对大规模并行计算很不友好,效率低下。CNN和Transformer都能很方便进行并行计算,效率较高,然而CNN对语义和长距离特征的获取能力不如自注意力机制,所以基于CNN的模型在NLP任务的表现上通常比基于自注意力机制的Transformer差,特别是seq2seq序列生成任务。然而自注意力机制也不是完美的,其基于句子长度n的平方的时间复杂度导致句子长度越长,速度越慢。近年来,很多研究致力于寻找更好的特征提取器。最近,计算机视觉领域提出了一个新算子内卷积(Involution),将之作为图像的特征提取器后,效果超越了基于普通卷积和自注意力机制的模型。鉴于内卷积在视觉领域的突出效果,本文将其引入自然语言处理领域中,代替普通卷积和自注意力机制作为文本的特征提取器。内卷积实际上是一种基于时间步动态生成卷积核的方法,将其作为卷积神经网络的基础算子,有利于提升CNN对语义信息的获取能力,达到甚至超越自注意力机制的水平,且参数量更小,速度更快。基于此,本文提出了文本分类模型Text Inv和DPInv,以及序列生成的模型Inv seq2seq。Text Inv和DPInv都是用内卷积作为文本特征提取器,区别在于Text Inv是一个浅层模型,只有一层内卷积,DPInv是一个深度模型,通过堆叠多层内卷积并引入残差连接提取更深的语义。Inv seq2seq主要是用内卷积替换了Transformer的自注意力机制模块,并保留了Transformer的其他结构。通过实验,证明了在NLP中内卷积也能取得比普通卷积和自注意力机制更好的效果。在文本分类任务中,Text Inv和DPInv的效果分别超越了基于普通卷积的模型Text CNN和DPCNN,在序列生成任务中,Inv seq2seq的效果超越了基于自注意力机制的Transformer模型。
其他文献
随着科技的发展和人们生活质量的提升,锂离子电池的应用,特别是近20年以来在消费类产品、动力工具和储能设备等领域得到迅速发展。A公司是一家国际知名的电动工具制造业头部企业,拥有多个自主品牌。然而,在面对复杂的外部市场竞争环境、新冠疫情的影响以及全球电子物料供应严重短缺的形势下,A公司如何制定行之有效的锂离子电池包业务发展战略,探索公司未来可持续性发展的竞争优势是目前所要研究的主要问题。本文以A公司为
随着全球竞争加剧,越来越多制造型企业都面临自动化生产转型带来的挑战。因此,自动化生产设备的使用效率管理显得尤为重要。如何有效的实施设备综合效率管理和进行全员生产维护,是自动化生产转型企业面临的重要问题。本文在设备综合效率和制造执行系统相关研究文献分析的基础上,以WJ公司的设备综合效率管理实施为对象,结合WJ公司的生产特点和规模,总结其基于人工的设备综合效率管理实施现状,分析存在的问题;比对设备综合
在科技创新发展的推动下,很多企业都面临产业的转型和升级,进一步提升产品质量也成为企业在发展中的重要任务。然后,支撑企业发展的信息化系统在面对复杂产品以及业务时,表现出功能单一、信息交互能力不足,二次开发难,对业务决策支撑不够等问题日益严重,无法满足企业快速发展的需求。A公司作为一家研发制造企业,当前以ERP系统为核心的信息系统已相对落后,难以匹配企业当前发展状况,ERP系统的优化项目势在必行,加强
随着数字化技术在各行各业如火如荼的推展,数字化转型也逐步渗入到公司内部各个领域。数字化转型可以提升公司运营效率、提高员工工作效率,也为企业立足于市场增砖加瓦。而其中企业营运数据准确性、及时性、整合性对于企业决策、改善自身竞争力、改善客户满意,提升企业价值尤为重要。本论文用YD公司营销报表数字化项目为研究对象,研读了国内外相关进度管理理论的研究文献,通过挖掘企业数字化背景知识及项目进度管理理论对其进
随着当前环保要求越来越严,国内外煤电项目价格越来越低,如何在这样的市场环境下生存下来,获得更多的订单,是T公司面临的难题。论文基于精益生产的理念和方法,对生产线效能进行优化研究,目的是节省生产成本,提升企业竞争力。论文首先介绍了T公司的概况,主要产品和生产线现状,对现有的生产线问题进行了分析总结,对未来的市场情况进行了预测,从而说明导入精益生产的必要性。接下来提出了生产线效能精益优化的目标和总体思
本文研究的吉威公司是一家意大利上市公司,重点研究了其中国区能源与出行事业部。吉威公司中国区能源与出行事业部主要销售的产品是传统燃油车的相关过滤产品。由于汽车行业电气化趋势及新能源车发展路线规划,过滤应用的减少,竞争的加剧以及外资企业适应中国市场问题,吉威公司中国区能源与出行事业部已经遇到发展乏力问题,相当多的做传统能源车过滤的公司也遇到同样的问题,这是产业共同的痛点。吉威公司当前的市场营销战略已不
A公司作为铁路装备制造企业,其母公司在全球处于领先地位,而其在中国的发展却停滞不前。面对中国铁路技术的高速发展及国内日趋激烈的竞争,A公司需要不断提升自身能力;面对对手的不断壮大,精益生产的实施也显得刻不容缓。本文从A公司现状出发,分析了在达产阶段和超产阶段的目标及生产流程中存在的问题。达产阶段主要运用5why法、数据分析对比、PDCA等方法,分析设备效率低、原材料质量不稳定、人员架构不合理、检测
慕课技术的诞生和发展从一定程度上改变了原有的教育教学形式,但是传统慕课并没有取得它所应当取得的成就,主要问题在于完全中心化的在线教育无法解决信任问题。区块链技术的出现解决了信任不足这一问题,但是区块链公开透明的机制也引入了新的问题,也就是用户数据的隐私性无法得到合理的保护,阻碍了区块链技术在教育领域的进一步发展应用。本文针对了慕课平台中遇到的数据隐私问题,分析了慕课平台的实际需求,参考了现有的隐私
在半监督学习领域,一类比较经典的算法是基于图的半监督学习,由于其良好的图论基础和易于求解等优点,在学术界受到了广泛的关注和研究。现有算法的性能高度依赖于输入的权重图,权重图的质量与超参数的选择直接相关,例如邻居数和权重函数,在许多场景中往往很难选择合适的超参数。此外,在一些实际应用中,同一数据集有多个权重图表示,如何有效组合多图数据也是一个关键问题。为了解决上述问题,一种基于自步学习的多图标签传播
近年来由于移动互联网的快速发展,位于网络边缘的设备所产生的的数据量也开始急剧增长,如何处理边缘端所产生的海量数据也给人们带来了挑战。作为互联网核心技术的云计算虽然能够满足处理海量数据的要求,但是也存在着一些不足:占用大量网络带宽、实时性要求无法得到满足。由此诞生了边缘计算的概念,边缘计算由于将计算能力下发到了网络边缘,在实时性方面远比云计算效果更加显著,另外也并不需要通过互联网向云端传输大量数据,