自然语言处理中,比较流行的特征抽取器是RNN、CNN和Transformer。其中,由于RNN在每个时刻的隐层状态都依赖于上一个时刻的输出,RNN对大规模并行计算很不友好,效率低下。CNN和Transformer都能很方便进行并行计算,效率较高,然而CNN对语义和长距离特征的获取能力不如自注意力机制,所以基于CNN的模型在NLP任务的表现上通常比基于自注意力机制的Transformer差,特别是seq2seq序列生成任务。然而自注意力机制也不是完美的,其基于句子长度n的平方的时间复杂度导致句子长度越长,速度越慢。近年来,很多研究致力于寻找更好的特征提取器。最近,计算机视觉领域提出了一个新算子内卷积（Involution）,将之作为图像的特征提取器后,效果超越了基于普通卷积和自注意力机制的模型。鉴于内卷积在视觉领域的突出效果,本文将其引入自然语言处理领域中,代替普通卷积和自注意力机制作为文本的特征提取器。内卷积实际上是一种基于时间步动态生成卷积核的方法,将其作为卷积神经网络的基础算子,有利于提升CNN对语义信息的获取能力,达到甚至超越自注意力机制的水平,且参数量更小,速度更快。基于此,本文提出了文本分类模型Text Inv和DPInv,以及序列生成的模型Inv seq2seq。Text Inv和DPInv都是用内卷积作为文本特征提取器,区别在于Text Inv是一个浅层模型,只有一层内卷积,DPInv是一个深度模型,通过堆叠多层内卷积并引入残差连接提取更深的语义。Inv seq2seq主要是用内卷积替换了Transformer的自注意力机制模块,并保留了Transformer的其他结构。通过实验,证明了在NLP中内卷积也能取得比普通卷积和自注意力机制更好的效果。在文本分类任务中,Text Inv和DPInv的效果分别超越了基于普通卷积的模型Text CNN和DPCNN,在序列生成任务中,Inv seq2seq的效果超越了基于自注意力机制的Transformer模型。