随着互联网的发展和普及,由用户创造的内容在线上内容中的占比不断增长。以用户评论为例,不少网民在观看影片后会发布影评,在电商平台购物后会发表商品使用体验评论。由此产生了海量的用户评论数据。从这些数据中挖掘文本的语义信息并进行分析是自然语言处理领域的重要研究方向。情感分析是文本分析任务的一个重要分支,它通过对文本中深层次的情感信息进行提取和分析,从而判断文本的情感极性。互联网中的大量用户评论数据为情感分析的研究提供了数据基础,对这些数据的分析不仅可以给用户提供可靠的参考信息,而且对相关从业人员提升产品的质量有着很高的参考价值。目前情感分析的研究,比较流行的方法是将文本序列进行词语表征后使用CNN、RNN等深度学习模型提取语义特征并进一步预测情感极性。这种方法缺乏从全局提取语义特征的能力,很难有效的提取文本深层次的情感信息。基于自注意力机制的Transformer模型能够更好的提取文本的全局语义特征,但其模型结构复杂,需要大量的训练数据。为了提高情感分析模型的性能,本文提出了基于Transformer的情感分析模型,并构建了自监督学习任务来解决训练数据不足时模型特征提取能力较差的问题。具体来说,本文的工作包括以下两点:第一,我们提出了情感分析模型TE-CNN、Bi-TE-CNN和Dual-TE-CNN,这三种模型基于Transformer编码器（Transformer Encoder,TE）进行特征提取并通过卷积变换得到文本表征来进行情感极性预测。其中,Bi-TE-CNN模型和Dual-TE-CNN模型分别在横向和纵向两个方面对TE-CNN模型进行了扩展,以从文本中提取更丰富的语义信息。第二,我们构建了一种基于语序的生成式自监督学习任务对Transformer进行预训练,该任务采用局部和全局两种规则将训练集中的文本顺序打乱以生成新的预训练数据集。在预训练完成后通过迁移学习的方式将Transformer编码器部分的参数共享到情感分析模型中,在情感数据集中对上层的网络进行训练。我们在基于豆瓣电影短评数据集构建的实验数据集上进行实验,采用直接训练和基于预训练两种方法训练上述模型,并与基线模型进行对比。实验结果表明,基于预训练的Transformer情感分析模型有着更好的特征提取能力,且性能均超过了基线模型,其中基于预训练的Dual-TE-CNN模型在各项指标都达到了最优。