文档级情感分类作为自然语言处理领域内的重要任务,一直以来广受关注。而得益于互联网技术的发展,用户在网络上发表的文本不断积累,为相关研究提供了扎实的数据基础。随着设备算力的提升以及可多层堆叠的Transformer结构的提出,一大批预训练语言模型在近些年间开始涌现。这些模型通常具有层次深、参数多的特点,并在大规模语料上提前进行了预训练,因此一经提出就在各种文本相关任务中达到了卓越的性能。近年来,如何增强预训练模型以提升模型效果,以及如何压缩预训练模型以提升模型效率,逐渐成为研究热点。但现有的研究少有在以下两方面进行探索:（1）如何利用文本所属用户信息增强预训练模型;（2）如何在兼顾用户文本隐私的情况下压缩预训练模型。因此,本文在基于用户生成文本的情感分类任务的大问题背景下,以预训练模型为基础对以上两个问题分别进行了研究。本文的主要工作和贡献总结如下:首先是基于用户信息的预训练模型增强研究。网络上的几乎所有文本都是由用户生成的,而在大部分情况下文本的作者用户身份是可知的。因此,本文提出了基于用户表示增强的预训练情感分类模型U-PLMs。具体来说,所提方法将用户的ID信息分别融入到了预训练模型的嵌入层模块以及编码器模块中,在避免对预训练模型本身的参数结构进行改动的情况下优化了文本的建模,提升了情感分类的性能。另外,本文所提出的模型框架具有较强的兼容性,能够应用于大部分现有的自编码语言模型中。实验结果表明了U-PLMs的有效性和卓越性能。第二个工作是对于无任务数据场景下的预训练模型量化的研究,其动机源自于预训练模型的过大容量以及部分文本数据的不可获得性。一方面,由于预训练模型通常过大,要想减少运行开销或是在资源有限的边缘设备（如移动设备）上运行,需要对这些模型进行压缩;另一方面,由于数据隐私等原因,在对模型进行压缩时很有可能只有一个训练完毕的模型,而无法获取该模型训练所用的标注数据。然而,现有的预训练模型压缩（特别是量化）工作大多依赖这些标注数据而忽略了部分文本的隐私性。为此,本文专注于模型量化,并在任务相关数据不可知的场景下进行了一定的研究,提出了针对预训练模型的无任务数据量化框架TDFQ-BERT。该框架利用了公开易获得的领域外文本作为数据载体,引入生成器模型使用遮蔽-预测的方式对文本进行改动,并使用对抗训练的模式使其在满足合理性约束的情况下尽可能生成有价值的文本用于量化训练。实验结果表明所提框架在任务数据不可知的情况下仍能将预训练模型量化至低精度且性能很少下降。综上所述,本文在基于用户生成文本的情感分类任务下对预训练模型分别进行了基于用户信息的性能优化以及基于无任务数据场景的量化压缩,在多个情感分类数据集上的实验结果证明了所提出方法的有效性。